Resumen Técnico: ADMIT – Ataques de Envenenamiento de Conocimiento con Pocos Ejemplos en Verificación de Hechos Basada en RAG

1. Definición del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) mejoran los Modelos de Lenguaje Grandes (LLM) integrando conocimiento externo para mitigar las alucinaciones y las limitaciones de corte de conocimiento. Sin embargo, estos sistemas son vulnerables al envenenamiento de conocimiento, donde los atacantes inyectan contenido adversario en bases de conocimiento para manipular las salidas de los LLM.

La literatura existente sobre envenenamiento de conocimiento a menudo se basa en suposiciones poco realistas para escenarios de verificación de hechos en el mundo real:

1. Dominio por Volumen: Asume que el contenido malicioso domina el contexto recuperado, whereas los sistemas del mundo real suelen recuperar evidencia autoritativa de fuentes confiables (por ejemplo, medios de comunicación, bases de datos médicas) donde predomina la información creíble.
2. Falta de Justificación: Asume que los LLM generan respuestas incorrectas sin requerir justificaciones coherentes, ignorando las pipelines RAG modernas que emplean razonamiento impulsado por agentes para producir conclusiones bien fundamentadas.
3. Acceso al Sistema: A menudo asume que el atacante tiene acceso al recuperador o a los componentes internos del LLM, whereas los ataques en el mundo real suelen ser de caja negra.

El artículo aborda la pregunta crítica: ¿Pueden los sistemas RAG modernos basados en LLM mantenerse robustos cuando el contenido envenenado coexiste con evidencia de apoyo creíble en el contexto recuperado?

2. Metodología: ADMIT

Los autores proponen ADMIT (Técnica de Inyección Múltiple Adversaria), un ataque de envenenamiento semánticamente alineado con pocos ejemplos, diseñado para invertir decisiones de verificación de hechos e inducir justificaciones engañosas sin acceso a los LLM objetivo, los recuperadores o el control a nivel de token.

2.1 Modelo de Amenaza

• Acceso de Caja Negra: El atacante no tiene acceso al recuperador o al LLM de la víctima.
• Inyección con Pocos Ejemplos: El atacante inyecta un número mínimo de pasajes adversarios ($m$) en la base de conocimiento, donde $m \le k$ (el número de pasajes recuperados). En el escenario de 1 ejemplo, un único pasaje malicioso debe anular potencialmente cuatro pasajes limpios.
• Alineación Semántica: El contenido inyectado no puede ser sin sentido ni contener instrucciones maliciosas evidentes (por ejemplo, "ignora las instrucciones anteriores"). Debe ser un pasaje coherente, legible por humanos, que imite noticias o evidencia legítima.

2.2 Componentes Principales

ADMIT opera mediante una configuración de verificación proxy para simular el entorno objetivo:

1. Construcción de Pasajes Proxy:

   • Basado en Búsqueda: El atacante utiliza un LLM ligero para generar consultas diversas a partir de una afirmación, recupera documentos de fuentes web abiertas y los filtra para encontrar pasajes que contradigan la afirmación objetivo.
   • Basado en LLM: Para escenarios restringidos, el atacante solicita a un LLM que genere un pasaje que respalde la postura opuesta a la afirmación objetivo.
   • Estos pasajes proxy sirven como el contexto "limpio" contra el cual se optimiza el pasaje adversario.

2. Inyección Múltiple Adversaria (El Bucle de Ataque):

   • Generación de Vuelta Única: Se genera un pasaje adversario inicial basado en el contexto proxy.
   • Optimización de Múltiples Vueltas: Si la generación de vuelta única falla, el atacante emplea un bucle de retroalimentación iterativo. Un LLM atacante ($A$) actualiza el pasaje adversario ($p$) basándose en el resultado de verificación anterior ($\tilde{V}$) y el contexto proxy ($R_{proxy}$).
   • Borrado de Memoria: Para evitar la degradación del contexto, la memoria se reinicia cada $L$ iteraciones, reinitializando la generación del pasaje para explorar nuevas direcciones semánticas.
   • Objetivo: El objetivo es encontrar un pasaje $p$ tal que $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$, invirtiendo efectivamente el veredicto mientras se mantiene la coherencia semántica.

3. Aumento de Prefijo Adversario:

   • Para asegurar que el pasaje adversario sea recuperado a pesar de la presencia de evidencia limpia, el atacante antepone las consultas de búsqueda utilizadas para construir los pasajes proxy al texto adversario. Esto explota la tendencia del recuperador a coincidir con palabras clave de la consulta, aumentando la probabilidad de recuperación del contenido malicioso.

3. Contribuciones Clave

• Nuevo Paradigma de Ataque: ADMIT es el primer trabajo que demuestra un envenenamiento de conocimiento efectivo en escenarios de pocos ejemplos donde la evidencia creíble domina el pool de recuperación. Cuestiona la suposición de que se requiere una inyección a gran escala para tener éxito.
• Justificación Engañosa: A diferencia de ataques anteriores que dependen de instrucciones evidentes o generan texto incoherente, ADMIT produce desinformación semánticamente coherente y legible por humanos que incluye justificaciones engañosas para el veredicto invertido.
• Aplicabilidad de Caja Negra: El método no requiere acceso de caja blanca al sistema víctima, dependiendo únicamente de verificadores proxy y motores de búsqueda públicos.
• Evaluación Exhaustiva: El ataque se evalúa en 4 benchmarks de múltiples dominios (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLM (incluyendo modelos de código abierto, comerciales y de razonamiento) y 4 recuperadores diferentes.

4. Resultados Experimentales

• Alta Tasa de Éxito del Ataque (ASR): ADMIT logra una ASR promedio del 86% en todos los escenarios con una tasa de envenenamiento extremadamente baja de $0.93 \times 10^{-6}$.
• Superioridad sobre Líneas Base: En comparación con métodos de última generación (por ejemplo, PoisonedRAG, CorruptRAG, Inyección de Prompt), ADMIT mejora la ASR en un 11.2% en promedio. Cabe destacar que, mientras las líneas base a menudo fallan en LLM comerciales (por ejemplo, GPT-4o), ADMIT mantiene una alta efectividad.
• Robustez frente a Contraevidencia: Incluso cuando el contexto recuperado contiene fuerte contraevidencia factual (por ejemplo, 4 pasajes limpios frente a 1 malicioso), ADMIT invierte exitosamente el veredicto en el 80% de los casos en LLM de código abierto y en el 65% en sistemas comerciales.
• Transferibilidad: El ataque se transfiere eficazmente a recuperadores y LLM no vistos. Los modelos orientados al razonamiento (por ejemplo, o1-mini), a pesar de su diseño para la consistencia factual, demostraron ser vulnerables, con ASR alcanzando el 60–70%.
• Evasión de Defensas: ADMIT elude consistentemente las defensas existentes, incluyendo:
  • Detección de Noticias Falsas: Los clasificadores basados en LLM no logran distinguir los pasajes de ADMIT de noticias reales (puntuaciones AUC cercanas al azar).
  • Detección Estadística: Las métricas de perplejidad (PPL) y similitud ROUGE-N no logran separar los pasajes adversarios de los limpios debido a la coherencia semántica del contenido generado.
  • Consolidación de Conocimiento: Estrategias como "dividir y votar" o agrupamiento a menudo amplifican la influencia adversaria en lugar de mitigarla.
  • Defensas Basadas en Agentes: Los agentes ReAct, que descomponen tareas en pasos de búsqueda y reflexión, permanecen altamente vulnerables, con la ASR aumentando al 88–94% a medida que aumenta el volumen de inyección.

5. Significado y Afirmaciones

El artículo afirma que la robustez factual no sigue automáticamente de la escala o la capacidad de razonamiento de un LLM. La existencia de ADMIT expone fragilidades estructurales significativas en los sistemas reales de verificación de hechos basados en RAG.

• Vulnerabilidad de Sistemas Híbridos: El estudio revela que incluso cuando los sistemas agregan diversas fuentes confiables, un único pasaje adversario bien elaborado puede anular la evidencia autoritativa.
• Limitaciones de las Defensas Actuales: Las defensas existentes (filtrado estadístico, detección de noticias falsas y consolidación de conocimiento) son insuficientes contra el envenenamiento con pocos ejemplos y alineación semántica.
• Implicaciones para la Seguridad de la IA: Los hallazgos destacan la necesidad urgente de defensas que vayan más allá de la consistencia superficial, como el rastreo de procedencia, la evaluación de la incertidumbre y el razonamiento más allá del contexto recuperado.

Los autores enfatizan que su trabajo es puramente defensivo, con el objetivo de informar el diseño de sistemas de verificación de hechos más robustos mediante la evaluación sistemática de vulnerabilidades. Señalan que, aunque el ataque es efectivo, depende de condiciones específicas (por ejemplo, la capacidad de inyectar en bases de conocimiento públicas) y no afirma romper todos los sistemas RAG universalmente, sino que expone una superficie de ataque crítica y poco explorada.