DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial

Resumen Técnico de "DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial"

Planteamiento del Problema
Los sistemas de Generación Aumentada por Recuperación (RAG), que condicionan la generación de Modelos de Lenguaje Grande (LLM) basándose en documentos externos, son vulnerables al envenenamiento del corpus. En este modelo de amenaza, un adversario inserta un documento diseñado para dirigir al generador hacia una respuesta incorrecta elegida por el atacante ($Y$) sin acceder a los pesos del modelo, a los prompts del sistema o a los componentes internos del recuperador. Si bien ataques previos de un solo documento (p. ej., PoisonedRAG, AuthChain, CorruptRAG) han demostrado que un solo pasaje envenenado puede confundir a los sistemas RAG, estos suelen evitar nombrar explícitamente la respuesta correcta ($X$). La suposición prevalente es que mencionar $X$ podría activar el conocimiento paramétrico del modelo, causando que este rechace el contenido envenenado. Este artículo investiga si evitar $X$ es necesario o si nombrar y refutar explícitamente $X$ podría ser un vector de ataque más potente.

Metodología: DenialRAG
Los autores proponen DenialRAG, un ataque de envenenamiento de un solo documento que incrusta explícitamente el conflicto entre la respuesta correcta ($X$) y la respuesta incorrecta elegida por el atacante ($Y$) dentro del propio pasaje envenenado. En lugar de suprimir $X$, el ataque la nombra y proporciona una explicación controlada por el atacante sobre por qué debe ser rechazada en favor de $Y$.

El flujo de trabajo del ataque opera en dos fases:

1. Tiempo de Ataque Offline: Dada una consulta objetivo $q$, la respuesta correcta $X$ y la respuesta incorrecta objetivo $Y$, el atacante utiliza un LLM para generar un pasaje corto (≤100 palabras) envenenado. Esta generación implica dos llamadas:
   • Extracción de Características: Identifica la intención de la pregunta y los nodos de evidencia salientes (entidades, fechas) para asegurar la relevancia en la recuperación.
   • Construcción del Pasaje: Genera un pasaje estructurado que contiene cuatro componentes:
     1. Apertura: Afirma $Y$ como la respuesta definitiva con un detalle concreto.
     2. Tejido de Evidencia: Incorpora los nodos de evidencia extraídos para alinearse con la consulta del usuario.
     3. Negación Incrustada: Nombra explícitamente $X$, la caracteriza como un concepto erróneo o un valor desactualizado, y proporciona una razón para su rechazo.
     4. Cierre de Autoridad: Reafirma $Y$ con una cita institucional o basada en registros.
        El documento resultante se inserta en el corpus de recuperación $K$.
2. Tiempo de Consulta Online: Cuando un usuario envía $q$, el recuperador selecciona el pasaje envenenado (debido a su alto solapamiento léxico/semántico). El generador, al recibir un contexto donde $X$ ya ha sido reconocida y "explicada", es dirigido a producir $Y$.

Contribuciones Clave

1. Mecanismo de Ataque Novedoso: La introducción de DenialRAG, que desafía la suposición de que las respuestas correctas deben evitarse en los ataques de envenenamiento. Demuestra que nombrar explícitamente $X$ e incrustar una resolución local del conflicto en favor de $Y$ puede ser altamente efectivo.
2. Evaluación Sistemática: Una evaluación exhaustiva a través de tres conjuntos de datos de QA de dominio abierto (Natural Questions, HotpotQA, MS-MARCO), ocho LLMs objetivo de cuatro proveedores (que van desde modelos de nivel económico hasta modelos de frontera) y cuatro líneas base de envenenamiento de un solo documento existentes.
3. Análisis de Defensa: Una evaluación de cinco defensas en tiempo de inferencia (Paraphrase, InstructRAG, TrustRAG, RobustRAG, AstuteRAG) para determinar si pueden mitigar los ataques de un solo documento.
4. Análisis de Componentes y Estabilidad: Estudios de ablación que identifican la "negación incrustada" como el componente más crítico, y análisis cruzados de modelos que muestran que la efectividad del ataque no es uniforme, sino que depende fuertemente de la interacción entre el mecanismo de envenenamiento y el conocimiento paramétrico y de alineación del modelo objetivo.

Resultados

• Efectividad del Ataque: DenialRAG logra la mayor Tasa de Éxito de Ataque (ASR) en Mistral-7B en los tres conjuntos de datos (89%, 94%, 86%). Sin embargo, la efectividad depende fuertemente del modelo. En modelos de frontera (p. ej., GPT-5.2, GPT-5.5), otros ataques como PIA-direct (aserción directa) o CorruptRAG-AK (encuadre de actualización de frescura) suelen superar a DenialRAG. Por ejemplo, CorruptRAG-AK domina en GPT-5.5, mientras que el rendimiento de DenialRAG cae significativamente en los modelos de frontera en comparación con los modelos de nivel económico.
• Robustez de la Defensa: Las defensas en tiempo de inferencia reducen el ASR en muchos entornos, pero no proporcionan una protección uniforme.
  • Paraphrase muestra un efecto limitado.
  • InstructRAG y TrustRAG reducen el ASR para algunos ataques, pero dejan un riesgo residual significativo para DenialRAG y CorruptRAG-AK, particularmente cuando el pasaje envenenado explica el conflicto por sí mismo.
  • RobustRAG y AstuteRAG muestran reducciones fuertes en configuraciones específicas (p. ej., AstuteRAG reduciendo el ASR de DenialRAG a ~8% en GPT-5.2), pero siguen siendo ineficaces contra DenialRAG en Mistral-7B (el ASR permanece en ~77-86%).
• Hallazgos de Ablación: Eliminar la "negación incrustada" (es decir, solo afirmar $Y$) causa la mayor caída en el ASR (aproximadamente 17 puntos porcentuales en promedio), confirmando que el mecanismo de explicar por qué $X$ es incorrecto es el principal motor del éxito. Nombrar explícitamente $X$ también es crucial; omitir el nombre de la respuesta correcta reduce la efectividad.
• Estabilidad del Régimen del Modelo: DenialRAG muestra la mayor caída de rendimiento al pasar de modelos de nivel económico a modelos de frontera (una caída de 30.3 puntos porcentuales), lo que sugiere que los modelos más fuertes son mejores para contrastar la contradicción explícita presentada por DenialRAG con su conocimiento paramétrico. Por el contrario, los ataques que enmarcan el conflicto como una "actualización de frescura" (CorruptRAG-AK) se mantienen más estables a través de los regímenes de modelos.

Significancia y Reivindicaciones
El artículo afirma que el riesgo de envenenamiento de RAG no puede caracterizarse por una sola familia de ataques o un solo modelo objetivo. La efectividad de un ataque de envenenamiento depende altamente de la interacción específica entre el mecanismo de ataque (p. ej., negación vs. aserción vs. encuadre de actualización) y la arquitectura y alineación del LLM objetivo.

Los autores enfatizan que, si bien DenialRAG es un nuevo vector potente, particularmente para modelos de nivel económico, no es universalmente superior. El estudio destaca que las defensas son a menudo no uniformes; una defensa que mitiga un tipo de envenenamiento (p. ej., aserción directa) puede dejar el sistema vulnerable a otro (p. ej., negación incrustada o actualizaciones de frescura). En consecuencia, el artículo concluye que comprender la seguridad de RAG requiere analizar diversos mecanismos de ataque a través de un espectro de modelos y defensas, en lugar de depender de una única métrica o clase de modelo para definir el panorama de amenazas.