Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

Resumen Técnico: La Arquitectura Importa: Comparación de Sistemas RAG bajo Envenenamiento de la Base de Conocimientos

Enunciado del Problema
Los sistemas de Generación Aumentada por Recuperación (RAG) son vulnerables al envenenamiento de la base de conocimientos, donde un adversario inyecta un documento diseñado para manipular las salidas del sistema. Aunque la literatura existente ha evaluado extensamente estos ataques contra pipelines de "recuperar y luego generar" (vanilla), persiste una brecha crítica: las arquitecturas diseñadas explícitamente para manejar información contradictoria, como el debate multiagente, la recuperación agente y los modelos de lenguaje recursivos, nunca han sido probadas frente a contradicciones optimizadas adversarialmente. Además, las evaluaciones anteriores a menudo dependen de escenarios donde los documentos envenenados dominan el contexto de recuperación (por ejemplo, $N=5$ documentos envenenados entre $K=5$ recuperados), fallando en probar la capacidad del sistema para razonar sobre un único documento adversarial que coexiste con fuentes legítimas ($N=1$).

Metodología
El estudio evalúa cuatro arquitecturas RAG distintas bajo un modelo de amenaza de envenenamiento controlado $N=1$ en 921 pares de preguntas y respuestas del conjunto de datos Natural Questions (NQ), recuperados de un corpus de Wikipedia de 2,68 millones de pasajes utilizando Contriever. Todos los sistemas utilizan GPT-5-mini como modelo de lenguaje grande (LLM) base para aislar los efectos arquitectónicos de las diferencias en la capacidad del modelo.

Las cuatro arquitecturas probadas son:

1. RAG Vanilla: Un pipeline estándar de recuperación y generación de un solo paso.
2. RAG Agente: Implementado mediante PydanticAI, permitiendo que un agente busque iterativamente, reformule consultas y recopile evidencia antes de responder.
3. MADAM-RAG: Un sistema de debate multiagente donde cada documento recuperado se asigna a un agente independiente para su deliberación, seguido de un agregador que sintetiza la respuesta final.
4. Modelos de Lenguaje Recursivos (RLM): Un sistema que procesa el contexto temático completo (recuperando los 100 mejores pasajes y expandiéndolos a todos los pasajes que comparten títulos de artículos, típicamente $\sim$2.600 pasajes) mediante descomposición programática y llamadas subrecursivas.

Los sistemas se prueban bajo tres condiciones:

• Línea Base Limpia: Sin documentos envenenados.
• Inyección Ingenua: Un pasaje contradictorio escrito de forma natural sin optimización de recuperación.
• CorruptRAG-AK: Un ataque adversarial que emplea "marco meta-epistémico" (por ejemplo, "muchas fuentes desactualizadas indican incorrectamente... los datos más recientes confirman...") diseñado para socavar la credibilidad de las fuentes correctas. Este ataque incluye un componente optimizado para recuperación para asegurar que el documento envenenado sea recuperado.

Las métricas de evaluación incluyen la Tasa de Éxito del Ataque (ASR), condicionada a la precisión limpia para garantizar una comparación justa entre arquitecturas, y una taxonomía conductual de siete categorías (por ejemplo, Correcto con Confianza, Correcto con Detección, Vacilación, Incorrecto con Confianza) evaluada mediante un juez LLM.

Contribuciones Clave

1. Primera Evaluación de Arquitecturas Avanzadas: El artículo proporciona la primera evaluación adversarial de arquitecturas agente, de debate multiagente y recursivas contra el envenenamiento de la base de conocimientos, cerrando la brecha entre la literatura sobre envenenamiento y la literatura sobre manejo de conflictos.
2. La Arquitectura como Variable de Primer Orden: El estudio demuestra que las decisiones de diseño arquitectónico por sí solas producen una dispersión de casi 58 puntos porcentuales en las tasas de éxito del ataque (desde un 81,9 % para Vanilla hasta un 24,4 % para RLM) entre sistemas con precisión limpia comparable ($\sim$92 %).
3. Descomposición del Éxito del Ataque: Los autores descomponen la brecha de rendimiento entre ataques ingenuos y adversarios en "efectos de recuperación" (lograr que se recupere el veneno) y "efectos de contenido" (persuasividad del marco). Descubren que, para tres de las cuatro arquitecturas, la mayor parte de la ventaja adversarial proviene del marco meta-epistémico en la etapa de generación, no de la optimización de recuperación.
4. Taxonomía Conductual: La introducción de una taxonomía de siete categorías captura modos de fallo más allá de la precisión binaria, incluyendo la detección de contradicciones, la vacilación y los niveles de confianza.

Resultados

• Varianza de Robustez: Bajo CorruptRAG-AK, RAG Vanilla sufre una ASR del 81,9 % (condicionada a limpio), mientras que RAG Agente cae al 43,8 %, y RLM logra la mayor robustez con un 24,4 %. MADAM-RAG muestra una ASR del 45,5 %, pero se complica por una alta tasa de no respuesta (41,4 % en entradas limpias), lo que sugiere un intercambio "seguro pero inútil" donde el sistema se niega frecuentemente a responder en lugar de arriesgar un error.
• Hallazgos de Descomposición:
  • RAG Vanilla: La ventaja del ataque se divide entre recuperación ($\sim$18 pp) y contenido ($\sim$32 pp).
  • RAG Agente: La ventaja es abrumadoramente impulsada por el contenido ($\sim$30 pp), con una contribución mínima de recuperación. Cabe destacar que el bucle agente amplifica el marco adversarial, repitiendo marcadores meta-epistémicos en el 63 % de las respuestas incorrectas.
  • RLM: Toda la brecha de vulnerabilidad se localiza en la etapa de razonamiento de contenido; la optimización de recuperación no proporciona ninguna ventaja adicional al atacante.
  • MADAM-RAG: El efecto del contenido es estadísticamente indistinguible de cero. Una vez que se recupera el veneno, el marco adversarial no ofrece ninguna ventaja sobre una contradicción ingenua, lo que sugiere que la estructura de debate filtra el lenguaje persuasivo. Sin embargo, el agregador no logra resolver las contradicciones de manera fiable independientemente del marco.
• Análisis Conductual: Los fallos de RAG Vanilla son predominantemente "Incorrectos con Confianza". RAG Agente muestra fallos más distribuidos, incluida la vacilación. MADAM-RAG exhibe altas tasas de vacilación y respuestas "Desconocido", suprimiendo errores confiables pero también reduciendo la utilidad. RLM mantiene la tasa más baja de respuestas incorrectas con confianza.

Significado y Afirmaciones
El artículo argumenta que la elección arquitectónica es una variable de alto impacto y poco explorada en la robustez adversarial de RAG, potencialmente más significativa que muchos mecanismos de defensa dedicados. Los autores afirman que:

• Prioridad de Diseño: Seleccionar una arquitectura de razonamiento debería ser una decisión de diseño coigual a la selección de mecanismos de defensa. Un pipeline vanilla con defensas sofisticadas puede rendir menos que un pipeline agente o recursivo desnudo frente a amenazas realistas.
• Contingencia del Modelo de Amenaza: Para la corrupción orgánica (documentos desactualizados), RAG Agente ofrece un fuerte intercambio costo-robustez. Sin embargo, frente a marcos adversarios sofisticados, RAG Agente es insuficiente por sí solo, y los Modelos de Lenguaje Recursivos (RLM) proporcionan una robustez superior, aunque a un costo de latencia significativo.
• Vulnerabilidad a Nivel de Generación: La vulnerabilidad principal para la mayoría de las arquitecturas avanzadas reside en la etapa de generación/razonamiento (efecto de contenido), no en la recuperación. Esto motiva defensas a nivel de generación (por ejemplo, prompting defensivo, comprobaciones de consistencia) como el objetivo de intervención principal para sistemas Agente y RLM.
• Limitaciones de MADAM-RAG: Si bien la estructura de debate multiagente muestra promesa en filtrar lenguaje adversarial y detectar contradicciones, la implementación específica probada no logró resolver conflictos de manera fiable, resultando en altas tasas de no respuesta. El artículo sugiere que se requiere una lógica de agregación mejorada para realizar el potencial de esta arquitectura.

El estudio concluye que, aunque los RLM ofrecen actualmente la mayor robustez, la alta latencia y la asimetría de información (contexto más grande) presentan desafíos de implementación. Los autores postulan que el trabajo futuro debería investigar si un prompting defensivo ligero puede cerrar la brecha de robustez entre las arquitecturas Agente y Recursiva al punto de costo más bajo de los sistemas Agente.