Evaluating RAG Reliability under Clean, Misleading, and Mixed Retrieval

Resumen Técnico: Evaluación de la Fiabilidad de RAG bajo Recuperación Limpia, Engañosa y Mixta

Planteamiento del Problema
Los sistemas de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés) están diseñados para mejorar la fiabilidad fáctica de los Modelos de Lenguaje Extensos (LLM) al fundamentar las respuestas en evidencia externa. Sin embargo, existe una vulnerabilidad crítica en los entornos de información del mundo real, donde el contenido recuperado suele contener datos heterogéneos, incluyendo información plausible pero incorrecta (desinformación). Los marcos de evaluación actuales suelen asumir que el contexto recuperado es fiable o se centran principalmente en ataques de "envenenamiento" orientados a la seguridad. Existe una falta de análisis sistemático sobre cómo se comportan los sistemas RAG cuando el contexto recuperado contiene niveles variables de desinformación, particularmente en escenarios donde el modelo ya posee la respuesta correcta en su conocimiento paramétrico (interno). El problema central es determinar si y cómo la evidencia engañosa anula el conocimiento paramétrico correcto e influye en la confianza del modelo.

Metodología
El estudio propone un protocolo de evaluación para probar la robustez de RAG a través de cuatro escenarios contextuales distintos:

1. Limpio (Clean): Contexto que contiene únicamente pasajes correctos.
2. Envenenado (Poisoned): Contexto que contiene únicamente pasajes incorrectos (engañosos).
3. Mixto-33 (Mixed-33): Contexto con un pasaje incorrecto y dos pasajes correctos.
4. Mixto-67 (Mixed-67): Contexto con dos pasajes incorrectos y un pasaje correcto.

Configuración Experimental:

• Conjunto de Datos: Se tomó una muestra de 100 preguntas de hechos (factoid) del conjunto de datos TruthfulQA. Crucialmente, el estudio filtró las preguntas que los modelos respondieron correctamente en un entorno de Solo Paramétrico (sin recuperación), asegurando que cualquier error posterior pudiera atribuirse a la influencia contextual en lugar de a lagunas de conocimiento.
• Modelos: Los experimentos se realizaron utilizando GPT-4o (un modelo de pesos cerrados robusto) y LLaMA-3.1-8B (un modelo de pesos abiertos más pequeño) para evaluar el impacto de la capacidad del modelo.
• Construcción del Contexto: Los contextos limpios se recuperaron de Wikipedia mediante BM25. Los contextos engañosos ("envenenados") fueron generados sintéticamente por LLaMA-3.1-8B para ser plausibles, informativos y fácticamente contradictorios con la respuesta correcta, imitando la desinformación realista sin depender de APIs propietarias para la generación.
• Métricas de Evaluación: El artículo introduce tres métricas específicas para ir más allá de la simple precisión:
  1. Tasa de Anulación Paramétrica (POR - Parametric Override Rate): Mide la frecuencia con la que el contexto recuperado provoca que un modelo abandone una respuesta paramétrica correcta en favor de una incorrecta.
  2. Inflación de Confianza (CI - Confidence Inflation): Cuantifica el aumento en la asertividad (confianza) del modelo al generar respuestas incorrectas bajo contextos engañosos en comparación con contextos limpios.
  3. Curva de Ratio de Envenenamiento (PRC - Poison Ratio Curve): Rastrea la evolución de la precisión general del modelo a medida que la proporción de pasajes engañosos en el contexto aumenta del 0% al 100%.

Resultos Clave

• Anulación Paramétrica: Ambos modelos exhibieron una susceptibilidad significativa a anular el conocimiento interno correcto. Incluso en el escenario Limpio, una parte sustancial de las respuestas paramétricas correctas fueron anuladas (POR de 0.378 para GPT-4o y 0.417 para LLaMA-3.1), lo que sugiere que la mera presencia de contexto recuperado puede interferir con el razonamiento interno. A medida que aumentaba la proporción de contexto incorrecto, la POR aumentó sistemáticamente. En el escenario Envenenado, ambos modelos abandonaron el conocimiento correcto en más del 56% de los casos.
• Sensibilidad del Modelo: LLaMA-3.1 demostró una mayor sensibilidad a la evidencia contradictoria que GPT-4o, mostrando un declive más pronunciado en el rendimiento en escenarios mixtos (por ejemplo, la POR saltó a 0.583 en el Mixto-67 para LLaMA-3.1).
• Inflación de Confianza: Los contextos engañosos causaron que los modelos expresaran respuestas incorrectas con una confianza significativamente mayor. En el escenario totalmente envenenado, ambos modelos mostraron niveles similares de inflación de confianza (aprox. 1.6), lo que indica que la sobreconfianza ante la desinformación es una característica general de los sistemas RAG y no un fallo específico de la arquitectura.
• Degradación de la Precisión: La Curva de Ratio de Envenenamiento reveló una clara relación inversa entre la cantidad de desinformación y la precisión del modelo. Las pruebas estadísticas (Q de Cochran) confirmaron que la degradación de la precisión a través de las condiciones de contexto fue significativa para ambos modelos.

Significancia y Contribuciones
El artículo afirma proporcionar el primer marco de evaluación sistemática que mide explícitamente la medida en que los modelos se desvían del conocimiento paramétrico correcto bajo la influencia del contexto recuperado. Sus principales contribuciones incluyen:

1. Perspectiva Conductual: Demostrar que la fiabilidad de RAG no trata únicamente de la precisión de la recuperación, sino que depende fuertemente de cómo los modelos resuelven los conflictos entre el conocimiento interno y la evidencia externa.
2. Nuevas Métricas: Introducir POR, CI y PRC para cuantificar el efecto de "anulación" y la peligrosa combinación de respuestas incorrectas con alta confianza.
3. Evaluación Realista: Destacar que los sistemas RAG son vulnerables incluso en entornos "mixtos" donde la desinformación no es dominante, desafiando la suposición de que la información correcta en el contexto prevalecerá naturalmente.

Los autores concluyen que, en entornos ricos en desinformación, la fiabilidad de la evidencia recuperada es tan crítica como su relevancia. El estudio sugiere que los futuros sistemas RAG requieren mecanismos de recuperación conscientes de la credibilidad y estrategias de detección de conflictos para evitar que los modelos adopten con confianza información engañosa por encima de su propio conocimiento verificado.