ReliabilityRAG: Effective and Provably Robust Defense for RAG-based Web-Search

1. El Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) mejoran los Modelos de Lenguaje Grande (LLM) al fundamentar sus respuestas en documentos externos recuperados. Sin embargo, estos sistemas son vulnerables a ataques adversarios que corrompen el corpus de recuperación, tales como:

• Envenenamiento del corpus (Corpus Poisoning): Inyección de información factual falsa.
• Inyección de prompts (Prompt Injection): Inserción de instrucciones maliciosas para manipular la generación del LLM.

Las defensas existentes (como RobustRAG) suelen tener limitaciones prácticas:

1. Pérdida de información: Utilizan votación por mayoría basada en palabras clave o probabilidades de tokens, lo que degrada la calidad en tareas de generación compleja o de largo formato.
2. Ignorancia de la fiabilidad: Tratan los documentos recuperados como un conjunto desordenado, ignorando señales de fiabilidad intrínsecas como el rango de búsqueda (ranking) o puntuaciones de confianza, que son difíciles de manipular para un atacante debido a las defensas contra SEO.

2. Metodología: ReliabilityRAG

El trabajo propone ReliabilityRAG, un marco de defensa que explota explícitamente la información de fiabilidad de los documentos recuperados. Se aborda en dos configuraciones principales:

A. Configuración de Fiabilidad Ordinal (Basada en Rango)

Utiliza un enfoque teórico de grafos para identificar una "mayoría consistente" entre los documentos.

• Grafo de Contradicción: Se construye un grafo donde los vértices son los documentos recuperados y las aristas conectan pares de documentos que se contradicen (determinado por un modelo de Inferencia de Lenguaje Natural - NLI).
• Conjunto Independiente Máximo (MIS): El objetivo es encontrar el subconjunto más grande de documentos mutuamente consistentes (un MIS).
• Selección Consciente del Rango: Si existen múltiples MIS del mismo tamaño, el algoritmo prioriza aquel que contiene documentos con mayor rango (más fiables). Esto se logra eligiendo el MIS con el orden lexicográfico más pequeño (priorizando índices menores).
• Proceso:
  1. Recuperación de documentos ordenados por fiabilidad.
  2. Respuesta aislada: El LLM genera una respuesta para cada documento individualmente.
  3. Detección de contradicciones: El modelo NLI evalúa pares de respuestas.
  4. Filtrado: Se selecciona el MIS óptimo y se pasa al LLM para la generación final.

B. Configuración de Fiabilidad Cardinal (Basada en Pesos)

Para escenarios con grandes conjuntos de documentos (donde calcular el MIS exacto es computacionalmente costoso, $O(2^k)$), se propone un marco de Muestreo y Agregación Ponderada.

• Muestreo Ponderado: Se muestrean subconjuntos de documentos (contextos) basándose en pesos que reflejan la fiabilidad (ej. decaimiento exponencial según el rango).
• Agregación: Se generan respuestas intermedias para cada contexto muestreado y se agregan.
• Escalabilidad: Este enfoque permite manejar cientos de documentos manteniendo garantías de robustez con alta probabilidad, combinando la eficiencia del muestreo con la lógica de filtrado del MIS.

3. Contribuciones Clave

1. Algoritmo de Selección de Documentos (MIS): Un método novedoso que utiliza la teoría de grafos para filtrar documentos maliciosos priorizando la consistencia lógica y la fiabilidad del rango.
2. Garantías de Robustez Probada: Se demuestran teóricamente garantías de robustez. Bajo suposiciones naturales sobre el rendimiento del modelo NLI y un número acotado de documentos corruptos ($k' \ll k$), la probabilidad de que el MIS seleccionado contenga documentos maliciosos decae exponencialmente a medida que aumenta el número total de documentos.
3. Marco Escalable: Introducción de un framework de muestreo y agregación ponderada que extiende las garantías de robustez a grandes volúmenes de datos sin incurrir en costos computacionales prohibitivos.
4. Integración de Señales de Fiabilidad: Es la primera defensa que utiliza explícitamente el ranking o puntuaciones de confianza como una capa de defensa adicional ("defense-in-depth"), reconociendo que es más difícil para un atacante corromper documentos de alto rango que los de bajo rango.

4. Resultados Empíricos

Los experimentos se realizaron en conjuntos de datos de preguntas y respuestas (RealtimeQA, Natural Questions, TriviaQA) y generación de biografías de largo formato, utilizando varios LLMs (Mistral-7B, Llama3.2, GPT-4o-mini).

• Robustez Superior: ReliabilityRAG supera significativamente a las líneas base (Vanilla RAG, RobustRAG, AstuteRAG, InstructRAG) bajo ataques de inyección de prompts y envenenamiento de corpus.
• Rendimiento en Tareas de Largo Formato: A diferencia de RobustRAG, que sufre una caída drástica en tareas de generación extensa (como biografías), ReliabilityRAG mantiene una alta utilidad y precisión, demostrando que el enfoque de "mayoría consistente" preserva mejor la información semántica que la votación por palabras clave.
• Conciencia del Rango: El sistema muestra una mayor resiliencia cuando el ataque se dirige a documentos de bajo rango (posiciones 25 o 50 en una lista de 50), manteniendo la precisión alta. Esto valida la hipótesis de que la defensa es más efectiva contra ataques en documentos menos fiables.
• Degradación Elegante: Incluso cuando el número de documentos corruptos aumenta, el rendimiento decae de manera más gradual en comparación con otros métodos, que colapsan rápidamente.

5. Significado e Impacto

• Defensa Probada: Proporciona garantías teóricas de seguridad, algo raro en el campo de la defensa de RAG, demostrando que es posible filtrar documentos maliciosos con alta probabilidad si se asume un límite en la capacidad de corrupción del atacante.
• Viabilidad Práctica: Demuestra que es posible integrar señales de fiabilidad (como el ranking de motores de búsqueda) en el ciclo de inferencia de RAG sin sacrificar la calidad de la respuesta en escenarios benignos.
• Nueva Dirección de Investigación: Establece un nuevo paradigma donde la defensa no solo se basa en la consistencia interna de los textos, sino en la jerarquía de confianza externa, ofreciendo una solución escalable y robusta para sistemas de búsqueda web potenciados por IA.

En resumen, ReliabilityRAG representa un avance significativo hacia sistemas RAG más seguros y confiables, combinando rigor teórico con una implementación práctica que supera a los métodos actuales en robustez y utilidad, especialmente en escenarios complejos de generación de texto.