Resumen Técnico: Diagnóstico y Reparación de Errores Fácticos en RAG bajo Restricciones de Presupuesto

Planteamiento del Problema

La Generación Aumentada por Recuperación (RAG) tiene como objetivo mejorar la fácticidad de los Modelos de Lenguaje Extensos (LLMs) fundamentando las respuestas en evidencia externa. Sin embargo, los despliegues en el mundo real siguen siendo frágiles, fallando a menudo debido a la falta de evidencia o a una evidencia débilmente relevante, o bien por una generación que no refleja fielmente el contexto recuperado. Estos modos de fallo son particularmente problemáticos en entornos con estrictas restricciones de latencia y hardware (por ejemplo, memoria GPU limitada, APIs con límites de tasa o despliegues en el borde con restricciones de costo), donde la recuperación iterativa o el reordenamiento (reranking) intensivo en recursos son computacionalmente prohibitivos.

Las soluciones existentes enfrentan limitaciones significativas:

• Las modificaciones en tiempo de entrenamiento (por ejemplo, Self-RAG) requieren ajuste fino (fine-tuning) y acoplamiento arquitectónico, lo que limita su uso en entornos de caja negra o basados en APIs.
• El control en tiempo de inferencia (por ejemplo, DRAGIN) a menudo depende de señales internas del modelo, como el acceso a los logits, que no están disponibles en las APIs de LLMs de código cerrado.
• Las políticas basadas en aprendizaje (por ejemplo, MBA-RAG, QueryBandits) a menudo se dirigen a etapas específicas del pipeline o requieren componentes de supervisión y modelado adicionales.

Existe la necesidad de un marco de trabajo agnóstico al modelo y consciente de los recursos que pueda diagnosticar fallos utilizando únicamente artefactos observables y seleccionar la acción correctiva de menor costo bajo restricciones explícitas de latencia y VRAM.

Metodología: D2R-RAG

Los autores proponen D2R-RAG (Diagnose-to-Repair RAG), un marco que aumenta un pipeline de RAG estándar con dos módulos principales: Diagnóstico de Fallos y Reparación Adaptativa.

1. Diagnóstico de Fallos

Esta etapa determina la confiabilidad de la salida inicial de RAG e identifica el tipo de fallo utilizando solo señales observables: la consulta ($q$), la evidencia recuperada ($E$), la respuesta generada ($r$) y una etiqueta predicha ($y$). El sistema triangula la verificación utilizando tres señales complementarias:

• Implicación de la Consulta (Query Entailment, $e_q$): Comprueba si la evidencia implica la consulta.
• Implicación de la Respuesta (Response Entailment, $e_r$): Comprueba si la evidencia implica la respuesta.
• Alineación con el Grafo de Conocimiento (KG Alignment, $\kappa$): Extrae triples relacionales de la respuesta y los alinea contra un KG para identificar desajustes de entidad/predicado.

Basándose en estas señales, el sistema clasifica los fallos en cuatro firmas interpretables:

• Predicado Incorrecto (Wrong-Predicate, WP): Conflicto de KG.
• Evidencia Insuficiente (Insufficient-Evidence, IE): La evidencia recuperada no implica la consulta ($e_q = \text{neutral}$).
• Respuesta Incorrecta (Wrong-Response, WR): La respuesta no es implicada por la evidencia ($e_r \in \{\text{neutral, contradict}\}$).
• Desajuste Etiqueta–Evidencia (Label–Evidence Mismatch, LEM): Específicamente para tareas FEVER, donde la etiqueta predicha entra en conflicto con la implicación consulta-contexto.

Para las tareas de FEVER, los casos de IE y LEM activan una etiqueta de abstención de "No Verificado" para priorizar las reparaciones orientadas a la recuperación.

2. Reparación Adaptativa mediante Bandidos Contextuales

Una vez identificado un tipo de fallo, D2R-RAG formula la selección de la reparación como un problema de Bandido Multibrazo Contextual (CMAB).

• Espacio de Acciones ($A$): Un conjunto pequeño de intervenciones desplegables como caja negra:
  1. Reescritura a nivel de prompt: Parafrasear o simplificar la consulta para reducir la ambigüedad.
  2. Activación de Reranker: Utilizar un codificador cruzado (cross-encoder) para mejorar la precisión de la evidencia.
  3. Intervenciones a nivel de recuperación: Ajustar la profundidad ($k$), cambiar entre recuperación BM25 y densa, o refrescar el índice.
• Aprendizaje de la Política: El sistema utiliza LinUCB para aprender una política que equilibre la recuperación fáctica esperada frente al costo computacional. La política asume un modelo de recompensa lineal $\hat{r}(a | x) = x^\top \theta_a$ y selecciona acciones maximizando un límite de confianza superior.
• Recompensa Consciente de Recursos: La función de recompensa ($r(a)$) califica las reparaciones basándose en la fiabilidad de la salida (SinFallo, consistencia de KG, implicación de NLI) y el cumplimiento del presupuesto. Incluye:
  • Puertas de control estrictas (Hard gates): Anulación de recompensas si la latencia ($L_a$) o la VRAM ($V_a$) exceden los presupuestos por acción ($B_L, B_V$).
  • Términos multiplicativos: Incentivar las acciones más económicas entre las que son factibles.

Contribuciones Clave

1. Marco Agnóstico al Modelo: D2R-RAG opera sin necesidad de ajuste fino del generador ni acceso a los logits internos, lo que permite su despliegue con APIs de LLM de código cerrado.
2. Firmas de Fallo Interpretables: El sistema distingue entre insuficiencia en el lado de la recuperación y falta de fidelidad en el lado de la generación utilizando únicamente artefactos observables.
3. Reparación Adaptativa y con Restricción de Presupuesto: Al formular la reparación como un problema de bandido contextual con restricciones explícitas de latencia y VRAM, el sistema aprende a seleccionar la acción correctiva de "menor costo" para tipos de fallo específicos.
4. Validación Empírica: El marco se evalúa en verificación de hechos (FEVER) y preguntas de respuesta multi-salto (HotpotQA), demostrando mejoras en la fiabilidad y en los compromisos de eficiencia-precisión en comparación con bases recientes.

Resultados Experimentales

Los autores evaluaron D2R-RAG frente a Naive-RAG, Paráfrasis de Consulta (Query Paraphrase), Expansión de Contexto (Context Expansion) y Thompson Sampling (una política sin contexto) utilizando GPT-4o-mini.

• FEVER (Verificación de Hechos):
  • D2R-RAG (Thompson Sampling) alcanzó un 61.5% de Precisión, superando a Naive-RAG (56.3%) y Context Expansion (61.8% con mayor latencia).
  • Mantuvo un perfil de costo superior (1.14s de latencia, 0.17 MB de VRAM) en comparación con la variante LinUCB (1.47s, 0.36 MB).
• HotpotQA (QA Multi-salto):
  • D2R-RAG (Thompson Sampling) alcanzó un 40.4% de Exactitud de Coincidencia (EM) con un 71.52% de fidelidad.
  • La variante LinUCB igualó el 39.8% de EM, pero incurrió en una mayor latencia (3.41s frente a 2.37s) y ocasionalmente excedió los presupuestos de VRAM.
• Adaptación de la Política (RQ2): El análisis mostró que la política condiciona correctamente las acciones según los tipos de fallo. Por ejemplo, los casos de "Evidencia Insuficiente" en FEVER favorecieron la escalada de recuperación (profundización de densa/BM25), mientras que los fallos de "Respuesta Incorrecta" y "Predicado Incorrecto" en HotpotQA dirigieron hacia la activación del reranker.
• Sensibilidad al Presupuesto (RQ3): Los estudios de ablación confirmaron que la formulación de la recompensa controla eficazmente los compromisos entre calidad y costo. Los ajustes de presupuesto "Estrictos" redujeron el uso de VRAM preservando el rendimiento, mientras que los ajustes "Relajados" disminuyeron la latencia y aumentaron la fidelidad.

Significado y Limitaciones

El artículo argumenta que la recuperación fiable en entornos de RAG de caja negra requiere una capacidad dual: un diagnóstico ligero de la diferenciación de tipos de fallo y la selección de la acción correctiva de menor costo bajo restricciones de recursos. D2R-RAG demuestra que la fiabilidad mejora más cuando la reparación se dirige a firmas de fallo específicas en lugar de utilizar una estrategia uniforme.

Los autores señalan modestamente dos limitaciones:

1. Imperfecciones en las Señales de Diagnóstico: El alineamiento de KG y los modelos de NLI pueden tener dificultades con la evidencia ruidosa y el razonamiento multi-salto, lo que podría derivar en errores en cascada hacia reparaciones subóptimas.
2. Restricciones en el Espacio de Acciones: La política está limitada a las acciones de reparación expuestas; si las alternativas más económicas no están disponibles, el sistema puede abusar de parches costosos o carecer de la capacidad para resolver fallos complejos.

El trabajo concluye que D2R-RAG ofrece un enfoque práctico y consciente de los recursos para mejorar la fiabilidad de RAG en entornos restringidos sin requerir acceso a los parámetros internos del modelo.