Retromorphic Testing with Hierarchical Verification for Hallucination Detection in RAG

Resumen Técnico: RT4CHART

1. El Problema

Los modelos de lenguaje grandes (LLM) utilizados en sistemas de Generación Aumentada por Recuperación (RAG) pueden seguir alucinando, es decir, generar afirmaciones que no están respaldadas o que contradicen el contexto recuperado.

• Limitaciones actuales: Los detectores de alucinaciones existentes suelen operar a nivel de respuesta completa (otorgando una puntuación holística) o a nivel de fragmentos (span-level) sin proporcionar evidencia explícita del contexto que respalde o refute la afirmación.
• Falta de trazabilidad: En entornos operativos donde los documentos recuperados son la fuente de verdad autoritativa (ej. políticas de servicio), es crucial no solo detectar el error, sino identificar qué parte de la respuesta es infiel y dónde está la evidencia contradictoria en el contexto.
• Ruido en los benchmarks: Los conjuntos de datos actuales (como RAGTruth) sufren de falsos negativos significativos, subestimando la prevalencia de alucinaciones debido a anotaciones incompletas.

2. Metodología: RT4CHART

Los autores proponen RT4CHART (Retromorphic Testing for Context-grounded Hallucination Assessment in Retrieval-Augmented Text), un marco de trabajo basado en la prueba retromórfica.

• Concepto Teórico (Prueba Retromórfica): Se trata de invertir el mapeo generativo. En lugar de solo generar una respuesta, el sistema verifica si la respuesta generada puede "rastrear" su origen hacia las entradas originales (el contexto recuperado).

  • Programa Forward (P): El pipeline RAG que genera la respuesta $A$ a partir del contexto $C$ y la pregunta $Q$.
  • Programa Backward (B): El verificador que analiza $A$ y genera una traza de verificación $T$ para comprobar su consistencia con $C$.

• Pipeline de Verificación Jerárquica:

  1. Descomposición de Afirmaciones (Claim Decomposition): La respuesta generada se divide en afirmaciones atómicas y autocontenidas. Cada afirmación se mantiene vinculada a su fragmento de texto original en la respuesta.
  2. Verificación Local: El contexto se divide en fragmentos superpuestos (chunks). Cada afirmación se verifica contra estos fragmentos individuales para identificar señales de apoyo o conflicto. Los resultados se consolidan mediante una regla de unión OR (si un fragmento contradice, es contradicción; si apoya, es entailed; si nada, es baseless).
  3. Verificación Global: Cada afirmación se reevalúa contra el contexto completo ($C$). Esta etapa utiliza los resultados locales como "pistas" de búsqueda, pero el verificador global debe extraer la evidencia final del texto completo. Esto es crucial para afirmaciones cuya evidencia está distribuida en múltiples fragmentos o para resolver contradicciones locales aparentes.
  4. Agregación a Nivel de Respuesta: Se aplica una regla de unión AND estricta. Si cualquier afirmación es infiel (contradictoria o sin base), toda la respuesta se marca como alucinada.

• Salidas: Para cada afirmación, el sistema devuelve una de tres etiquetas:

  • Entailed (Ent): Respaldada por el contexto.
  • Contradicted (Con): Refutada por el contexto.
  • Baseless (Nic): Sin soporte en el contexto.
  • Además, proporciona los fragmentos de respuesta específicos y las evidencias contextuales explícitas (oraciones de soporte o refutación).

3. Contribuciones Clave

1. Marco de Pruebas Retromórficas: Formaliza la detección de alucinaciones en RAG como un problema de trazabilidad, generando veredictos a nivel de afirmación con evidencia contextual, en lugar de puntuaciones opacas.
2. Pipeline de Verificación Jerárquica: Combina verificación local (para eficiencia y granularidad) con verificación global (para consistencia y manejo de evidencia distribuida), superando las limitaciones de los verificadores de un solo paso.
3. Benchmark Mejorado (RAGTruth-Enhance): Los autores realizaron una re-anotación exhaustiva del conjunto de datos RAGTruth. Descubrieron que las etiquetas originales tenían un alto nivel de ruido (falsos negativos). La nueva versión (RAGTruth-Enhance) revela 1.68 veces más casos de alucinación y 3.1 veces más fragmentos alucinados que las etiquetas originales.
4. Resultados Empíricos Superiores: RT4CHART establece un nuevo estado del arte en la detección de alucinaciones a nivel de respuesta y localización de fragmentos.

4. Resultados Experimentales

El sistema se evaluó en RAGTruth++ (408 muestras) y RAGTruth-Enhance (2,675 muestras), comparándose contra baselines fuertes como Vectara, Lettuce, MetaQA y SelfCheckGPT.

• Detección a Nivel de Respuesta:

  • En RAGTruth++, RT4CHART alcanzó un F1 de 0.776, superando al mejor baseline (Vectara) en un 83% (de 0.424 a 0.776).
  • En RAGTruth-Enhance, logró un F1 de 0.845, superando al baseline más fuerte en un 17%.
  • La mejora se debe principalmente a una mayor recuperación (recall), detectando alucinaciones parciales que los detectores holísticos ignoran.

• Localización a Nivel de Fragmento (Span-level):

  • RT4CHART obtuvo el mejor F1 en localización (47.5% en RAGTruth-Enhance), demostrando capacidad para identificar exactamente qué parte de la respuesta es problemática.

• Análisis de Ablación:

  • La verificación local se identificó como el principal impulsor del rendimiento.
  • La verificación global es complementaria: es crucial cuando la evidencia está dispersa en múltiples fragmentos, pero no siempre mejora el rendimiento global si la evidencia local es suficiente.

• Costo y Robustez:

  • El sistema es robusto al cambiar el modelo de juez (de GPT-4o mini a GLM-4.7).
  • Es reproducible y económico: el costo de API es de aproximadamente $0.0104 por muestra, haciéndolo viable para auditorías rutinarias.

5. Significado e Impacto

• Auditoría Transparente: RT4CHART transforma la detección de alucinaciones de una "caja negra" a un proceso auditable, proporcionando evidencia textual concreta que permite a los desarrolladores entender por qué una respuesta es incorrecta.
• Reevaluación de Benchmarks: El trabajo demuestra que los estándares actuales subestiman drásticamente la prevalencia de alucinaciones, lo que sugiere que muchos modelos se consideran más precisos de lo que realmente son.
• Viabilidad Operativa: Al ofrecer un equilibrio entre precisión, granularidad y costo computacional, RT4CHART se posiciona como una herramienta práctica para la implementación de sistemas RAG seguros y confiables en entornos empresariales donde la fidelidad al contexto es crítica.

En conclusión, el artículo presenta una solución técnica sólida que no solo mejora la detección de errores, sino que redefine cómo se deben evaluar y auditar los sistemas de generación de texto asistidos por recuperación, priorizando la trazabilidad y la evidencia explícita.