Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation

Resumen Técnico: FRANQ

1. El Problema: Alucinaciones en RAG y la Confusión entre Fidelidad y Facticidad

Los Modelos de Lenguaje Grande (LLM) mejorados con recuperación de información, conocidos como Generación Aumentada por Recuperación (RAG), han demostrado un rendimiento superior en preguntas de dominio abierto. Sin embargo, siguen siendo propensos a las alucinaciones (generaciones factualmente incorrectas).

El problema central identificado por los autores es que los enfoques existentes para detectar alucinaciones suelen confundir la facticidad con la fidelidad:

• Fidelidad (Faithfulness): ¿El contenido generado está semánticamente entrelazado o respaldado por el contexto recuperado?
• Facticidad (Factuality): ¿El contenido es objetivamente correcto según el conocimiento del mundo?

Los métodos actuales a menudo etiquetan como "alucinación" cualquier afirmación que no esté explícitamente respaldada por el texto recuperado, incluso si es factualmente correcta y proviene del conocimiento interno del modelo. Por el contrario, pueden pasar por alto errores factuales si estos coinciden con un contexto recuperado erróneo. Esta distinción es crucial para evaluar la fiabilidad real de un sistema RAG.

2. Metodología: FRANQ

Los autores proponen FRANQ (Faithfulness-aware Retrieval Augmented UNcertainty Quantification), un nuevo marco para cuantificar la incertidumbre y detectar errores factuales. La idea central es descomponer la probabilidad de que una afirmación sea verdadera en dos componentes condicionales basados en la fidelidad.

La fórmula fundamental de FRANQ es:
$$P(c \text{ es verdadera}) = P(c \text{ es fiel}) \cdot P(c \text{ es verdadera} | \text{fiel}) + P(c \text{ no es fiel}) \cdot P(c \text{ es verdadera} | \text{no fiel})$$

Donde:

1. Evaluación de Fidelidad: Se utiliza AlignScore (un modelo basado en RoBERTa ajustado para alineación factual) para estimar la probabilidad de que una afirmación $c$ esté respaldada por los documentos recuperados $r$. A diferencia de los umbrales binarios, AlignScore proporciona una estimación continua.
2. Facticidad bajo condición de Fidelidad ($P(c|fiel)$): Si la afirmación es fiel al contexto, la incertidumbre se mide evaluando qué tan bien el modelo aplica esa evidencia a la consulta.
   • Preguntas de formato largo: Se usa la Probabilidad Máxima de la Afirmación ($p(c|x,r)$).
   • Preguntas de formato corto: Se usa la Entropía Semántica, que captura mejor la incertidumbre en respuestas breves.
3. Facticidad bajo condición de No Fidelidad ($P(c|no\ fiel)$): Si la afirmación no está respaldada por el contexto, se asume que proviene del conocimiento paramétrico interno del LLM.
   • Preguntas de formato largo: Se utiliza el método de Conocimiento Paramétrico, calculando la probabilidad de la afirmación solo con el input de la pregunta ($x$), eliminando el contexto recuperado ($r$) para evitar sesgos.
   • Preguntas de formato corto: Se utiliza la Suma de Valores Propios (Sum of Eigenvalues) de la matriz de diversidad de muestras.
4. Calibración Condicional: Dado que las distribuciones de las métricas de incertidumbre pueden variar, FRANQ aplica una regresión isotónica para calibrar las puntuaciones. Se propone una calibración específica por condición: se calibra el componente de "fiel" usando solo datos fieles y el de "no fiel" usando solo datos no fieles.

3. Contribuciones Clave

• Nuevo Método de Detección (FRANQ): Un marco probabilístico que separa explícitamente la evaluación de la fidelidad de la facticidad, permitiendo detectar errores factuales incluso cuando el modelo ignora el contexto recuperado (siempre que la respuesta sea correcta) y evitando penalizar respuestas correctas que no están en el contexto.
• Nuevo Dataset de QA de Formato Largo: Los autores crearon un dataset específico para RAG con 76 preguntas complejas y más de 1,700 afirmaciones atómicas extraídas. Este dataset incluye anotaciones duales de facticidad y fidelidad, generadas mediante un proceso híbrido de etiquetado automático (GPT-4o) y validación manual para casos difíciles.
• Evaluación Exhaustiva: Se probaron múltiples LLMs (Llama 3/8B, Falcon 3B, Gemma 4B/12B) en tareas de formato largo y corto, demostrando la superioridad del método sobre baselines generales y específicos de RAG.

4. Resultados Experimentales

Los experimentos se realizaron utilizando métricas como el PR-AUC (Área bajo la curva de precisión-recall) y la Ratio de Rechazo de Predicción (PRR).

• Rendimiento Superior: FRANQ (especialmente la variante con calibración condicional) superó consistentemente a todos los baselines, incluidos métodos generales de incertidumbre (como Perplejidad, Entropía Semántica) y métodos específicos de RAG (como AlignScore puro o Conocimiento Paramétrico puro).
  • En QA de formato largo, FRANQ logró el mejor PR-AUC en la mayoría de los modelos y el segundo mejor PRR.
  • En QA de formato corto, FRANQ obtuvo el mejor rendimiento medio en PR-AUC y PRR en la mayoría de los modelos y datasets (TriviaQA, SimpleQA, Natural Questions, PopQA).
• Robustez: El método demostró ser robusto ante dos modos de fallo de recuperación:
  1. Recuperación Irrelevante: Cuando el 50% de los documentos recuperados son aleatorios.
  2. Recuperación Corrupta: Cuando el 50% de los documentos contienen hechos plausibles pero incorrectos.
     En ambos casos, FRANQ mantuvo un rendimiento superior, indicando que su enfoque de separar la fuente de la información (contexto vs. conocimiento interno) es efectivo.
• Eficiencia: El costo computacional adicional es bajo. La calibración requiere menos de un segundo de entrenamiento y produce modelos de apenas unos cientos de bytes, haciéndolo viable para despliegue en producción.

5. Significado e Impacto

Este trabajo es significativo porque redefine cómo se evalúa la fiabilidad en los sistemas RAG.

• Desenredar el fallo: Permite distinguir entre un error causado por una mala recuperación de datos y un error causado por el conocimiento interno del modelo.
• Evitar falsos positivos: Al no penalizar las respuestas factuales que no están en el contexto recuperado, evita que los sistemas de filtrado bloqueen información útil y correcta.
• Aplicabilidad: Proporciona una herramienta ligera y autocontenida para la verificación de hechos que no requiere agentes de búsqueda externos ni entrenamiento masivo adicional, facilitando la implementación de sistemas RAG más seguros y transparentes en dominios críticos como la salud, la educación y el derecho.

En conclusión, FRANQ representa un avance hacia una cuantificación de incertidumbre más matizada y precisa, reconociendo que la "verdad" en un sistema RAG no depende exclusivamente de lo que el sistema recupera, sino de la combinación inteligente de la evidencia externa y el conocimiento interno del modelo.