Probabilistic distances-based hallucination detection in LLMs with RAG

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) son propensos a generar alucinaciones: contenido incorrecto o fabricado que no coincide con los hechos reales ni con el contexto proporcionado. Este problema es crítico en sistemas de Generación Aumentada por Recuperación (RAG), donde el modelo debe basar sus respuestas en información recuperada.

• Limitaciones actuales: La mayoría de los métodos existentes de detección de alucinaciones no están diseñados específicamente para RAG. Suelen analizar las respuestas de forma aislada o dependen de:
  • Consistencia (generar múltiples respuestas, lo cual es costoso computacionalmente).
  • Incertidumbre (probabilidades de tokens, que a menudo fallan en capturar dependencias complejas).
  • Mapas de atención (que han demostrado ser útiles, pero dejan de lado la rica información semántica codificada en los estados ocultos del modelo).
• Brecha: Existe una falta de métodos que analicen explícitamente la relación estadística entre el contexto (prompt) y la respuesta generada dentro del espacio de estados latentes del modelo, especialmente sin requerir bases de conocimiento externas o modelos auxiliares.

2. Metodología Propuesta

Los autores proponen un enfoque intrínseco al modelo que mide la divergencia estadística entre la distribución de los estados ocultos del prompt y la de la respuesta.

A. Hipótesis Central

Las respuestas alucinadas muestran una mayor desviación en el espacio de estados latentes respecto al prompt en comparación con las respuestas fundamentadas (grounded). Es decir, la "distancia" entre la comprensión latente del contexto y la generación es mayor cuando hay alucinación.

B. Métrica: Divergencia de Máxima Media (MMD)

Para cuantificar esta desviación, utilizan la Divergencia de Máxima Media (Maximum Mean Discrepancy - MMD).

• El MMD mide la distancia entre dos distribuciones de probabilidad en un Espacio de Hilbert de Reproductores de Kernel (RKHS).
• Se calcula la distancia entre la distribución de los embeddings de los tokens del prompt ($P$) y la de los tokens de la respuesta ($R$).
• Una mayor distancia $d(\alpha_P, \beta_R)$ indica una mayor probabilidad de alucinación.

C. Validación Estadística (Wild Bootstrap)

Para evitar problemas con tamaños de secuencia variables y asegurar la validez en configuraciones no asintóticas, no utilizan el valor "crudo" del MMD. En su lugar:

1. Generan una distribución nula empírica mediante Wild Bootstrap.
2. Utilizan pesos de bootstrap generados por un proceso autorregresivo de primer orden (AR(1)) para capturar la dependencia secuencial de los tokens (sintaxis y semántica).
3. Calculan un valor p basado en esta distribución.
4. La puntuación final de alucinación es $1 - \text{valor p}$.

D. Selección de "Heads" (Atención)

En lugar de usar los embeddings de toda una capa del transformador (que pueden diluir la señal), el método selecciona un subconjunto óptimo de cabezas de atención específicas.

• Se evalúa la capacidad de separación de cada cabeza en un conjunto de datos de sonda (probe set).
• Se seleccionan las mejores cabezas (hasta un máximo de 6) que maximizan la capacidad de distinguir entre respuestas alucinadas y fundamentadas.

E. Transferencia desde NLI (Inferencia de Lenguaje Natural)

El método aprovecha la similitud entre la detección de alucinaciones y la tarea de NLI (donde se detecta contradicción entre premisa e hipótesis).

• Permiten seleccionar las cabezas de atención utilizando datos etiquetados de NLI (como SNLI) y aplicar el detector a tareas de RAG sin necesidad de datos etiquetados de alucinaciones, logrando un modo totalmente no supervisado en la fase de despliegue.

3. Contribuciones Clave

1. Análisis de Distancias Probabilísticas: Demuestran que las respuestas alucinadas tienen una mayor divergencia estadística (MMD) respecto a sus prompts en el espacio de estados ocultos que las respuestas correctas.
2. Enfoque Intrínseco y No Supervisado: Proponen un detector que no requiere bases de conocimiento externas, modelos auxiliares ni múltiples generaciones. Utiliza únicamente los estados internos del LLM.
3. Técnica de Puntuación Robusta: Integran MMD con Wild Bootstrap para obtener puntuaciones normalizadas y estadísticamente válidas, manejando la dependencia secuencial de los tokens.
4. Transferibilidad NLI-Hallucinación: Construyen un detector no supervisado que mantiene un alto rendimiento al transferir la selección de características desde tareas de NLI a la detección de alucinaciones, superando la brecha de dominio.
5. Rendimiento de Estado del Arte (SOTA): Validación extensiva que muestra resultados competitivos o superiores a métodos existentes.

4. Resultados Experimentales

El método fue evaluado en 5 conjuntos de datos (RAGTruth, CoQA, SQuAD, XSum, MS MARCO) y 3 modelos LLM (Mistral-7B, LLaMA-2-7B, LLaMA-2-13B).

• Rendimiento General: El método propuesto (MMD) alcanzó el mejor o segundo mejor resultado en la mayoría de los casos, especialmente en modelos más grandes (LLaMA-2-13B).
  • En el conjunto de datos SQuAD con LLaMA-2-13B, alcanzó un ROC-AUC de 0.94, superando significativamente a baselines como EigenScore (0.57) o Perplexity (0.45).
  • En XSum, obtuvo un 0.94 con LLaMA-2-13B, superando a HaloScope (0.55).
• Transferencia NLI: Al transferir la selección de cabezas desde el dataset SNLI (NLI) a tareas de detección de alucinaciones, el método mantuvo un rendimiento competitivo (ej. 0.94 en SQuAD con LLaMA-2-13B), demostrando que no se necesitan ejemplos etiquetados de alucinaciones para entrenar el selector.
• Estudios de Ablación:
  • Bootstrap vs. Valor Crudo: El uso de Bootstrap mejoró la estabilidad y el rendimiento en comparación con usar el valor MMD crudo.
  • Nivel de Cabeza vs. Capa: El uso de embeddings a nivel de cabeza (head-level) superó consistentemente a los embeddings a nivel de capa (layer-level), sugiriendo que la señal de factibilidad se diluye al promediar toda la capa.
  • Tamaño del Conjunto de Sonda: El método es robusto y no depende significativamente del tamaño del conjunto de datos de sonda para la selección de cabezas.

5. Significado e Impacto

Este trabajo presenta un avance significativo en la seguridad y fiabilidad de los sistemas RAG:

• Eficiencia: Al no requerir múltiples generaciones ni modelos externos, es computacionalmente eficiente para su implementación en producción.
• Generalización: La capacidad de funcionar en modo no supervisado mediante la transferencia desde NLI lo hace aplicable en dominios donde los datos etiquetados de alucinaciones son escasos o inexistentes.
• Fundamento Teórico: Establece una conexión geométrica y estadística sólida entre la divergencia de estados latentes y la alucinación, ofreciendo una nueva perspectiva más allá de los análisis de atención o probabilidad superficial.
• Escalabilidad: El rendimiento mejora con modelos más grandes, lo que sugiere que los LLMs de mayor tamaño codifican señales de factibilidad más claras en sus estados ocultos que este método puede explotar.

En resumen, el artículo propone una solución elegante y potente que utiliza la geometría de los estados ocultos del modelo para detectar alucinaciones con alta precisión, sin depender de recursos externos costosos.