Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

Resumen Técnico: Verificar cuando hay incertidumbre: Más allá de la autocoherencia en la detección de alucinaciones en caja negra

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) producen con frecuencia alucinaciones —contenido plausible pero fácticamente incorrecto— lo que socava su fiabilidad en aplicaciones sensibles. La detección de estas alucinaciones en entornos de caja negra (donde solo se accede a los resultados del modelo y no a sus estados internos o logits) es un desafío crítico. Los enfoques existentes se basan principalmente en la autocoherencia (self-consistency): la intuición de que un modelo que genera una respuesta correcta producirá respuestas mutuamente implicantes cuando se muestrean estocásticamente, mientras que las alucinaciones resultan en salidas inconsistentes. Sin embargo, no está claro si los métodos de autocoherencia han alcanzado su techo de rendimiento dado el limitado flujo de información en los escenarios de caja negra, y cómo mejorar la detección sin incurrir en costes computacionales prohibitivos.

Metodología

1. Análisis del techo de la autocoherencia

Los autores primero formalizan los métodos de autocoherencia existentes (por ejemplo, Entropía Semántica, Distancia Media de Pares, métricas basadas en autovalores) como funciones $f$ aplicadas a una matriz de autoimplicación $P^{self}$. Para determinar el límite de rendimiento teórico de este paradigma, entrenan Redes Convolucionales de Grafos (GCN) para aproximar la función óptima $f$ que mapea $P^{self}$ hacia la etiqueta de alucinación de la verdad de campo (ground-truth).

• Hallazgo: Los resultados empíricos en múltiples LLMs (Llama-2, Llama-3, Mixtral) y conjuntos de datos (SQuAD, TriviaQA) muestran que los métodos existentes ya funcionan casi tan bien como este oráculo supervisado. Esto sugiere que las ganancias adicionales dentro del paradigma de solo autocoherencia son limitadas.

2. Introducción de la coherencia entre modelos (Cross-Model Consistency)

Para superar el techo de la autocoherencia, el artículo propone incorporar un modelo verificador ($M_v$) para comprobar la coherencia entre el modelo objetivo ($M_t$) y el verificador.

• Mecanismo: Se construye una matriz de implicación cruzada $P^{cross}$ comparando las muestras de $M_t$ y $M_v$.
• Perspectiva Teórica: Incluso si el verificador es más débil que el modelo objetivo, el acuerdo o desacuerdo entre ambos proporciona información que la autocoherencia por sí sola no puede capturar.
• Combinación Lineal: Los autores demuestran que un promedio ponderado simple de las métricas de autocoherencia y coherencia cruzada, $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$, puede lograr un rendimiento muy cercano al techo teórico derivado del oráculo GCN.

3. Algoritmo de detección de dos etapas consciente del presupuesto

Reconociendo que consultar un verificador para cada pregunta introduce una carga computacional significativa (especialmente si el verificador es un modelo grande), los autores proponen un algoritmo adaptativo de dos etapas:

1. Etapa 1 (Autocoherencia): Calcular la puntuación de autocoherencia ($s_{self}$).
   • Si $s_{self}$ es inferior a un umbral inferior $t_1$, clasificar como Sin Alucinación.
   • Si $s_{self}$ es superior a un umbral superior $t^*$, clasificar como Alucinación.
   • Si $s_{self}$ cae en la "zona de incertidumbre" intermedia ($t_1 < s_{self} < t^*$), proceder a la Etapa 2.
2. Etapa 2 (Coherencia Cruzada): Para el subconjunto ambiguo, muestrear respuestas del verificador, calcular la puntuación de coherencia cruzada ($s_{cross}$) y aplicar un umbral $t_2$ para realizar la clasificación final.

Interpretación Geométrica: Los autores interpretan este proceso en el espacio de las Incrustaciones de Media de Kernel (Kernel Mean Embeddings). La autocoherencia corresponde a la norma de la incrustación media del modelo objetivo ($\|\mu_t\|$), mientras que la coherencia cruzada corresponde al producto escalar entre las incercaciones del objetivo y del verificador ($\langle \mu_t, \mu_v \rangle$). El proceso de dos etapas filtra eficazmente las muestras basándose en la norma de $\mu_t$ y utiliza al verificador para definir un hiperplano separador para la región de incertidumbre.

Selección de Umbrales: Los umbrales $t_1$ y $t_2$ se seleccionan utilizando un conjunto de validación para maximizar la probabilidad de detección para una tasa de falsas alarmas dada. El artículo proporciona un teorema (Teorema 5.1) que garantiza que este procedimiento de selección se generaliza bien a los datos de prueba.

Resultados Clave

• Techo de Rendimiento: Los métodos de autocoherencia existentes están cerca del techo de rendimiento para la detección en caja negra sin un verificador.
• Eficacia del Verificador: La introducción de un verificador mejora significativamente el rendimiento del techo aproximado (medido por AUROC y AURAC), incluso cuando el verificador es más pequeño o más débil que el modelo objetivo.
• Relación Coste-Rendimiento: El algoritmo propuesto de dos etapas logra un alto rendimiento de detección con un coste computacional mínimo.
  • Los experimentos muestran que las curvas de rendimiento son convexas, lo que significa que una pequeña fracción de llamadas al verificador aporta la mayor parte de la ganancia de rendimiento.
  • Específicamente, el método puede reducir los costes computacionales entre un 13,5% y un 28% manteniendo el 95% de la ganancia máxima de rendimiento en comparación con la consulta del verificador para todas las preguntas.
• Robustez: El enfoque funciona bien en diversas combinaciones de objetivo-verificador (se probaron 20 pares) y conjuntos de datos (SQuAD, TriviaQA, Natural Questions). Los umbrales aprendidos en un conjunto de preguntas se transfieren eficazmente a diferentes preguntas.

Significado y Reivindicaciones

El artículo afirma ofrecer una solución práctica al equilibrio entre la precisión de la detección de alucinaciones y el presupuesto computacional en entornos de caja negra.

• Más allá de la Autocoherencia: Establece que, si bien la autocoherencia está cerca de su límite, la coherencia entre modelos es el siguiente paso necesario y efectivo.
• Eficiencia: La principal contribución es el mecanismo de dos etapas consciente del presupuesto, que cambia dinámicamente entre la autocoherencia y la coherencia cruzada. Esto permite mantener una alta fiabilidad sin el coste prohibitivo de ejecutar un segundo modelo grande para cada consulta.
• Fundamentación Teórica: Al proporcionar una interpretación geométrica mediante incrustaciones de media de kernel, el trabajo ofrece una comprensión teórica más profunda de por qué la detección basada en la coherencia funciona y cómo se puede caracterizar formalmente la incertidumbre.
• Alcance: Los autores se centran explícitamente en los bancos de pruebas de Pregunta-Respuesta (QA) como un entorno controlado para estudiar las señales de coherencia, señalando que extender esto a la generación de texto de formato largo sigue siendo un desafío debido a la ambigüedad de la equivalencia semántica en el texto abierto.

El trabajo concluye que, aunque actualmente se requiere un conjunto de validación para ajustar los umbrales, el marco propuesto es agnóstico a la tarea respecto a la distribución de las relaciones de implicación y podría adaptarse potencialmente a otros entornos de generación donde se pueda evaluar la equivalencia semántica.