Resumen Técnico: Detección de Alucinaciones en Modelos de Lenguaje Grandes mediante Señales de Divergencia de Atención Interna

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) generan con frecuencia contenido fluido pero factualmente incorrecto, un fenómeno conocido como alucinación. Esto plantea riesgos significativos en dominios de alto riesgo como la atención médica y el derecho. Un desafío principal para abordar este problema es que los LLM autoregresivos se entrenan para generar continuaciones fluidas en lugar de estimaciones de confianza calibradas. En consecuencia, las señales de incertidumbre basadas en la salida estándar (por ejemplo, perplejidad, verosimilitud logarítmica o probabilidades de tokens) a menudo no logran distinguir entre errores seguros y conocimiento fiable, ya que las afirmaciones alucinadas pueden recibir altas verosimilitudes bajo la distribución del modelo.

Los métodos existentes de cuantificación de incertidumbre a menudo dependen del muestreo repetido (por ejemplo, entropía semántica) o de modelos verificadores externos, lo que introduce una sobrecarga computacional sustancial. Además, los enfoques que dependen de la sonda de estados ocultos a menudo luchan por generalizar entre tareas, capturando correlaciones específicas de la tarea en lugar de señales globales de confianza. Existe la necesidad de un método ligero de paso único que extraiga señales de incertidumbre directamente de los mecanismos internos del modelo sin requerir modelos externos ni múltiples generaciones.

2. Metodología

El método propuesto introduce una técnica de cuantificación de incertidumbre de paso único basada en la divergencia de atención. La hipótesis central es que las alucinaciones surgen de fallos en el cálculo interno, caracterizados específicamente por patrones de atención mal asignados o difusos cuando el modelo carece de conocimiento fiable.

2.1 Señal de Divergencia de Atención

El método utiliza la divergencia de Kullback–Leibler (KL) para medir la desviación de la distribución de una cabeza de atención desde una distribución de referencia uniforme.

• Distribución de Referencia ($U$): Una distribución uniforme sobre los tokens del contexto, que representa un estado de máxima incertidumbre donde el modelo atiende por igual a todas las posiciones.
• Distribución de Atención ($P$): La distribución de probabilidad discreta sobre las posiciones de los tokens generada por una cabeza de atención específica en un paso de generación dado.
• Métrica: La divergencia KL se calcula como $D_{KL}(P \parallel U) = \log T - H(P)$, donde $T$ es el número de tokens en la ventana de contexto y $H(P)$ es la entropía de la distribución de atención.

Intuitivamente, una alta concentración de atención (baja entropía) en tokens informativos resulta en una alta divergencia KL, sugiriendo confianza. Por el contrario, una atención difusa (alta entropía) resulta en una baja divergencia, sugiriendo incertidumbre. Los autores postulan que las alucinaciones pueden manifestarse como confianza mal calibrada (alta divergencia en tokens engañosos) o, en el contexto de la agregación de la sonda, que la señal agregada de los patrones de divergencia se correlaciona con la corrección.

2.2 Extracción de Características y Sondaje

1. Construcción de Características: Para cada respuesta generada, se calcula la divergencia KL media para cada cabeza de atención a través de todos los pasos de generación. Estos valores forman un vector de características $x_i \in \mathbb{R}^{L \times H}$, donde $L$ es el número de capas y $H$ es el número de cabezas.
2. Entrenamiento de la Sonda: Se entrena una sonda de regresión logística ligera con regularización Lasso (L1) para predecir la corrección de la respuesta ($y=1$ para correcta, $y=0$ para incorrecta) basándose en estas características de divergencia. La regularización L1 sirve para seleccionar un subconjunto disperso de las cabezas de atención más predictivas, proporcionando interpretabilidad sobre qué partes del modelo codifican la señal.
3. Evaluación: El rendimiento se mide utilizando AUROC (Área bajo la curva de Característica Operativa del Receptor), Error de Calibración Esperado (ECE) y precisión.

3. Contribuciones Clave

• Estimación de Incertidumbre de Paso Único: El método opera en un solo paso hacia adelante, extrayendo señales de incertidumbre directamente de las matrices de atención sin requerir muestreo repetido o modelos externos.
• Interpretabilidad: Al analizar la divergencia KL de las distribuciones de atención, el método proporciona una señal de "caja blanca". Los autores demuestran que la señal no es aleatoria, sino que se concentra en componentes arquitectónicos específicos.
• Generalizabilidad: El enfoque se valida en múltiples familias de modelos (Llama-3.2, Qwen3, Mistral) y diversos tipos de tareas (QA factual, razonamiento multi-salto, razonamiento matemático).

4. Resultados Experimentales

4.1 Rendimiento en Diferentes Conjuntos de Datos

El método se evaluó en cuatro conjuntos de datos: TruthfulQA (QA factual de opción múltiple), TriviaQA (QA factual de dominio abierto), HotpotQA (razonamiento multi-salto) y GSM8K (razonamiento matemático).

• QA Factual: El método logró un rendimiento sólido en TruthfulQA (AUROC > 0.89 para todos los modelos) y TriviaQA (AUROC > 0.83).
• Tareas de Razonamiento: El rendimiento en HotpotQA osciló entre 0.77 y 0.80 de AUROC. En GSM8K, los resultados variaron según el modelo, con Qwen3-4B alcanzando un AUROC de 0.945, mientras que Llama y Mistral mostraron resultados moderados pero significativos por encima del azar.
• Comparación con Líneas Base: En HotpotQA, el método (AUROC 0.78) superó a los métodos basados en muestreo (por ejemplo, Entropía Semántica, SelfCheckGPT) y otras líneas base de paso único (por ejemplo, Perplejidad, TOHA). También mostró un rendimiento competitivo o superior en comparación con los métodos de sondaje de estados ocultos en TruthfulQA y TriviaQA.

4.2 Ablación y Análisis

• Localización de Capas y Cabezas: La señal no está distribuida uniformemente. Los estudios de ablación revelaron que eliminar las capas intermedias causó la caída más significativa en el rendimiento, lo que indica que la señal se concentra allí. Además, la señal se distribuye a través de múltiples cabezas correlacionadas en lugar de estar localizada en una sola "cabeza de alucinación".
• Especificidad de Tokens: La señal de divergencia es más pronunciada en los tokens factuales (entidades nombradas y números). Las palabras vacías y la puntuación mostraron una baja divergencia. El análisis de la cola extrema (percentil 99) mostró que aproximadamente el 73% de las palabras de alta divergencia eran entidades nombradas.
• Influencia del Prompt: Una parte de la señal de incertidumbre está presente incluso antes de que comience la generación (calculada únicamente sobre los tokens del prompt), lo que sugiere que cierta incertidumbre es aleatoria (relacionada con la ambigüedad del prompt) en lugar de puramente epistémica (brechas de conocimiento del modelo).
• Comprobaciones de Cordura: Permutar las etiquetas de corrección y probarlas contra propiedades simples de salida (longitud, puntuación) confirmó que la señal no es un artefacto de filtrado de datos o características superficiales de la salida.

5. Significado y Afirmaciones

El artículo afirma que las dinámicas internas de atención proporcionan una señal eficiente e interpretable para detectar la incertidumbre del modelo y las alucinaciones. El significado principal radica en la demostración de que:

1. Las alucinaciones son detectables mediante estados internos: El fallo en recuperar conocimiento fiable se manifiesta como patrones específicos en la divergencia de atención, distintos de las salidas fluidas pero incorrectas producidas por el modelo.
2. Eficiencia: El método ofrece una alternativa computacionalmente barata a la estimación de incertidumbre basada en muestreo, haciéndolo viable para aplicaciones en tiempo real donde la latencia es crítica.
3. Insight Arquitectónico: Los hallazgos sugieren que la incertidumbre se codifica en las capas intermedias y en los anclajes factuales, apoyando la visión de que las alucinaciones son fallos estructurales en el cálculo interno y no meros errores de decodificación.

6. Limitaciones

Los autores señalan explícitamente varias limitaciones:

• Correlación vs. Causalidad: El estudio establece una correlación predictiva entre la divergencia de atención y la corrección, pero no prueba una relación causal.
• Dependencia de la Sonda: El método depende de una sonda de regresión logística para agregar señales. El subconjunto específico de cabezas seleccionadas varía entre conjuntos de datos y familias de modelos, lo que sugiere que la sonda puede ser demasiado específica y que aún no se ha identificado una regla universal y libre de sondas para la incertidumbre.
• Requisito de Caja Blanca: El método requiere acceso a los pesos internos de atención, lo que lo hace inaplicable a modelos de caja negra que solo proporcionan texto generado o probabilidades de salida.
• Interpretabilidad: Aunque la sonda identifica cabezas informativas, el modelo resultante sigue siendo difícil de interpretar como una explicación completa de cómo se representa la incertidumbre, sirviendo más como una herramienta de extracción de señales que como una explicación mecánica completa.