Resumen Técnico: Alucinación como Fallo de Compromiso

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) producen con frecuencia salidas fluidas pero factualmente incorrectas, conocidas como alucinaciones. Una suposición predominante en el campo es que la alucinación es una consecuencia directa de la falta de conocimiento: el modelo alucina solo cuando la respuesta correcta está ausente de su distribución en el momento de la generación. Trabajos recientes han identificado "tokens críticos" o "tokens de bifurcación" donde la entropía se dispara, lo que sugiere que las alucinaciones se deciden en pasos específicos de la trayectoria de generación. Sin embargo, los métodos de detección basados en incertidumbre existentes (por ejemplo, entropía semántica) a menudo fallan al identificar "alucinaciones seguras": casos en los que el modelo emite una respuesta incorrecta con alta confianza a pesar de poseer el conocimiento correcto.

Este artículo desafía la suposición de que la alucinación implica una falta de conocimiento. Pregunta: ¿En el momento en que un modelo se compromete con una respuesta, ¿posee el concepto correcto en su distribución de probabilidad, incluso si emite un token incorrecto?

Metodología

Concepto y Masa de Probabilidad Semántica ($P_{mass}$)

Los autores introducen una noción semántica de disponibilidad de respuesta. En lugar de analizar tokens individuales, definen un concepto $c$ como una clase de equivalencia de completaciones de tokens que denotan la misma respuesta (por ejemplo, "Catedral de San Basilio", "San Basilio", "Catedral de...").
Definen la masa de probabilidad semántica por paso como:
$$P_{mass}(t; c) = \sum_{v \in S_c} P_\theta(v \mid Q, y_{<t})$$
donde $S_c$ es el conjunto de IDs de primeros tokens correspondientes a las formas superficiales del concepto $c$. Esta métrica agrega la masa de probabilidad asignada a todos los alias válidos de la respuesta correcta en un paso específico de generación.

Configuración Experimental

• Modelos: El estudio abarca 18 modelos de las familias Qwen (de 0.8B a 72B) y Llama (de 1B a 70B), incluyendo tanto variantes Instruct (ajustadas por instrucciones) como Base.
• Conjuntos de Datos: Preguntas y respuestas de formato corto (TriviaQA, NQ-Open) y de opción múltiple (MMLU, ARC-Challenge).
• Paso de Compromiso ($t_c$): En las preguntas y respuestas de formato corto ajustadas por instrucciones, el paso de compromiso se fija en $t=1$ (el primer token generado). Para la generación de formato largo, $t_c$ se identifica como el paso en el que se emite la entidad de la respuesta.
• Definición de Fallo de Compromiso: Una muestra alucinada se clasifica como un fallo de compromiso si $P_{mass}(t_c; c^*) \geq 0.2$, donde $c^*$ es el concepto de verdad fundamental. Esto indica que el modelo asignó una masa de probabilidad sustancial al concepto correcto pero aún así emitió una respuesta final incorrecta.

Dimensiones de Análisis

1. Tasa de Fallo de Compromiso (CF%): La proporción de alucinaciones que son fallos de compromiso.
2. Descomposición: Separar los fallos en Fallos de Selección del Primer Token (token greedy $\notin S_{c^*}$) y Divergencias de Múltiples Tokens (token greedy $\in S_{c^*}$ pero los tokens subsiguientes divergen).
3. Análisis Distribucional: Comparar la distribución de probabilidad de los fallos de compromiso frente a muestras correctas emparejadas (muestras con $P_{mass}$ similar pero salida correcta).
4. Ajuste por Instrucciones vs. Escala: Aislar los efectos del tamaño del modelo frente al ajuste por instrucciones comparando modelos Instruct y Base.

Resultados Clave

1. Los Fallos de Compromiso son Prevalentes y Dependientes de la Escala

En todos los modelos ajustados por instrucciones, el 16% al 47% de las alucinaciones son fallos de compromiso. Crucialmente, esta tasa aumenta monótonamente con la escala del modelo.

• Qwen Instruct: El CF% aumenta del 16% (0.8B) al 41% (72B).
• Llama Instruct: El CF% aumenta del 16% (1B) al 47% (70B).
  Este hallazgo contradice la intuición de que los modelos más grandes simplemente "saben más" y alucinan menos; más bien, los modelos más grandes alucinan con mayor frecuencia a pesar de tener el concepto correcto en su distribución.

2. El Mecanismo: Afianzamiento Inducido por Instrucciones

El artículo identifica el ajuste por instrucciones como el motor principal de este fenómeno, no la escala por sí sola.

• Modelos Base: Muestran probabilidades de tokens incorrectos planas (~0.30) a través de las escalas y tasas de fallo de compromiso más bajas.
• Modelos Instruct: Exhiben un afianzamiento monótono. La probabilidad del token greedy incorrecto en los fallos de selección aumenta con la escala (por ejemplo, Qwen Instruct: 0.31 en 0.8B $\to$ 0.57 en 72B).
• Cambio Distribucional: En los fallos de compromiso, la masa del concepto correcto a menudo está fragmentada entre múltiples tokens alias (por ejemplo, "San", "St", "C"), lo que impide que cualquier alias individual gane el argmax frente al token dominante de un concepto competidor. En los modelos Instruct más grandes, esta fragmentación colapsa (la masa se concentra en un alias), pero el token del concepto incorrecto se vuelve aún más afianzado, lo que lleva a fallos de "atractor incorrecto".

3. Evidencia de Múltiples Tokens y Estados Ocultos

• Divergencias de Múltiples Tokens: En modelos Instruct grandes (70B+), cuando el primer token se alinea con un alias correcto, la entropía del segundo token ($H_{t=2}$) cae a casi cero (0.05–0.10). El modelo se compromete con una frase específica de múltiples tokens inmediatamente, incluso si esa frase conduce a una entidad incorrecta (por ejemplo, "George Washington Carver" en lugar de "George Washington").
• Estados Ocultos: Los estados ocultos previos a la generación en $t=1$ contienen información predictiva sobre la corrección. Los modelos Instruct muestran un AUROC más alto en las sondas de estado oculto en comparación con los modelos Base, y esta señal está "cargada al frente" (más fuerte en $t=1$).
• Mapeo de Salida: La brecha entre los modelos Instruct y Base es mayor en la detección a nivel de salida (AUROC +0.29) que en las sondas de estado oculto (+0.08), lo que sugiere que el ajuste por instrucciones amplifica la señal durante la proyección al vocabulario de salida.

4. Dos Caras del Fallo de Compromiso

El artículo distingue dos modos de fallo estructural:

1. Impulsado por Fragmentación: (Común en modelos más pequeños/Base) La masa correcta está dividida entre alias; ningún token individual gana.
2. Impulsado por Atractor Incorrecto: (Común en modelos Instruct grandes) La masa correcta ha colapsado sobre un solo alias, pero el token de un concepto incorrecto es aún más afianzado ($P_{greedy} > P_{mass}(c^*)$).

Significado y Afirmaciones

El artículo reencuadra la alucinación segura no como un desliz momentáneo o una falta de conocimiento, sino como una consecuencia estructural de cómo se moldea la masa de probabilidad en el paso de compromiso.

• Mecanismo Unificado: El mismo afianzamiento inducido por instrucciones que produce corrección segura (cuando el concepto comprometido es correcto) también produce una mala selección segura (cuando el concepto comprometido es incorrecto).
• Impuesto de Alineación: Este fenómeno se sitúa como una cara del más amplio "impuesto de alineación", donde la alineación (ajuste por instrucciones) mejora la utilidad y la fluidez pero degrada la calibración y causa colapso de modos, lo que lleva a errores sobreconfiados.
• Limitaciones de la Detección de Incertidumbre: Los resultados explican por qué las métricas de incertidumbre estándar (como la entropía de tokens o la entropía semántica) fallan al señalar alucinaciones seguras: el modelo sí tiene el concepto correcto (alta $P_{mass}$), pero la distribución está moldeada de tal manera que el token incorrecto gana el argmax.
• Sonda Analítica: Los autores proponen $P_{mass}$ como una sonda analítica para comprender el comportamiento del modelo, señalando que no es un detector desplegable (ya que requiere alias de verdad fundamental) pero revela que "conocer la respuesta" y "emitir la respuesta" son eventos distintos en el proceso de generación.

El artículo concluye que los modelos más grandes no solo saben más; fallan con mayor frecuencia en lo que saben, impulsados por una disposición de afianzamiento que hace que el modelo sea decisivo tanto en compromisos correctos como incorrectos.