Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

Resumen Técnico: Detección de Alucinaciones Pre-Generación mediante Sondeo de Atención de Objetivos Suaves (Soft-Target Attention Probing)

Declaración del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) frecuentemente generan respuestas con alta confianza pero fácticamente incorrectas, un fenómeno conocido como alucinación. Aunque existen métodos de detección post-generación (por ejemplo, utilizando entropía semántica o autoconsistencia), estos incurren en el costo computacional completo de la decodificación. La detección pre-generación ofrece una alternativa ligera al estimar el riesgo de alucinación a partir de las representaciones de entrada antes de que se genere cualquier token, lo que permite intervenciones tempranas como la abstención, el aumento de recuperación (retrieval augmentation) o el enrutamiento de modelos.

Sin embargo, los enfoques de pre-generación existentes enfrentan un desafío estadístico fundamental: típicamente formulan la detección como un problema de clasificación binaria utilizando una única respuesta decodificada de forma codiciosa (greedy) como etiqueta de verdad fundamental (ground truth). Los autores argumentan que esto es estadísticamente mal planteado porque la corrección de una respuesta pre-generación es una variable aleatoria que refleja la distribución de salida estocástica del modelo. Una etiqueta binaria derivada de una sola muestra es un sustituto ruidoso de la verdadera probabilidad de error subyacente del modelo, lo que introduce ruido de etiqueta irreducible y un posible sesgo (por ejemplo, subestimar el riesgo cuando el modelo asigna una alta probabilidad a una respuesta correcta pero distribuye la masa de probabilidad entre muchas otras incorrectas).

Metodología
El artículo redefine la detección de alucinaciones pre-generación como un problema de estimación de riesgo en lugar de una clasificación binaria. El objetivo es predecir la probabilidad de que el modelo produzca una respuesta incorrecta para un prompt dado bajo su propia distribución de muestreo.

1. Supervisión de Objetivos Suaves (Soft-Target Supervision):
   En lugar de etiquetas binarias, los autores proponen entrenar sondeos (probes) sobre objetivos suaves derivados de la tasa de error de la respuesta empírica. Para cada prompt, se muestrean estocásticamente $N$ respuestas del modelo a una temperatura $\tau = 1$ (la distribución base del modelo). El objetivo suave es la fracción de estas $N$ muestras que son fácticamente incorrectas.

   • Garantía Teórica: Los autores demuestran que esta tasa de error empírica es el Estimador de Varianza Mínima Insesgado Único (UMVUE) de la probabilidad de error por prompt del modelo bajo su distribución de muestreo. Esta formulación minimiza el ruido de etiqueta y proporciona una señal de dificultad consistente.
   • Beneficio Estadístico: El uso de objetivos suaves reduce la varianza del gradiente estocástico, lo que conduce a una convergencia más rápida en la optimización en comparación con las etiquetas binarias.

2. Sondeo de Atención (Attention Probing):
   El estudio adapta el sondeo de atención (originalmente desarrollado para la detección post-generación) al entorno de pre-generación. A diferencia del sondeo lineal, que agrega uniformemente los estados ocultos (por ejemplo, mediante el agrupamiento de la media o mean pooling), el sondeo de atención utiliza un vector de consulta (query) aprendible para ponderar selectivamente los estados ocultos de nivel de token de la entrada del prompt. Esto permite que el detector se concentre en las posiciones del prompt más informativas para el riesgo de alucinación.

   • El sondeo se aplica a los estados ocultos de cualquier capa $l$ del transformador.
   • Una cabeza de regresión logística mapea la representación agregada a una puntuación de riesgo.

Contribuciones Clave

• Enfoque de Estimación de Riesgo: El artículo establece que la detección de alucinaciones pre-generación es fundamentalmente un problema de estimación de la distribución. Introduce la supervisión de objetivos suaves basada en tasas de error empíricas, demostrando teóricamente su optimalidad como un estimador insesgado y de varianza mínima.
• Análisis de Arquitectura y Capas: Una comparación sistemática revela que el sondeo de atención supera consistentemente al sondeo lineal uniforme en el entorno de pre-generación, particularmente en tareas con estructuras de prompt variables. Además, el análisis por capas demuestra que las capas intermedias portan consistentemente las señales de alucinación más fuertes, lo que sugiere que se pueden obtener estimaciones de riesgo fiables sin completar todo el paso hacia adelante (forward pass) hasta la última capa.
• Validación Empírica: El enfoque se evalúa a través de tres bancos de pruebas de preguntas y respuestas (SQuAD, Natural Questions, HotpotQA) y cinco modelos ajustados por instrucciones (familias Qwen, LLaMA, Gemma, todos con menos de 9B de parámetros).

Resultados

• Superioridad de los Objetivos Suaves: En todos los modelos y conjuntos de datos evaluados, el sondeo de atención entrenado con objetivos suaves supera consistentemente a su contraparte de objetivo binario. Las ganancias son más pronunciadas en tareas de respuesta abierta (por ejemplo, Natural Questions, HotpotQA), donde la información de la distribución capturada por los objetivos suaves es más valiosa.
• Atención vs. Sondeo Lineal: El sondeo de atención supera significativamente al sondeo lineal (por hasta 23.1 puntos de ROC-AUC en algunos casos) en el entorno de pre-generación. Sin embargo, esta ventaja disminuye en tareas altamente restringidas de un solo token (por ejemplo, opción múltiple o QA booleano), donde el agrupamiento de la media es suficiente.
• Rendimiento Pre- vs. Post-Generación: En tareas de respuesta corta y estructuralmente restringidas (como SQuAD), los sondeos de pre-generación se acercan al rendimiento de los métodos post-generación, con diferencias promedio de tan solo 0.07% en ROC-AUC. A medida que la longitud de la respuesta y la complejidad del razonamiento aumentan (por ejemplo, HotpotQA), la brecha se amplía a favor de los métodos post-generación, ya que la incertidumbre se vuelve más dependiente del proceso de generación mismo.
• Eficiencia: Al detectar el riesgo en capas intermedias, el método puede ahorrar costos computacionales significativos (hasta un 54% de ahorro en GFLOPs en comparación con los pasos hacia adelante completos) al tiempo que permite la intervención temprana.

Significancia y Afirmaciones
El artículo afirma que la detección de alucinaciones pre-generación es una estrategia viable y eficiente, siempre que se plantee como una estimación de riesgo en lugar de una clasificación binaria. La contribución principal es la demostración de que la supervisión de objetivos suaves proporciona una señal de entrenamiento más fundamentada y efectiva que las etiquetas binarias codiciosas, alineando la tarea de detección con la naturaleza estocástica de la generación de los LLM.

Los autores enfatizan que sus hallazgos respaldan un régimen operativo práctico: para tareas con respuestas cortas y estructuradas, se pueden obtener estimaciones de riesgo de alucinación fiables antes de la generación y a mitad del paso hacia adelante (usando capas intermedias), lo que permite intervenciones de bajo costo como la abstención o el aumento de recuperación. Reconocen limitaciones, señalando que el método es menos efectivo para tareas de razonamiento de múltiples pasos y contexto largo, donde la incertidumbre está intrínsecamente ligada al proceso de generación, y que el enfoque requiere acceso de "caja blanca" a las activaciones del modelo. El trabajo no pretende reemplazar a los detectores post-generación, sino complementarlos con una señal más temprana y económica.