Unconditional Truthfulness: Learning Unconditional Uncertainty of Large Language Models

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) son propensos a generar alucinaciones y resultados de baja calidad. La Cuantificación de la Incertidumbre (UQ) es un mecanismo crítico para detectar estos errores, típicamente asignando una puntuación de confianza al texto generado. Sin embargo, los métodos de UQ existentes enfrentan una limitación fundamental: la dependencia condicional.

• El Problema Central: Los LLM generan texto de forma autoregresiva (token por token). La probabilidad del token actual $y_i$ está condicionada a todos los tokens anteriores $y_{<i}$. Si un token temprano es una alucinación (un error), el modelo lo trata como verdad fundamental para los pasos subsiguientes. En consecuencia, el modelo genera los tokens subsiguientes con alta confianza, incluso cuando toda la secuencia es defectuosa.
• La Brecha: Los métodos estándar de UQ calculan la incertidumbre basándose en la probabilidad condicional inmediata $p(y_i | y_{<i})$. No logran propagar la incertidumbre de los pasos anteriores. Si el primer token es incorrecto pero el modelo tiene confianza en el siguiente token dado ese contexto erróneo, la secuencia global se considera "segura", lo que lleva a alucinaciones no detectadas.
• Limitaciones Actuales: Los intentos previos de modelar esta dependencia se basan en heurísticas (por ejemplo, penalizar puntuaciones basadas en la máxima atención anterior) o requieren muestreo computacionalmente costoso (generar múltiples salidas para verificar la consistencia).

2. Metodología: Dependencia Basada en Atención Entrenable (TAD)

Los autores proponen TAD, un enfoque supervisado y basado en datos para aprender la incertidumbre "incondicional" de un token modelando las dependencias complejas entre los pasos de generación.

A. Concepto Central

En lugar de depender únicamente de la probabilidad condicional cruda del LLM, TAD aprende una función de regresión $C(\cdot)$ que estima la confianza incondicional de un token $y_i$. Esta función incorpora:

1. Probabilidades del Paso Actual: Las probabilidades de los tokens $p(y_i | y_{<i})$ proporcionadas por el LLM.
2. Mapas de Atención: Los pesos de atención desde el token actual hacia los tokens anteriores, que codifican el enfoque interno del modelo y la estructura de dependencia.
3. Incertidumbre Recurrente: Las puntuaciones de confianza incondicional estimadas de los tokens anteriores ($C_{<i}$).

La formulación es:
$$C(y_i) = C(Att_i, p(y_i | y_{<i}), C_{<i})$$

B. Procedimiento de Entrenamiento (Dos Etapas)

Dado que la variable objetivo (confianza incondicional) depende de la salida del propio modelo (recurrencia), los autores emplean un procedimiento de entrenamiento de dos etapas:

1. Etapa 1: Entrenar un modelo de regresión utilizando únicamente las probabilidades del token actual y los pesos de atención. El objetivo para el primer token es la similitud semántica entre la secuencia generada y la verdad fundamental. Para los tokens subsiguientes, el objetivo sigue siendo la similitud con la verdad fundamental, pero el modelo aprende a predecir basándose en características inmediatas.
2. Etapa 2: Reentrenar el modelo utilizando las predicciones de la Etapa 1 como características. Específicamente, las "puntuaciones de incertidumbre calculadas recurrentemente" de los pasos anteriores (predichas por el modelo de la Etapa 1) se introducen en el modelo de la Etapa 2. Esto permite que el modelo aprenda cómo propagar la incertidumbre a través de la secuencia.

C. Ingeniería de Características

• Objetivos: La verdad fundamental para el entrenamiento se deriva de la similitud semántica (utilizando métricas como COMET, AlignScore o Precisión) entre la secuencia generada completa y la respuesta de referencia.
• Entradas: Para cada token $y_i$, el vector de características incluye los pesos de atención hacia los $N$ tokens precedentes, sus probabilidades condicionales y la confianza incondicional estimada de esos tokens precedentes.

D. Inferencia

Durante la inferencia, TAD procesa los tokens secuencialmente. Para el primer token, utiliza la probabilidad cruda. Para los tokens subsiguientes, calcula recursivamente la confianza incondicional utilizando la función aprendida $C$, agregando estas puntuaciones a nivel de token (mediante la media o la suma logarítmica) para producir una puntuación de incertidumbre a nivel de secuencia.

3. Contribuciones Clave

1. Enfoque Supervisado Novel: TAD es el primer método que aprende explícitamente la dependencia condicional entre los pasos de generación utilizando un modelo de regresión supervisado entrenado sobre mapas de atención y puntuaciones de incertidumbre recurrentes.
2. Integración de Características Recurrentes: El artículo demuestra que incorporar puntuaciones de incertidumbre calculadas recurrentemente es esencial para una UQ precisa, propagando efectivamente el "riesgo" de errores tempranos a toda la secuencia.
3. Entrenamiento de Dos Etapas: Los autores introducen un protocolo de entrenamiento específico para manejar la dependencia circular de predecir incertidumbre basándose en predicciones previas de incertidumbre, evitando el sobreajuste y mejorando la convergencia.
4. Eficiencia: A diferencia de los métodos basados en muestreo (por ejemplo, Entropía Semántica) que requieren múltiples pasadas hacia adelante, TAD añade una sobrecarga computacional mínima (aproximadamente el 5% sobre la inferencia estándar) porque utiliza una regresión lineal ligera o una MLP sobre una sola pasada hacia adelante.

4. Resultados Experimentales

Los autores evaluaron TAD en 10 conjuntos de datos (que cubren resumen, traducción automática y diversas tareas de QA) y 3 LLM (LLaMA-3.1 8B, Gemma-2 9B, Qwen-2.5 7B).

• Rendimiento: TAD logró el mejor rendimiento general en todos los modelos y conjuntos de datos.
  • Superó significativamente a los métodos no supervisados más avanzados (por ejemplo, Perplejidad, Entropía Semántica) y a las líneas base supervisadas (por ejemplo, LookBackLens, SATRMD, Sheeps).
  • En el conjunto de datos TruthfulQA, TAD mejoró la Ratio de Rechazo de Predicción (PRR) en 0.045 sobre la segunda mejor línea base.
  • En MedQUAD, superó al segundo clasificado por 0.077 PRR.
• Estudios de Ablación:
  • Características: Eliminar los pesos de atención o las características recurrentes degradó significativamente el rendimiento, confirmando que ambos son críticos.
  • Entrenamiento: Se demostró que el procedimiento de entrenamiento de dos etapas es esencial; un enfoque de una sola etapa no logró capturar las dependencias necesarias.
  • Capas: Se encontró que los pesos de atención de las capas intermedias eran los más informativos, aunque las capas primera y última también contribuyeron.
• Generalización: TAD mostró una prometedora generalización fuera del dominio (OOD). Mientras que la mayoría de los métodos supervisados fallaron al entrenarse en QA y probarse en resumen/traducción, TAD mantuvo un rendimiento robusto, superando a las líneas base en dominios de QA no vistos.
• Eficiencia: TAD introdujo solo un 5% de sobrecarga de tiempo de ejecución, whereas los métodos basados en muestreo (como la Entropía Semántica) incurrieron en una sobrecarga del 400–600%.

5. Significado y Conclusión

Este artículo aborda un punto ciego crítico en la seguridad de los LLM: la incapacidad de las métricas de incertidumbre estándar para detectar errores en cascada causados por alucinaciones tempranas.

• Impacto Práctico: TAD ofrece una solución computacionalmente eficiente y plug-and-play para la generación selectiva (rechazar salidas de baja calidad). Permite un despliegue más seguro de los LLM en aplicaciones de alto riesgo sin el costo prohibitivo de la verificación basada en muestreo.
• Perspectiva Teórica: El trabajo valida que los mapas de atención contienen información rica sobre las dependencias condicionales de los pasos de generación, y que estas dependencias pueden aprenderse para estimar la "veracidad incondicional".
• Futuras Direcciones: Los autores sugieren extender TAD a la Generación Aumentada por Recuperación (RAG) para evaluar la credibilidad de la evidencia recuperada, mejorando aún más la fiabilidad de las aplicaciones de LLM intensivas en conocimiento.

En resumen, TAD representa un paso significativo hacia adelante en la fiabilidad de los LLM al pasar de comprobaciones estáticas de probabilidad a nivel de token a una estimación dinámica y consciente del contexto de la incertidumbre que comprende la "cadena de pensamiento" y su potencial para la propagación de errores.