Integrating Local and Global Entropy for Uncertainty Quantification in LLMs

Resumen Técnico: Integración de la Entropía Local y Global para la Cuantificación de la Incertidumbre en LLMs

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) exhiben frecuentemente "alucinaciones confiadas", produciendo respuestas fluidas y específicas, pero fácticamente incorrectas. Los métodos existentes de Cuantificación de la Incertidumbre (UQ) dependen predominantemente de señales a nivel de token (por ejemplo, log-probabilidades o consistencia de muestreo). Si bien son efectivos para detectar la ambigüedad local, estos métodos a menudo fallan al identificar el modo de fallo de "confianza pero error", donde un modelo genera respuestas incorrectas con una alta confianza a nivel de token. Además, muchos enfoques existentes imponen barreras prácticas, como requerir múltiples pasadas de generación, supervisión específica de la tarea, sensibilidad a la longitud de la respuesta o supuestos arquitectónicos específicos. Existe la necesidad de un método de UQ que sea no supervisado, computable en una sola pasada hacia adelante (forward pass), normalizado por longitud y capaz de capturar la estructura geométrica de la trayectoria interna del modelo.

Metodología

El artículo propone la Incertidumbre Global-Local (GLU), un marco que integra dos señales de incertidumbre distintas derivadas de diferentes capas representacionales del LLM:

1. Incertidumbre Local (Nivel de Token):

   • Derivada de la capa de desembedding (predicción del siguiente token).
   • Basada en el marco de aprendizaje profundo evidencial, descomponiendo la incertidumbre en Incertidumbre Aleatoria (AU) (ambigüedad de la distribución) e Incertidumbre Epistémica (EU) (falta de evidencia).
   • La AU se calcula como la entropía de Shannon de una distribución predictiva truncada sobre los $k$ tokens superiores.
   • La EU se estima mapeando los logits a parámetros de concentración de Dirichlet (usando una transformación softplus) y calculando la fuerza inversa de Dirichlet.
   • El puntaje local ($\bar{R}$) es el promedio de la interacción multiplicativa de la AU y la EU a través de los $m$ tokens más inciertos de la respuesta.

2. Incertidumbre Global (Complejidad Geométrica):

   • Derivada de la capa de embedding (espacio de estados ocultos).
   • Basada en la hipótesis de que la recuperación de hechos fiables corresponde a estados ocultos que se mueven en una dirección estrecha y consistente, mientras que las alucinaciones corresponden a un deambular por direcciones débilmente relacionadas.
   • El método construye una matriz de Gram ($K = HH^\top$) a partir de la trayectoria de estados ocultos $H$ a través de todos los pasos de generación.
   • La incertidumbre global se cuantifica como la entropía de Rényi-2 (entropía de colisión) del espectro de autovalores normalizado de $K$. Una entropía alta indica una trayectoria difusa e incoherente (alta incertidumbre), mientras que una entropía baja indica una trayectoria coherente y de bajo rango.
   • Para asegurar la comparabilidad entre longitudes de respuesta y modelos, la entropía se normaliza por $\log T$ y se promedia a través de todas las capas del transformer.

3. Estrategia de Fusión (GLU):

   • Las dos señales se fusionan mediante una compuerta multiplicativa: $GLU = (1 + \tilde{S}) \cdot \bar{R}$, donde $\tilde{S}$ es la entropía geométrica global normalizada y $\bar{R}$ es la incertidumbre local agregada.
   • Este diseño multiplicativo actúa como un amplificador geomético: si la trayectoria es difusa (alta incertidumbre global), el puntaje de incertidumbre local se pondera al alza. Esto apunta específicamente al régimen de "confianza pero error" donde la entropía del token es baja pero la coherencia geométrica es ausente.
   • El método requiere solo una única pasada hacia adelante, no requiere datos etiquetados y es agnóstico a la arquitectura.

Contribuciones Clave

1. Extracción de Incertidumbre de Vista Múltiple: El artículo extrae señales complementarias de dos capas distintas: la entropía geométrica global de las trayectorias de estados ocultos y la entropía de token local de los logits de salida.
2. Ortogonalidad Estadística: El análisis empírico demuestra que las señales globales y locales son estadísticamente casi ortogonales. La señal global recupera el modo de fallo de "confianza pero error" que las señales locales omiten sistemáticamente.
3. Marco GLU: Introducción de un puntaje ligero y no supervisado que fusiona estas señales multiplicativamente, evitando la necesidad de reentrenamiento, etiquetas pseudo o múltiples pasadas de muestreo.
4. Validación Exhaustiva: Evaluación extensa a través de tres familias de modelos (Qwen2.5, Gemma3, Fanar1) y seis benchmarks diversos (incluyendo facticidad, matemáticas y QA en árabe), junto con estudios de ablación rigurosos.

Resultos Experimentales

• Desempeño: En 18 configuraciones de modelo-dataset, GLU logró el mejor AUROC (Área bajo la Curva de Característica Operativa del Receptor) en 13 casos y el mejor PRR (Ratio de Rechazo de Predicción) en 12 casos. Superó consistentemente tanto a los baselines de solo local (ej. LogTokU) como a los de solo global (ej. RAUQ).
• Estudios de Ablación:
  • Multiplicativo vs. Aditivo: La estrategia de fusión multiplicativa fue crítica. Una variante aditiva ($Add\text{-}\tilde{S}$) cayó significativamente en desempeño (clasificando en el puesto 13 de 14 métodos), confirmando que la señal global debe actuar como un modulador en lugar de un desfase fijo.
  • Robustez: La ganancia de desempeño fue robusta a través de diferentes elecciones de estimadores locales y globales, sugiriendo que la complementariedad es una propiedad estructural de los LLMs en lugar de un artefacto de hiperparámetros específicos.
• Calibración: En el benchmark TriviaQA, GLU demostró una relación monotónica entre los puntajes de incertidumbre y las tasas de error empíricas, separando efectivamente las respuestas correctas de las incorrectas a través de deciles de confianza.

Significancia y Reivindicaciones

El artículo sostiene que la distinción estructural entre la capa de embedding (dirección semántica) y la capa de desembedding (probabilidad de token) proporciona una base fundamentada de por qué las señales de token y las geométricas miden aspectos diferentes de la incertidumbre. Al integrar estas visiones, GLU ofrece una solución práctica y no supervisada para la predicción de fiabilidad que aborda un punto ciego crítico en los métodos actuales de UQ: la alucinación confiada. Los autores afirman que GLU iguala o supera a todos los baselines no supervisados mientras permanece normalizado por longitud y agnóstico a la arquitectura, lo que lo hace adecuado para el despliegue en el mundo real donde la eficiencia computacional y la falta de supervisión son primordiales. El trabajo sugiere que la complementariedad entre la incertidumbre local y global es una propiedad estructural fundamental de los LLMs.