Token-Level Density-Based Uncertainty Quantification Methods for Eliciting Truthfulness of Large Language Models

1. Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLM) son propensos a generar alucinaciones y afirmaciones no fácticas, lo que plantea riesgos significativos en aplicaciones críticas para la seguridad. Si bien la Cuantificación de Incertidumbre (UQ) es un enfoque principal para detectar estos errores, los métodos existentes enfrentan dos limitaciones mayores:

• Ineficacia de los Métodos Basados en Densidad: Las técnicas tradicionales de UQ basadas en densidad (por ejemplo, Distancia de Mahalanobis) han tenido un gran éxito en la clasificación de texto, pero han fallado en desempeñarse bien en tareas de generación de texto cuando se aplican a nivel de secuencia. Los intentos anteriores arrojaron un rendimiento comparable a la selección aleatoria.
• Costo Computacional: Los métodos de UQ más avanzados para LLM a menudo dependen de enfoques basados en consistencia (por ejemplo, Entropía Semántica, muestreo de múltiples generaciones) o ensembles profundos, lo que introduce una sobrecarga computacional masiva (aumento del 300–700% en el tiempo de inferencia), haciéndolos poco prácticos para aplicaciones en tiempo real o a gran escala.
• Limitaciones de las Características: Los métodos supervisados recientes que utilizan estados internos de los LLM a menudo dependen de características simplistas o no logran incorporar métricas basadas en densidad robustas y establecidas de manera efectiva.

2. Metodología

Los autores proponen un nuevo marco de UQ supervisado, a nivel de token y basado en densidad que adapta la Distancia de Mahalanobis (MD) para modelos generativos. La innovación central radica en el cambio de incrustaciones a nivel de secuencia a incrustaciones a nivel de token y su agregación de manera inteligente.

Componentes Clave:

1. Extracción de Incrustaciones a Nivel de Token:

   • En lugar de promediar incrustaciones para formar un único vector de secuencia, el método extrae incrustaciones de estados ocultos para cada token generado desde múltiples capas del LLM.
   • Selección de Incrustaciones: Para construir la distribución de referencia (centroide y matriz de covarianza), el método filtra los datos de entrenamiento para incluir solo respuestas de alta calidad (correctas). Esto asegura que el modelo de densidad represente generaciones "veraces".

2. Distancia de Mahalanobis por Capa (MD):

   • Para cada capa $l$, el método calcula la distancia de Mahalanobis entre la incrustación de un token y el centroide de las incrustaciones de tokens "correctos" seleccionados de esa capa.
   • MD Relativa (RMD): El método también implementa la Distancia de Mahalanobis Relativa, que resta la distancia a una distribución de fondo (por ejemplo, el conjunto de datos C4 general) para distinguir mejor la veracidad dentro del dominio del ruido general.
   • Agregación: Las puntuaciones a nivel de token se promedian a través de la secuencia para producir una puntuación a nivel de secuencia (MD Promedio a Nivel de Token o ATMD / ATRMD).

3. Regresión Lineal Supervisada:

   • Dado que la capa de mejor rendimiento varía según la tarea, el método trata las puntuaciones de MD por capa como características.
   • Se entrena un modelo de Regresión Lineal para predecir la puntuación de incertidumbre (dirigida como la métrica de calidad negativa, por ejemplo, $-ROUGE$o$-Precisión$) utilizando estas puntuaciones por capa.
   • PCA: Para manejar la multicolinealidad entre las características de las capas, se utilizan los 10 Componentes Principales (PCA) superiores como entrada al regresor.
   • Puntuación Híbrida (HUQ): La puntuación de incertidumbre final puede ser una combinación híbrida de la puntuación de MD supervisada y la probabilidad de secuencia (Probabilidad Máxima de Secuencia, MSP), combinadas mediante una función de ponderación aprendida.

3. Contribuciones Clave

• Adaptación a Nivel de Token: El artículo demuestra que aplicar métodos basados en densidad a nivel de token (en lugar de nivel de secuencia) es crucial para el éxito en la generación de LLM, superando el fracaso de los enfoques anteriores de densidad a nivel de secuencia.
• Marco Supervisado Eficiente: Introducen un método supervisado computacionalmente ligero que combina puntuaciones de densidad por capa con regresión lineal, evitando la necesidad de muestreo costoso o ensembles.
• Evaluación Exhaustiva: El método fue validado en 11 conjuntos de datos diversos (que cubren resumen, QA con respuestas largas/cortas y QA de opción múltiple) y dos tareas: generación selectiva a nivel de secuencia y verificación de hechos a nivel de afirmación.
• Generalización: El método muestra una robustez sólida en configuraciones fuera del dominio, manteniendo el rendimiento incluso cuando se entrena en diferentes tipos de tareas (por ejemplo, entrenar en resumen/QA y probar en QA de opción múltiple).

4. Resultados Experimentales

Los experimentos utilizaron los modelos Llama 8b v3.1, Gemma 9b v2 y Mistral 7b.

• Rendimiento en Generación Selectiva:

  • Los métodos propuestos (SATRMD+MSP y HUQ-SATRMD) superaron significativamente a todos los puntos de referencia, incluidos los métodos no supervisados más avanzados (Entropía Semántica, SAR) y otros métodos supervisados (SAPLMA, Factoscope).
  • Métricas: Medido por la Ratio de Rechazo de Predicción (PRR). Los métodos propuestos lograron los rangos medios más altos en los conjuntos de datos. Por ejemplo, en el conjunto de datos MMLU, SATRMD+MSP superó significativamente al siguiente mejor método.
  • Análisis de Capas: Contrario a las tareas de clasificación donde la última capa suele ser la mejor, los resultados mostraron que las capas intermedias a menudo proporcionan las incrustaciones más informativas para la incertidumbre en LLMs de solo decodificador.

• Rendimiento en Verificación de Hechos:

  • En la verificación de hechos a nivel de afirmación (Mistral 7b), HUQ-SATRMD logró el mejor ROC-AUC (0.750), superando al punto de referencia CCP en un 3.4%.

• Eficiencia Computacional:

  • Sobrecarga: Los métodos propuestos introducen una sobrecarga computacional mínima del 5.3% – 7.6% en comparación con la inferencia estándar de LLM.
  • Comparación: Esto es drásticamente menor que los métodos basados en muestreo como la Entropía Semántica o SAR, que incurren en una sobrecarga del 315% – 700%.

• Robustez:

  • El método es robusto al tamaño del conjunto de datos de entrenamiento (funcionando bien con tan solo 200–500 instancias).
  • No es altamente sensible al umbral de corrección utilizado para filtrar las incrustaciones de entrenamiento.

5. Significado

Este trabajo cierra la brecha entre la UQ basada en densidad efectiva en la clasificación y el dominio desafiante de la generación de texto de LLM. Al cambiar la granularidad al nivel de token y utilizar una combinación lineal supervisada de características por capa, los autores proporcionan una solución que es:

1. Más Precisa: Supera significativamente a los métodos actuales de UQ más avanzados en la detección de alucinaciones.
2. Más Eficiente: Hace factible la estimación de incertidumbre en tiempo real para entornos de producción al evitar el muestreo costoso.
3. Generalizable: Demuestra la capacidad de transferir capacidades de estimación de incertidumbre entre diferentes dominios y tipos de tareas, un requisito crítico para desplegar LLMs en diversas aplicaciones del mundo real.

El artículo concluye que los métodos basados en densidad, cuando se adaptan adecuadamente a la arquitectura a nivel de token de los LLM, son una alternativa superior tanto a los puntos de referencia triviales basados en probabilidad como a los métodos de muestreo computacionalmente costosos.