Human-Alignment and Calibration of Inference-Time Uncertainty in Large Language Models

Resumen Técnico: Alineación Humana y Calibración de la Incertidumbre en el Tiempo de Inferencia en Grandes Modelos de Lenguaje

Planteamiento del Problema
Investigaciones recientes se han centrado intensamente en calibrar los Grandes Modelos de Lenguaje (LLM) para asegurar que sus estimaciones de incertidumbre predigan con precisión la probabilidad de generar una respuesta válida. Sin embargo, existe una brecha crítica: el trabajo existente rara vez evalúa si la incertidumbre del modelo se alinea con la incertidumbre humana. Si bien una medida puede estar bien calibrada respecto a la precisión del modelo, sus valores pueden no corresponder a la intuición humana, lo que las hace difíciles de interpretar para los usuarios. Además, la mayoría de los métodos de cuantificación de la incertidumbre (UQ) requieren generaciones auxiliares (por ejemplo, Monte Carlo dropout), lo que los hace inadecuados para el control del modelo en tiempo real o la retroalimentación del usuario. Este artículo aborda la necesidad de medidas de UQ en el tiempo de inferencia que sean simultáneamente calibradas (prediciendo la corrección del modelo) y alineadas (correlacionando con la incertidumbre de grupos humanos).

Metodología
Los autores evalúan una colección de medidas de incertidumbre en el tiempo de inferencia a través de múltiples LLM (LLaMa-3.2 1B/3B, LLaMa-3.1 8B, y Mistral 7B 0.1/0.3, tanto en variantes base como ajustadas por instrucciones). El estudio utiliza dos conjuntos de datos de encuestas humanas:

1. Dataset Pew: 38 preguntas de encuestas de Pew Research (utilizado como línea de base).
2. Dataset Roper: 2,998 preguntas muestreadas del Roper Center for Public Opinion Research (2017–2023).

Definición de Incertidumbre Humana: La incertidumbre humana se aproxima mediante el nivel de desacuerdo entre grupos de encuestados. Se calcula como la entropía de los porcentajes de respuesta normalizados para cada pregunta.

Medidas de Incertidumbre Evaluadas:
El estudio se centra en medidas calculables durante una única pasada de generación sin muestreo auxiliar:

• Probabilidad Top-1: La probabilidad del token más probable.
• Medidas basadas en Entropía:
  • Entropía Total: Entropía de Shannon sobre la distribución completa del vocabulario.
  • Entropía Top-k: Entropía calculada específicamente sobre los $k$ tokens superiores ($k \in \{5, 10, 25, 50, 100\}$), normalizada para mantener las proporciones relativas.
  • Entropía de Elección (Choice Entropy): Entropía calculada específicamente sobre las probabilidades normalizadas de las opciones de respuesta proporcionadas.
  • Entropía Top-p: Entropía sobre los tokens seleccionados mediante muestreo de núcleo (nucleus sampling) (tamaño de núcleo $p \in \{0.5, 0.75, 0.9, 0.95\}$).
• Tamaño de Top-p: El número de tokens en el conjunto de núcleo.

Métricas de Evaluación:

1. Alineación:
   • Acuerdo Explícito (Overt Agreement): La frecuencia con la que la opción principal del modelo coincide con la opción principal del grupo humano.
   • Orden de Preferencia: Medido mediante la distancia normalizada de Kendall $\tau$ entre las clasificaciones de preferencia del modelo y del humano.
   • Correlación de Incertidumbre: Correlación de Pearson entre las puntuaciones de incertidumbre del modelo y la incertidumbre del grupo humano (entropía de las respuestas) a través de las preguntas.
2. Calibración:
   • Correlación de Corrección: Correlación de Spearman entre las medidas de incertidumbre y la corrección binaria en el benchmark MMLU.
   • Calibración Distribucional (Desplazamiento JSD): Una métrica novedosa que mide el desplazamiento en la Distancia de Jensen-Shannon (JSD). Los autores hipotetizan que una medida bien calibrada mostrará un aumento significativo en la distancia entre la distribución de respuestas del modelo y la distribución de la respuesta correcta al pasar de preguntas de alta certeza a otras de baja certeza.

Resultados Clave

• Alineación vs. Preferencia: Los modelos mostraron un acuerdo moderado con los humanos en la opción principal (superando el azar), pero mostraron ninguna alineación significativa en el orden de preferencia general (las distancias de Kendall $\tau$ fueron efectivamente aleatorias).
• Alineación de la Incertidumbre: A pesar de la falta de alineación en el orden de preferencia, varias medidas mostraron una fuerte correlación con la incertidumbre del grupo humano.
  • Medidas de alto rendimiento: La entropía de elección, la entropía total, todas las entropías Top-k y la entropía Top-p (para $p \ge 0.9$) mostraron consistentemente una correlación significativa ($|r| \ge 0.3$) en todos los modelos.
  • Tamaño de Top-p: Mostró una correlación débil pero significativa para $p \le 0.9$, contradiciendo algunas suposiciones previas.
  • Probabilidad Top-1: No mostró una correlación significativa consistente.
• Calibración: Las medidas que se alinearon bien con la incertidumbre humana también demostraron evidencia moderada a fuerte de calibración en MMLU.
  • La Entropía de Elección (Choice Entropy) emergió como la medida más robusta, mostrando una correlación negativa con la corrección (menor incertidumbre = mayor precisión) en casi todos los modelos y temas.
  • Desplazamiento JSD: Las pruebas de permutación confirmaron que, para la mayoría de las medidas, el desplazamiento en la distancia distribucional entre los estados de alta y baja certeza fue estadísticamente significativo, indicando que las medidas distinguen eficazmente entre estados de certeza y de incertidumbre del modelo.

Contribuciones Clave

1. Conexión entre Top-p y Bayes: Los autores señalan que la selección top-p en la decodificación de LLM es funcionalmente equivalente al conjunto creíble de máxima densidad bayesiana, una conexión no notada previamente en la literatura de UQ.
2. Desacoplamiento de Alineación y Preferencia: El trabajo observa que las medidas de incertidumbre en el tiempo de inferencia basadas en la entropía pueden alinearse con la incertidumbre humana incluso cuando los modelos y los humanos discrepan en las preferencias o el orden de las respuestas específicas.
3. Métrica de Calibración Novedosa: El desarrollo de una medida de calibración distribucional basada en el desplazamiento de la métrica de distancia de Jensen-Shannon para evaluar directamente el impacto de la certeza en las distribuciones de respuesta.
4. Evidencia Empírica: El estudio proporciona evidencia de que las medidas alineadas en el tiempo de inferencia también están calibradas tanto en términos de correlación de corrección como de análisis distribucional.

Significancia y Reivindicaciones
El artículo afirma identificar un conjunto de medidas de UQ en el tiempo de inferencia que son efectivas y más intuitivamente interpretables por los usuarios humanos porque se alinean con el comportamiento de la incertidumbre humana. Esto es significativo porque sugiere que los modelos pueden proporcionar señales de confianza en tiempo real que los usuarios puedan comprender, incluso si los modelos no imitan perfectamente la lógica de selección de respuestas de los humanos.

Los autores concluyen modestamente que, si bien estas medidas muestran una fuerte evidencia inicial de alineación y calibración, no son perfectas. Enfatizan que se necesita trabajo futuro para:

• Encontrar medidas que sean altamente calibradas sin sacrificar la alineación.
• Extender estos hallazgos a contextos de generación abierta (proponiendo un marco para convertir respuestas abiertas en evaluaciones de opción múltiple).
• Investigar la alineación de la incertidumbre a nivel individual en lugar de solo a nivel de grupo.
• Probar estas medidas en aplicaciones reales de cooperación humano-LLM para determinar si mejoran la confianza del usuario y la eficacia de la tarea.

El estudio se limita a contextos de opción múltiple y modelos con 8 mil millones de parámetros o menos, señalando que los resultados pueden variar en modelos más grandes o escenarios de generación abierta.