Resumen Técnico: Patrones de Alineación Humana, Calibración y Activación en la Incertidumbre de los Modelos de Lenguaje de Gran Escala

Declaración del Problema

La cuantificación de la incertidumbre (UQ) en los Modelos de Lenguaje de Gran Escala (LLM) se ha centrado principalmente en la calibración —asegurar que las puntuaciones de confianza de un modelo reflejen con precisión su eficacia en la tarea para mitigar las alucinaciones—. Sin embargo, una cuestión crítica y poco explorada permanece: ¿qué tan similar es el comportamiento de la incertidumbre de un LLM a la incertidumbre humana?

Comprender esta "alineación humana" es vital para la colaboración humano-IA. Si los LLM exhiben patrones de incertidumbre similares a los humanos, los usuarios pueden transferir de forma más segura las expectativas intuitivas de las interacciones humano-humano a las interacciones humano-IA. Por el contrario, las disimilitudes significativas podrían permitir que los humanos y la IA compensen las debilidades del otro. Este trabajo investiga la presencia y la fuerza de las señales de incertidumbre similares a las humanas (alineación) tanto en el comportamiento manifiesto del modelo (logits) como en los patrones de activación interna, examinando también la ocurrencia simultánea de la alineación y la calibración.

Metodología

Modelos y Conjuntos de Datos

El estudio evaluó 30 LLM de solo texto y de pesos abiertos pertenecientes a cuatro familias (LLaMa, Mistral, Gemma, Falcon) y con tamaños que oscilan entre 1B y 13B de parámetros. Se probaron versiones tanto base como ajustadas por instrucciones (instruct-finetuned).
Se utilizaron cuatro conjuntos de datos:

1. MMLU: Un conjunto de datos estándar de preguntas de opción múltiple (MCQA) utilizado como línea de base para el Error de Calibración Esperado (ECE), pero que carece de datos de incertidumbre humana.
2. ProtoQA: Preguntas basadas en preferencias crowdsourced (8,724 ítems) que proporcionan distribuciones de respuesta humana.
3. CamChoice: Comprensión lectora MCQA (504 ítems) con distribuciones de respuesta humana.
4. Coane: Un conjunto de datos de 421 preguntas de conocimiento general presentadas a adultos mayores. Crucialmente, proporciona:
   • Distribuciones de respuesta humana (para la entropía de la distribución de respuesta/incertidumbre del grupo).
   • Tiempos de respuesta promedio (para la incertidumbre individual, basado en interpretaciones de la ciencia cognitiva).
   • Variantes tanto de MCQA como de Preguntas Abiertas (OEQA).

Medidas de Incertidumbre

Los autores emplearon un amplio conjunto de medidas de UQ en tiempo de inferencia calculadas a partir de logits y activaciones:

• Medidas de MCQA: Métricas de distribución completa (probabilidad top-1, entropía total), métras basadas en cloze, entropías top-k/p y tamaños de núcleo (nucleus sizes).
• Medidas de Respuesta Libre (FR): Perplejidad de secuencia (PPL) y promedios de métricas de entropía/tamaño sobre los tokens generados.
• BFR (Bracketed FR) y 1TFR (1st Token FR): Medidas restringidas al segmento antes de una llave de cierre o al primer token generado, respectivamente, para aislar la respuesta de una posible sobregeneración.

Diseño Experimental

• Alineación: Medida mediante la correlación de Spearman entre las señales de incertidumbre del modelo y la incertidumbre humana (derivada de la entropía de la respuesta o el tiempo de respuesta).
• Calibración: Medida utilizando ECESweep, un método de agrupación dinámica que minimiza el sesgo en la estimación del Error de Calibración Esperado.
• Sondeo de Activación (Activation Probing): Se entrenaron modelos de regresión lineal sobre las activaciones del último token por capa para predecir la incertidumbre humana. Esto permitió a los autores mapear dónde y cómo se manifiestan las señales de alineación internamente en comparación con los logits de salida.

Contribuciones Clave y Resultados

1. Alineación Positiva Débil-a-Moderada

El estudio encontró que la incertidumbre de los LLM está generalmente correlacionada de forma positiva, débil a moderada, con la incertidumbre humana. Esta relación está mediada por la tarea específica y la arquitectura del modelo.

• Grupo vs. Individuo: La alineación es más detectable cuando se compara la incertidumbre del modelo con la incertidumbre humana a nivel de grupo (entropía de la distribución de respuesta) en lugar de la incertidumbre a nivel individual (tiempo de respuesta).
• Dependencia de la Tarea: Las señales de alineación fueron esporádicas en el conjunto de datos CamChoice y casi inexistentes en las tareas de OEQA, con la excepción del modelo Falcon 3 10B (que mostró correlación con el tiempo de respuesta pero no en contextos de BFR/1TFR).

2. Degradación por Ajuste de Instrucciones (Instruct Finetuning)

Un hallazgo principal es que el ajuste por instrucciones degrada significativamente tanto la alineación de la incertidumbre como la calibración.

• En casi todas las medidas y conjuntos de datos, los modelos base demostraron una alineación más fuerte con la incertidud humana que sus contrapartes ajustadas por instrucciones.
• Del mismo modo, la calibración (ECE) fue generalmente peor en los modelos instruct, con excepciones notables donde el ajuste mejoró la calibración en contextos de opciones limitadas pero la degradó en otros.

3. Activaciones Internas vs. Comportamiento Manifiesto

El estudio revela una discrepancia crítica entre los estados internos y el comportamiento de salida:

• Señales Internas más Fuertes: La incertidumbre alineada con la humana es más detectable en las activaciones internas que en los logits de salida.
• Brecha Cuantitativa: Por ejemplo, el modelo Gemma 2 9B mostró una correlación máxima de $r \approx 0.6$ con la entropía humana en sondas internas, comparado con solo $r = 0.32$ para las medidas basadas en logits.
• Dinámica de Capas: La alineación de la entropía (incertidumbre a nivel de grupo) tiende a aumentar con la profundidad en la red, mientras que la alineación del nivel individual (tiempo de respuesta) permanece relativamente plana a través de las capas.

4. Superioridad de la Calibración

A pesar de los desafíos de alineación, los LLM tienden a estar mejor calibrados que los sujetos humanos en la mayoría de las medidas de UQ. Los errores de calibración humana en el conjunto de datos Coane oscilaron entre 0.21 y 0.45, mientras que muchos modelos lograron valores de ECE por debajo de 0.1.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera investigación extensa sobre la alineación de la incertidumbre a través de un diverso conjunto de modelos y tareas, yendo más allá del enfoque tradicional centrado únicamente en la calibración.

• Perspectiva Conductual: El trabajo sugiere que, si bien el comportamiento manifiesto del modelo (logits) puede no reflejar plenamente la incertidumbre de tipo humano, las representaciones internas de los LLM contienen señales más fuertes de alineación humana. Esto implica que los mecanismos de la incertidumbre similar a la humana existen dentro del modelo pero no siempre se expresan en la salida final, potencialmente debido a las restricciones del ajuste de instrucciones.
• Impacto del Ajuste: Los hallazgos resaltan un compromiso (trade-off): mientras que el ajuste de instrucciones mejora el rendimiento de la tarea en muchos dominios, parece interrumpir la emergencia natural de comportamientos de incertidumbre y calibración similares a los humanos.
• Direcciones Futuras: Los autores sugieren modestamente que identificar estas señales de alineación en los vectores latentes podría eventualmente permitir la manipulación directa o la mejora de los comportamientos de alineación sin necesidad de un reentrenamiento significativo. Sin embargo, reconocen limitaciones, señalando que los resultados están actualmente restringidos a la recuperación de hechos de formato corto y podrían no generalizarse a tareas de razonamiento complejo o planificación.

En resumen, el artículo establece que los LLM poseen una capacidad latente para la incertidumbre alineada con la humana, pero esta capacidad suele estar suprimida por el ajuste de instrucciones estándar y es más visible en las activaciones internas que en las predicciones finales.