Resumen Técnico: Lectura de Incertidumbre Calibrada a partir de Trayectorias de Modelos de Lenguaje

1. Enunciado del Problema

Los enfoques actuales para la Cuantificación de la Incertidumbre (UQ) en Modelos de Lenguaje Grandes (LLMs) con salida estructurada enfrentan una compensación entre la eficiencia computacional y la calibración. El método predeterminado, la Probabilidad Máxima de Softmax (MSP), es computacionalmente gratuito pero a menudo mal calibrado, asignando alta confianza a predicciones incorrectas. Por el contrario, los métodos existentes que sondean las activaciones internas suelen tratar los estados ocultos como instantáneas estáticas (ya sea de una sola capa o promediadas), descartando la trayectoria por capas mediante la cual se forma una representación. Esta visión estática ignora cómo se acumula, refuerza o revierte la evidencia a través de la profundidad de la red, lo que podría oscurecer señales de incertidumbre presentes en el camino computacional pero no en la distribución de salida final.

2. Metodología

Los autores proponen un método que trata las activaciones del modelo no como estados estáticos, sino como trayectorias representacionales. El enfoque involucra tres componentes principales:

2.1. El Sustrato: Vectores de Escritura MLP

En lugar de analizar estados ocultos crudos, el método se centra en los vectores de escritura MLP ($m_\ell$) aportados por el Perceptrón Multicapa (MLP) de cada bloque transformador al flujo residual. Trabajos previos de interpretabilidad mecánica sugieren que los MLP son sitios críticos para el almacenamiento de conocimiento factual.

• El método captura la secuencia de estos vectores en la posición final del prompt (la posición de lectura) durante un solo paso hacia adelante.
• Construye una trayectoria discreta en el espacio de representaciones calculando la suma acumulada de estos vectores: $s_\ell = \sum_{k \le \ell} m_k$.
• La trayectoria se define desde el estado inicial ($s_0 = 0$) hasta el punto final ($s_L$).

2.2. Extracción de Características Geométricas

La trayectoria se resume utilizando once características geométricas invariantes a la escala por capa, agrupadas en cuatro categorías:

1. Distribución de Profundidad: Mide cómo se distribuye el esfuerzo computacional (magnitud de actualización) a través de las capas (por ejemplo, carga frontal vs. carga trasera).
2. Forma Local de la Trayectoria: Captura la consistencia direccional (coseno consecutivo), cambios abruptos (curvatura) y si las actualizaciones refuerzan o contradicen el estado anterior (alineación actualización-estado).
3. Relación con el Punto Final: Mide cómo las capas se relacionan con la dirección final, incluyendo la convergencia (dirección hacia el final), la alineación de las actualizaciones individuales (actualización hacia el final) y la identificación de capas que se oponen activamente al punto final (apoyo contradictorio).
4. Eficiencia: Mide la relación entre el desplazamiento neto y la longitud total del camino (coherencia acumulada), indicando qué tan directamente la trayectoria alcanza su punto final.

2.3. Sondeo Lineal Escaso

Estas características se alimentan en un sondeo lineal escaso (regresión logística escasa) para predecir la probabilidad de error.

• Entrada: El vector de 11 características por capa ($\phi(x)$) y la puntuación MSP del modelo ($p_{msp}$).
• Interacción: El modelo incluye términos de interacción entre las características y el MSP, permitiendo que el sondeo pese las señales geométricas de manera diferente según la confianza base del modelo.
• Entrenamiento: El sondeo se entrena para minimizar la entropía cruzada binaria equilibrada por clases contra un indicador de error, regularizado con una penalización elastic-net para imponer escasez. Esto permite que el modelo identifique características predictivas directamente sin una etapa de selección separada.

3. Contribuciones Clave

1. UQ Basada en Trayectorias: Los autores proponen un conjunto compacto de características geométricas que describen la evolución de las representaciones a través de la profundidad de la red. Cuando se alimentan a un sondeo lineal escaso, este método supera al MSP bajo abstención selectiva, con ganancias de rendimiento que escalan con la mala calibración de la base (hasta 21 puntos de mejora en AURC).
2. Interpretabilidad de Extremo a Extremo: A diferencia de sondas densas opacas sobre activaciones crudas, cada característica tiene un significado geométrico de forma cerrada. Los coeficientes del sondeo revelan cómo ocurren los errores: identificando qué capas se comprometen prematuramente, cuáles contradicen el estado en ejecución y dónde las trayectorias se desvían de su punto final.
3. Evaluación Empírica Exhaustiva: El método se evaluó en 9 LLMs ajustados con instrucciones (familias Qwen, Llama, DeepSeek, que van desde 3B hasta 72B parámetros) en cinco tareas diversas de PLN (MMLU, CosmosQA, HellaSwag, HaluDial, HaluSum).

4. Resultados Experimentales

• Rendimiento: El sondeo mejoró sobre el MSP en 41 de 45 pares modelo-conjunto de datos. Las ganancias fueron más significativas donde el MSP funcionó peor (alta mala calibración), reduciendo el AURC (Área bajo la curva de Riesgo-Cobertura) en 11.45 a 21.83 puntos en las configuraciones más difíciles.
• Comparación con Líneas Base: El sondeo igualó o superó a un "sondeo de activación cruda" de alta capacidad (entrenado sobre estados ocultos completos) en 24 configuraciones y se mantuvo dentro de 2 puntos de AURC en otras 6, a pesar de utilizar solo 11 características escalares.
• Selectividad: El sondeo produce curvas de riesgo-cobertura suaves y monótonas, evitando los picos inestables de baja cobertura que a menudo se ven con el MSP. Separa efectivamente las predicciones correctas de las incorrectas incluso cuando las puntuaciones de confianza del MSP son idénticas.
• Hallazgos de Interpretabilidad:
  • Correcto vs. Incorrecto: Las predicciones con puntuaciones MSP idénticas exhiben firmas de trayectoria distintas. Por ejemplo, las predicciones incorrectas a menudo muestran una alineación prematura con la dirección final en capas tempranas, seguida de un "retroceso doble" o deriva.
  • Especificidad de la Tarea: Las firmas geométricas de los errores varían según la tarea. En HaluSum, los errores se manifestaron como un compromiso prematuro seguido de una corrección tardía que rompe el estado. En CosmosQA, los errores aparecieron como una deriva de profundidad media ortogonal a la dirección de la respuesta.
  • Análisis de Coeficientes: Los coeficientes del sondeo localizan los mecanismos de error. Por ejemplo, en HaluSum, las señales de error se concentraron en el último cuarto de la red, mientras que en CosmosQA, se distribuyeron a lo largo de la profundidad.

5. Significado y Afirmaciones

El artículo afirma que tratar las activaciones como movimiento en lugar de instantáneas estáticas ofrece un "camino intermedio tratable" entre la opacidad de las sondas densas y la señal limitada del MSP.

• Incertidumbre Auditable: Debido a que las características son interpretables por construcción, la señal de confianza resultante permite a los profesionales inspeccionar no solo si un modelo es incierto, sino dónde en su cómputo surge esa incertidumbre (por ejemplo, capas específicas o desviaciones geométricas).
• Eficiencia: El método añade un costo computacional despreciable en la inferencia, requiriendo solo un solo paso hacia adelante y cálculos geométricos simples, evitando el alto costo de enfoques basados en muestreo o conjuntos.
• Limitaciones: Los autores señalan que su análisis se restringe a entornos de elección discreta (preguntas de opción múltiple) y que el sondeo se ajusta actualmente por (modelo, tarea), siendo la transferibilidad entre modelos y tareas una pregunta abierta.

En resumen, el trabajo demuestra que la geometría de cómo un modelo de lenguaje ensambla una predicción contiene señales ricas e interpretables sobre la incertidumbre que son invisibles para la distribución de salida final, permitiendo una predicción selectiva más fiable y auditable.