Resumen Técnico: SAGE – Objetivos de Incertidumbre Condicionados por la Respuesta para la Alineación de la Incertidumbre Verbal

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) frecuentemente generan texto fluido y plausible incluso cuando la respuesta subyacente es incierta o no está respaldada, lo que conduce a alucinaciones con consecuencias potencialmente graves en el mundo real. Mientras que los investigadores han explorado señales internas (p. ej., probabilidades de tokens) y señales basadas en muestreo para estimar la incertidumbre, la incertidumbre verbal —donde el modelo expresa explícitamente su confianza (p. ej., "Tengo un 80% de confianza")— ofrece una señal directa e interpretable para los usuarios.

Sin embargo, existe una brecha crítica en la alineación de la incertidumbre verbal: la incertidumbre expresada a menudo no refleja la fiabilidad conductual real del modelo. Los enfoques existentes tratan la calibración de la incertidumbre como un problema a nivel de respuesta (p. ej., ajuste fino supervisado sobre una única salida o optimización de preferencia por pares). Los autores argumentan que esto es fundamentalmente insuficiente porque una sola respuesta no puede revelar si la masa de probabilidad del modelo está concentrada en esa respuesta o dispersa entre alternativas plausibles. Esto crea una "ceguera de distribución" donde el modelo aprende a imitar expresiones de incertidumbre sin aprender a alinearlas con la estabilidad de su propia distribución de respuestas.

Además, aunque los objetivos a nivel de grupo (utilizando rollouts repetidos para estimar la incertidumbre) son teóricamente sólidos, los métodos existentes sufren de un "cuello de botella en la señal de recompensa":

1. Frecuencia Máxima de la Respuesta (MAF): Fiel a la estabilidad de la respuesta pero tosco; ignora la distancia semántica y las variaciones de razonamiento, mapeando distintos grupos a puntuaciones idénticas si el recuento de la mayoría coincide.
2. Entropía Semántica (SE): Maneja paráfrasis mediante un agrupamiento semántico rígido, pero produce recompensas discontinuas y toscas. Pequeños cambios dentro de un grupo no generan señal, mientras que cruzar los límites provoca saltos discretos.
3. Entropía de Lenguaje de Kernel (KLE): Proporciona señales suaves mediante similitud de embeddings continuos, pero falla al no preservar distinciones de respuestas críticas para la tarea. Puede tratar opciones mutuamente excluyentes (p. ej., "A" frente a "B") o valores numéricos distintos como altamente similares debido a la geometría genérica de los embeddings, lo que lleva a una subestimación de la incertidumbre.

Metodología

El artículo propone un marco de dos partes para abordar estas limitaciones: SAGE (Entropía Guiada por la Respuesta Semántica) para la construcción de objetivos y GUPO (Optimización de Preferencia de Incertidumbre de Grupo) para el entrenamiento.

1. SAGE: Entropía Guiada por la Respuesta Semántica

SAGE es un objetivo de auto-incertidumbre a nivel de grupo diseñado para construir una geometría de incertidumbre condicionada por la respuesta. Aspira a ser simultáneamente fiel a la respuesta, suave en la recompensa y preservador de la escala.

• Kernel Lingüístico: Comienza con un kernel de similitud semántica continua, $K_{ling}$, basado en el contenido portador de la respuesta $z_i$, midiendo la similitud semántica suave.
• Kernel de Equivalencia de Respuesta: Para evitar que los embeddings genéricos desdibujen las distinciones críticas de la tarea, SAGE introduce un kernel de equivalencia de respuesta binario específico para la tarea, $K_{ans}^{bin}$. Este kernel asigna un valor de 1 a las respuestas equivalentes (p. ej., misma etiqueta de opción múltiple, valor numérico normalizado o expresión simbólica verificada) y 0 en caso contrario.
• Piso Suave (Soft Floor): Para evitar la discontinuidad del agrupamiento rígido, SAGE emplea un mecanismo de "piso suave":
  $$K_{ans}^{soft}(a_i, a_j) = c + (1-c)K_{ans}^{bin}(a_i, a_j)$$
  donde $c \in [0, 1]$ controla el grado de separación de la respuesta. $c=0$ impone una separación rígida, mientras que $c=1$ recupera la similitud lingüística pura.
• Kernel Combinado: El kernel final combina similitudes lingüísticas y conscientes de la respuesta:
  $$K_A(y_i, y_j) = (K_{ling}(y_i, y_j))^\alpha \cdot (K_{ans}^{soft}(a_i, a_j))^\beta$$
• Cálculo de Entropía: La matriz del kernel se normaliza en una matriz de densidad $P_A$, y SAGE se define como la entropía de von Neumann normalizada de $P_A$. Una entropía baja indica respuestas concentradas (baja incertidumbre), mientras que una entropía alta indica dispersión en significados, caminos de razonamiento o respuestas finales.

2. GUPO: Optimización de Preferencia de Incertidumbre de Grupo

GUPO es un marco de entrenamiento que utiliza SAGE como señal de supervisión. A diferencia de los métodos estándar que optimizan toda la respuesta, GUPO optimiza solo el canal de incertidumbre ($v_i$) de la respuesta $y_i = (z_i, v_i)$.

• Construcción de Preferencia: Para un grupo de $K$ respuestas muestreadas, la recompensa $r_i$ se calcula basándose en la distancia entre la incertidumbre expresada $\hat{u}(v_i)$ y el objetivo SAGE $t(G_x)$.
• Optimización: GUPO aplica una distribución de preferencia sobre las expresiones de incertidumbre dentro del grupo, optimizando la política para maximizar la log-verosimilitud de las expresiones de incertidumbre que mejor coinciden con el objetivo a nivel de grupo. Esto se formula como:
  $$L_{GUPO} = -\mathbb{E}_{x, G_x} \left[ \sum_{i=1}^K \text{stopgrad}(p_i^{cal}) \cdot \log \pi_\theta(v_i | x, z_i) \right]$$
  donde $p_i^{cal}$ es la probabilidad de preferencia derivada de las puntuaciones de recompensa.

Principales Contribuciones

1. Formulación del Problema: Los autores identifican la alineación de la incertidumbre verbal como un problema de calibración de distribución y señalan el "cuello de botella en la señal de recompensa" en los objetivos actuales de nivel de grupo (MAF, SE, KLE) que limita su efectividad.
2. Objetivo SAGE: Introducen SAGE, un objetivo de entropía novedoso que inyecta estructura consciente de la respuesta en la geometría de la respuesta. Preserva la suavidad mientras corrige el fallo de las métricas genéricas al distinguir respuestas incompatibles (p. ej., diferentes etiquetas de opción o números distintos).
3. Marco GUPO: Proponen GUPO, un marco de optimización de preferencia del canal de incertidumbre que desacopla la calibración de la incertidumbre verbal de la optimización del contenido completo de la respuesta.
4. Validación Empírica: El enfoque se valida a través de tres formatos de respuesta distintos: QA factual (TriviaQA), razonamiento matemático (MATH-500) y razonamiento de opción múltiple (MMLU-Pro).

Resultados

Los experimentos demuestran que GUPO + SAGE supera consistentemente a las líneas base existentes (incluyendo Direct Verbalized, CoT, CSFT y LoVeC-DPO) y a otros objetivos de grupo (MAF, SE, KLE).

• Calibración: El método logra los Brier scores y el Error de Calibración Esperada (ECE) más bajos en todos los benchmarks. Por ejemplo, en MMLU-Pro, GUPO+SAGE redujo el ECE a 0.113 comparado con 0.179 para la siguiente mejor línea base.
• Ranking de Incertidumbre: Mejora significativamente la correlación de Spearman, indicando que la incertidumbre expresada por el modelo clasifica mejor los ejemplos según su fiabilidad real.
• Precisión Selectiva: El marco produce ganancias sustanciales en la precisión del subconjunto de alta confianza (p. ej., +22.4 a +33.0 puntos porcentuales en MMLU-Pro en varios umbrales de confianza), demostando que las predicciones asignadas con menor incertidumbre son más propensas a ser correctas.
• Transferibilidad: Las mejoras se mantienen a través de diferentes escalas de modelos (Qwen2.5-1.5B, 3B y 7B), lo que sugiere que el método no depende de la capacidad de un backbone específico.

Significado y Reivindicaciones

El artículo sostiene que la incertidumbre conductual a nivel de grupo puede destilarse en expresiones de incertidumbre de una sola respuesta solo cuando tanto la construcción del objetivo como el canal de optimización están diseñados adecuadamente.

• Abordar la Brecha de los Objetivos: Los autores argumentan que sin un objetivo fiable y consciente de la respuesta como SAGE, las señales de recompensa colapsan en ruido o atajos, impidiendo que el optimizador distinga la incertidumbre calibrada de los patrones superficiales.
• Alineación Conductual: El trabajo cambia el paradigma de aprender a "decir" la incertidumbre a aprender a "reflejar" la estabilidad del propio comportamiento de muestreo del modelo.
• Utilidad Práctica: Al mejorar el orden y la escala de la incertidumbre verbal, el marco permite una toma de decisiones descendente más efectiva, como confiar, verificar o abstenerse de los resultados del modelo.

Limitaciones: Los autores señalan modestamente que su método alinea la incertidumbre verbal con la auto-incertidumbre conductual (estabilidad del muestreo), no necesariamente con la corrección externa (veracidad). Un modelo puede ser estable pero erróneo. Por lo tanto, SAGE se presenta como complementario a la calibración basada en la corrección y la validación externa, no como un reemplazo, particularmente en dominios de alto riesgo como la medicina o el derecho donde se requiere evidencia específica del dominio. Además, la calidad del objetivo depende de la fiabilidad de los módulos de extracción de respuestas y de equivalencia.