Resumen Técnico: Calibración de LLMs con Recompensa a Nivel Semántico

Enunciado del Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) se despliegan en dominios de alto riesgo, como la respuesta a preguntas médicas y el razonamiento legal, la capacidad de estimar cuándo es probable que las salidas sean correctas es crítica. El Aprendizaje por Refuerzo Estándar con Recompensas Verificables (RLVR) optimiza la corrección binaria, pero no tiene en cuenta la confianza del modelo. Esta estructura de recompensa binaria es indiferente a los niveles de confianza, incentivando estructuralmente la adivinanza sobreconfiada, ya que expresar certeza no conlleva ninguna penalización. En consecuencia, los modelos entrenados con RL a menudo exhiben tasas de alucinación aumentadas y una mala calibración.

Los intentos recientes de abordar esto implican entrenar modelos para producir puntuaciones de confianza verbalizadas (por ejemplo, "tengo un 80% de certeza") junto con las respuestas. Sin embargo, el artículo argumenta que la confianza verbalizada es un indicador poco fiable de la incertidumbre. El análisis empírico muestra que estas puntuaciones son altamente sensibles a la redacción del prompt y a las variaciones en el texto de la respuesta, incluso cuando el significado semántico subyacente permanece idéntico. La confianza verbalizada a menudo falla en rastrear la distribución real de significados producidos por el modelo, calibrando una interfaz de reporte en lugar de la incertidumbre semántica real del modelo.

Metodología: Calibración con Recompensa Semántica (CSR)

Los autores proponen la Calibración con Recompensa Semántica (CSR), un marco que calibra los LLMs directamente en el espacio semántico, evitando la necesidad de interfaces explícitas de reporte de confianza.

Concepto Central

CSR enmarca la calibración en términos de incertidumbre a nivel semántico: la distribución de significados que un modelo produce cuando se muestrea repetidamente a partir de la misma pregunta. Un modelo se considera bien calibrado si:

1. Las predicciones correctas forman un cluster semántico concentrado (alta acuerdo semántico).
2. Las predicciones incorrectas producen salidas dispersas y semánticamente diversas (bajo acuerdo semántico).

La incertidumbre se estima a posteriori a partir de la distribución de respuestas utilizando la Entropía Semántica, sin requerir que el modelo genere un token de confianza.

Estructura de Recompensa

CSR utiliza un sistema de doble recompensa optimizado mediante Optimización de Políticas Relativas por Grupos (GRPO):

1. Recompensa de Corrección Verificable ($r_{RLVR}$): Una recompensa binaria estándar ($1$ si la trayectoria coincide con la verdad fundamental, $0$ en caso contrario). Esto desplaza la masa de probabilidad hacia los modos semánticos correctos.
2. Recompensa de Calibración Semántica ($r_{calibration}$): Una recompensa novedosa que alinea el acuerdo semántico par a par con la corrección.
   • Para un grupo de $K$ trayectorias, la recompensa penaliza una trayectoria $C^{(j)}$ si su acuerdo con otras trayectorias $C^{(i)}$ no coincide con su corrección relativa a la verdad fundamental.
   • Específicamente, minimiza la entropía cruzada binaria entre el indicador de acuerdo par a par $J(C^{(j)}, C^{(i)})$ y el indicador de corrección $J(C^{(j)}, C^*)$.
   • Efecto: Esto fomenta que las trayectorias correctas coincidan entre sí (formando clusters compactos) y que las trayectorias incorrectas discrepen (promoviendo la exploración alejada de modos incorrectos).

Objetivo de Entrenamiento

Los autores observan que optimizar la recompensa de calibración de forma aislada conduce a modos de fallo degenerados (ya sea colapsando en una única respuesta incorrecta o generando respuestas incorrectas máximamente diversas). Para evitar esto, emplean un cronograma de Aprendizaje Curricular:
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
donde $\lambda(t)$ es una función no decreciente (se utilizó un cronograma lineal en los experimentos). Esto asegura que el modelo primero establezca una precisión no nula mediante $r_{RLVR}$ antes de que la señal de calibración dé forma a la estructura de la distribución.

Integración

CSR se integra perfectamente con GRPO. Dado que GRPO ya muestrea un grupo de trayectorias para calcular las ventajas, CSR utiliza este mismo grupo para evaluar el acuerdo semántico par a par, incurriendo en ninguna sobrecarga de muestreo adicional.

Contribuciones Clave

1. Formulación de Calibración Semántica: Un cambio de la confianza verbalizada a la incertidumbre a nivel semántico, proporcionando una alternativa principista a las interfaces de confianza dependientes del prompt.
2. Marco CSR: Un método de aprendizaje por refuerzo que alinea el acuerdo semántico par a par con la corrección, permitiendo que los modelos aprendan incertidumbre calibrada sin supervisión explícita de confianza.
3. Validación Empírica: Demostrado en tres familias de modelos (Llama, Qwen, Mistral) y cuatro conjuntos de datos de preguntas y respuestas (HotpotQA, TriviaQA, MSMARCO, NQ-Open).

Resultados Experimentales

Los experimentos se realizaron en 10.000 ejemplos de entrenamiento de HotpotQA, con evaluación en 1.000 ejemplos por conjunto de datos (incluyendo conjuntos fuera de distribución).

• Rendimiento de Calibración: CSR logró consistentemente el Error de Calibración Esperado (ECE) más bajo y el Área bajo la Curva ROC (AUROC) más alta en casi todos los escenarios.
  • Reducción de ECE: Hasta un 40% de reducción en comparación con las líneas base de confianza verbalizada (RD, RLCR).
  • Mejora de AUROC: Hasta un 31% de mejora sobre las líneas base de confianza verbalizada.
  • Generalización: CSR mantuvo un rendimiento de calibración sólido en conjuntos de datos fuera de distribución (OOD), mientras que los métodos verbalizados mostraron ganancias inconsistentes.
• Precisión: CSR mantuvo una precisión competitiva con el RLVR estándar, evitando el colapso de la precisión observado al optimizar recompensas de calibración de forma aislada.
• Eficiencia:
  • Costo de Tokens: El costo de tokens de CSR fue comparable a los modelos Base y RLVR y significativamente menor (2.7x–5.7x) que RLCR, que requiere razonamiento secuencial y generación de confianza.
  • Eficiencia del Juez: Los autores exploraron reemplazar el juez semántico basado en LLM con un umbral F1 a nivel de token ligero. Aunque el juez basado en LLM fue más robusto, el sustituto F1 preservó la mayor parte de las ganancias de calibración de CSR, ofreciendo una alternativa eficiente en cómputo.
• Robustez: Las ganancias de calibración persistieron a través de diferentes presupuestos de trayectorias ($K$) y fueron robustas ante la elección del cronograma curricular.

Significado y Afirmaciones

El artículo afirma que CSR aborda la limitación fundamental de los métodos de confianza verbalizada: su dependencia de una interfaz de reporte que es sensible a la forma superficial y a las variaciones del prompt. Al calibrar directamente la distribución semántica del modelo, CSR logra:

• Generalización Robusta: El comportamiento de calibración se transfiere efectivamente a nuevos conjuntos de datos con contenido léxico diferente pero estructuras de incertidumbre semántica similares.
• Fiabilidad: Proporciona una señal de incertidumbre más fiable para la toma de decisiones aguas abajo en entornos de alto riesgo.
• Practicidad: Evita los fallos de análisis y las restricciones de formato asociadas con la confianza verbalizada (por ejemplo, las trazas de razonamiento de RLCR o los bins enteros de RD), logrando una tasa de análisis del 100% en todas las configuraciones probadas.

Los autores concluyen que la calibración a nivel semántico representa una dirección prometedora para la estimación fiable de incertidumbre, aunque reconocen la sobrecarga computacional del juicio de equivalencia semántica como una limitación actual, sugiriendo trabajo futuro en métricas de consistencia basadas en reglas.