Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

Resumen Técnico: Calibración de la Incertidumbre Semántica a partir de Probabilidades Observables de Modelos de Lenguaje

Planteamiento del Problema
Los modelos de lenguaje (LM) generan distribuciones de probabilidad condicional sobre palabras y frases; sin embargo, la toma de decisiones profesional en campos como las finanzas, la medicina y el derecho requiere la cuantificación de la incertidumbre sobre estados con significado y valores finitos (por ejemplo, diagnósticos, condiciones de riesgo o estados operativos). Existe un desajuste crítico: la salida nativa de un LM es una distribución sobre respuestas verbales, la cual es sensible a la redacción, el orden y el formato numérico del prompt. En contraste, el posterior científico objetivo sobre los estados debe ser invariante a la reformulación equivalente en información. Los enfoques actuales suelen confundir la confianza numérica impresa o las probabilidades de los tokens con las probabilidades de estado calibradas, fallando al no considerar la inestabilidad semántica donde frases sinónimas reciben probabilidades dispares o donde la "fluidez" del modelo enmascara la incertidumbre. El artículo aborda el problema inverso: ¿puede una distribución observable y dependiente del prompt sobre respuestas verbales mapearse hacia un posterior estable y calibrado sobre estados declarados?

Metodología
El artículo propone un mapa semántico, un puente estadístico semiparamétrico que conecta la distribución de lenguaje condicional del LM con un posterior objetivo sobre un espacio de estados finito. El marco trata al LM como un proceso generador de datos condicionales (un núcleo de Markov) y separa el diseño estadístico en capas distintas:

1. Experimento Estadístico Observable: El LM se modela como una ley de respuesta condicional $Q_u(\cdot | c)$ sobre continuaciones verbales completas $\Omega$, dado un prompt $c$. El prompt es una variable de diseño explícita controlada por el evaluador.
2. Granularidad Semántica (Coarsening): Un mapa medible y preespecificado $\phi_u$ agrupa continuaciones verbales sinónimas en estados semánticos $X$ (y una categoría "no expresada" $\perp$). Esto induce una medida de empuje (pushforward measure) (composición léxica) $p_u$ sobre el espacio de estados.
3. Calibración y Recuperación Inversa: El artículo formula la recuperación del posterior de referencia $\pi^*(y)$ (derivado de un modelo probabilístico declarado e independiente) a partir de la composición léxica $p_u$ como un problema inverso. Utiliza coordenadas de razón logarítmica aditiva (additive log-ratio, alr) para mapear vectores de probabilidad al espacio euclídeo, permitiendo la aplicación de la teoría de problemas inversos.
4. Garantías Teóricas:
   • Existencia y Unicidad: La composición léxica existe y es única condicionada al mapa semántico fijo y a la ley de lenguaje.
   • Descomposición del Error: Un teorema acota el error del posterior derivado de tres fuentes distintas: desajuste semántico (error de agrupación), error de cálculo de probabilidad y masa no expresada (probabilidad fuera de la partición declarada).
   • Estabilidad: Los límites teóricos caracterizan cómo las perturbaciones en la presentación del prompt (redacción, orden) afectan la composición semántica, distinguiendo entre variaciones de molestia (nuisance) y cambios consecuentes.
   • Recuperación Inversa: Se definen las condiciones para una recuperación estable del posterior mediante un módulo de observabilidad cuantitativo (límite inferior de la separación de posteriores distintos en el canal de lenguaje).
   • Filtrado Secuencial: Un teorema de filtrado cuantifica cómo los errores de medición se propagan o se atenúan durante las actualizaciones bayesianas secuenciales, distinguiendo entre el error de medición inicial y los defectos de recursión acumulados.

Contribuciones Clave
La contribución principal del artículo es la formalización del mapa semántico como un estimando estadístico testeable, yendo más allá de la ingeniería de prompts ad hoc. Específicamente:

• Estimando Declarado: Define un objetivo claro: recuperar un posterior de referencia sobre estados finitos a partir de una distribución de lenguaje observable, en lugar de tratar la "creencia" interna del LM como la verdad fundamental.
• Marco Semiparamétrico: Combina un modelo de lenguaje sin restricciones con un modelo de calibración de baja dimensión, evitando la necesidad de modelar los parámetros internos del LM mientras contabiliza rigurosamente el mapeo de lenguaje a estado.
• Descomposición de la Incertidumbre: Proporciona una descomposición matemática de las fuentes de error (semánticas, numéricas y de cobertura), permitiendo a los profesionales diagnosticar si los fallos provienen de un mal agrupamiento, un cálculo de probabilidad inexacto o una cobertura verbal insuficiente.
• Análisis de Problemas Inversos: Aplica la teoría de problemas inversos para establecer las condiciones bajo las cuales el canal de lenguaje es suficientemente informativo para permitir una inversión estable, distinguiendo entre observabilidad de diseño finito e identificación uniforme.
• Protocolo Empírico: Establece un protocolo de inferencia riguroso que separa el descubrimiento (agrupación semántica, diseño de prompts) de la confirmación (pruebas de held-out, cobertura conformal), evitando el sesgo de anticipación (look-ahead bias) y la búsqueda de especificación dependiente de los datos.

Resultados
La metodología fue evaluada en dos entornos:

1. Texto de Mercado Profesional: Una comparación entre las probabilidades derivadas del lenguaje (calculadas a partir de las probabilidades de los tokens de las frases) y las probabilidades elicitadas numéricamente (donde se le pide al modelo que imprima un número).
   • Hallazgo: Las probabilidades derivadas del lenguaje superaron significativamente a las probabilidades elicitadas numéricamente en precisión (McNemar $p=0.0243$) y en reglas de puntuación adecuadas (proper scoring rules) (pérdida de Log y puntuación de Brier). Esto sugiere que forzar una salida numérica distorsiona la información semántica presente en la distribución de la continuación.
2. Recuperación de Posterior Controlada: Una simulación utilizando un generador bayesiano conocido para proporcionar los posteriores de referencia exactos, probada a través de dos modelos ajustados (GPT-4.1-mini y GPT-4o-mini).
   • Recuperación: Los estimados léxicos calibrados recuperaron los posteriores exactos de held-out con una divergencia de Jensen–Shannon baja (aprox. 0.039 y 0.037) y alcanzaron una cobertura conformal nominal del 90% (94% y 90%).
   • Estabilidad: Los parafraseos ordinarios (reescrituras que preservan la información) resultaron en estimaciones mayormente estables. Sin embargo, el reordenamiento de la evidencia o la omisión de información relevante causaron cambios consecuentes, confirmando que la medición es sensible al conjunto de información pero robusta a la redacción de molestia.
   • Condicionamiento Inverso: El análisis de bootstrap confirmó que los mapas de calibración afines ajustados retuvieron todas las direcciones de razón logarítmica en el diseño muestreado (valores singulares positivos), lo que respalda la observabilidad de diseño finito.
   • Entropía: La entropía bruta sobre las palabras candidatas no estaba correlacionada con la entropía del posterior, mientras que la entropía del posterior calibrado estaba altamente correlacionada, demostrando que la incertidumbre a nivel de palabra no equivale a la incertidumbre a nivel de estado.

Significancia y Reivindicaciones
El artículo sostiene que la incertidumbre de los modelos de lenguaje puede transformarse de una declaración de confianza no verificada en un estimador de posterior auditable bajo condiciones explícitas y testeables.

• Alcance Modesto: Los autores declaran explícitamente que su método no prueba que el LM "sepa" la verdad o posea creencias internas inaccesibles. El posterior objetivo es condicional al modelo generador de evidencia declarado y a la partición semántica.
• Validación sobre Confianza: La contribución es un marco de validación. Si el mapa semántico falla (por ejemplo, baja masa expresada, pobre condicionamiento inverso o fallo en la cobertura conformal), el resultado debe ser rechazado o reparado. Si tiene éxito, el estimado respalda procedimientos conscientes de la incertidumbre como la abstención, la revisión humana o la actualización secuencial.
• Principio General: El principio del "mapa semántico" se presenta como una plantilla general para auditar clasificaciones y recomendaciones, asegurando que el significado relevante para la aplicación sea estable y no meramente una función de la ingeniería de prompts.
• Limitaciones: Los resultados están condicionados al modelo ajustado específico, la familia de prompts y las definiciones de estado. No establecen una observabilidad uniforme sobre clases de funciones sin restricciones ni una cobertura secuencial uniforme en el tiempo sin pruebas adicionales a nivel de trayectoria. El método no es un sustitente para el análisis de decisiones específicas del dominio o una garantía de rendimiento de trading en tiempo real.

En resumen, el artículo reemplaza la dependencia de la "ingeniería de prompts" para la estabilidad con un marco estadístico riguroso que trata al lenguaje como un canal de medición ruidoso, proporcionando las herramientas para cuantificar, acotar y validar la recuperación de probabilidades de estados significativos desde dicho canal.