Resumen Técnico: Consistentes pero Descalibrados: Evaluación de las Limitaciones de los LLM para la Comunicación de Riesgos en el Lenguaje Natural

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más como explicadores post-hoc para salidas generadas por IA en dominios de alto riesgo como la salud, las finanzas y el derecho. Si bien existen puntuaciones de incertidumbre calibradas para indicar cuándo debe confiarse en la predicción de un modelo, los usuarios finales suelen tener dificultades para interpretar estos valores numéricos debido a una divergencia entre las definiciones estadísticas formales y la comprensión intuitiva de la probabilidad.

El problema central abordado es si los LLM pueden traducir de manera fiable la información probabilística (específicamente la verosimilitud y la incertidumbre predictiva) en Explicaciones en Lenguaje Natural (NLE). Para que este rol sea viable, los modelos deben satisfacer dos criterios:

1. Consistencia: Producir descriptores verbales idénticos para entradas idénticas a través de consultas repetidas.
2. Calibración: Seleccionar descriptores que reflejen con precisión la magnitud de las cantidades numéricas subyacentes (por ejemplo, asignar "muy probable" a eventos de alta probabilidad y "improbable" a los de baja probabilidad).

La literatura actual sugiere que los LLM pueden priorizar la utilidad y la capacidad de decisión sobre la expresión de la incertidumbre, lo que conduce a limitaciones sistemáticas en la verbalización probabilística. Sin embargo, ha faltado una evaluación controlada que mida conjuntamente la calibración y la consistencia a través de múltiples arquitecturas, contextos de dominio y configuraciones de generación.

2. Metodología

Diseño Experimental

El estudio formaliza la comunicación de riesgos como una tarea de selección de descriptores. El flujo de trabajo experimental involucra:

1. Simulación Upstream: Las predicciones son simuladas mediante el muestreo de distribuciones Beta parametrizadas por una moda ($m$, que representa la verosimilitud) y un tamaño de muestra previo ($k$, que representa la incertidumbre). Se utilizó una cuadrícula de 100 combinaciones ($m \in [0.05, 0.95]$, $k \in [50, 950]$) para generar variaciones sistemáticas en la verosimilitud y la incertidumbre.
2. Formulación de la Tarea: Se instó a los LLM a seleccionar el mejor descriptor verbal para la verosimilitud y la incertidumbre de estos escenarios simulados a partir de un conjunto ordenado y fijo de NLEs (por ejemplo, de "virtualmente cierto" a "excepcionalmente improbable").
3. Variables:
   • Modelos: Se evaluaron nueve LLMs, que van desde modelos de código abierto pequeños (4B–8B de parámetros) hasta modelos comerciales y abiertos más grandes (hasta 32B y GPT-5.4).
   • Contextos de Dominio: Se utilizaron seis contextos para probar la robustez, variando el nivel de riesgo (alto, medio, bajo) y el alcance del evento (individual vs. población): predicción de inundaciones, predicción de cáncer, anafilaxia a medicamentos, juegos de azar, recomendaciones de restaurantes y excursiones para ver auroras.
   • Temperatura: Los experimentos se repitieron a través de diez configuraciones de temperatura (0.0 a 0.9).
   • Repeticiones: Cada experimento se repitió diez veces para medir la consistencia.
4. Estudios de Ablación:
   • Estadísticas Precomputadas: Una ablación proporcionó la moda ($m$) y el tamaño de la muestra ($k$) directamente en el prompt para determinar si el cuello de botella era la inferencia estadística o la verbalización.
   • Robustez de la Métrica: Seis ablaciones adicionales probaron la sensibilidad de las métricas, incluyendo la validación externa contra rangos elicitados por expertos, variaciones del parámetro de penalización y métricas de incertidumbre alternativas (varianza, entropía).

Métricas de Evaluación

• Puntuación de Consistencia: Midió la frecuencia de la selección de descriptores idénticos a través de diez repeticiones para entradas idénticas (rango [0, 1]).
• Puntuación de Calibración: Adaptada de la prueba de tendencia Jonckheere-Terpstra (JT). Evaluó si las elecciones de descriptores del modelo respetaban el orden numérico de las distribuciones subyacentes. Una violación ocurría si un modelo asignaba un descriptor "más fuerte" a un valor numérico menor que un descriptor "más débil" en otro lugar. La puntuación fue penalizada para los modelos que no utilizaron todo el vocabulario de descriptores disponibles.
• Corrección de la Tarea (pass@k): Midió la probabilidad de que el modelo produzca una salida correctamente formateada dentro de $k=5$ intentos, asegurando que los errores de formato no inflaran artificialmente las puntuaciones de calibración o consistencia.

3. Resultados Clave

Consistencia vs. Calibración

• Hallazgo General: Se encontró que los LLM son generalmente consistentes pero descalibrados.
• Consistencia: La mayoría de las arquitecturas lograron puntuaciones de consistencia altas (media > 0.8) para tareas de verosimilitud. GPT-5.4 alcanzó una puntuación de consistencia media perfecta de 1.0 para verosimilitud e incertidumbre. Sin embargo, la consistencia disminuyó significativamente a medida que aumentaba la temperatura.
• Calibración:
  • Verosimilitud: La mayoría de los modelos estaban descalibrados. GPT-5.4 fue la excepción, logrando una calibración de verosimilitud media de 0.96. Otros modelos oscilaron entre 0.07 y 0.78.
  • Incertidumbre: La calibración fue sustancialmente más débil en todos los modelos. Ninguna arquitectura logró una puntuación superior a 0.40 para tareas de incertidumbre (con GPT-5.4 obteniendo 0.37 y otros tan bajos como 0.07).

Impacto de las Variables

• Temperatura: El aumento de la temperatura creó un compromiso: mejoró ligeramente la calibración (al fomentar el uso de un vocabulario más amplio) pero disminuyó considerablemente la consistencia.
• Contexto de Dominio: El contexto influyó en ambas métricas, pero ningún dominio único mejoró o empeoró el rendimiento de manera uniforme en todos los modelos. GPT-5.4 permaneció mayormente inafectado por los cambios de contexto de dominio.
• Datos Precomputados: Proporcionar resúmenes numéricos explícitos (moda y tamaño de la muestra) no mejoró la calibración ni la consistencia para ningún modelo. Esto sugiere que el cuello de botella reside en el paso de verbalización (mapeo de números a palabras) y no en la inferencia estadística de las muestras puras.
• Uso del Vocabulario: La mayoría de los modelos fallaron al seleccionar todos los descriptores disponibles. Tendieron a recurrir a un conjunto estrecho de descriptores moderados (por ejemplo, "cierto en cierta medida") independientemente de la incertidumbre matemática subyacente, rara vez seleccionando descriptores extremos.

Robustez

Los estudios de ablación confirmaron que los hallazgos fueron robustos. La validación externa contra rangos elicitados por expertos mostró que GPT-5.4 siguió de cerca el consenso de los expertos, mientras que otros modelos mostraron errores absolutos grandes. El uso de parámetros precomputados no alteró la descalibración fundamental, reforzando que el problema no es la incapacidad de calcular estadísticas, sino la incapación de verbalizarlas con precisión.

4. Contribuciones y Significado

El artículo proporciona una evaluación sistemática de los LLM como explicadores post-hoc de predicciones probabilísticas, estableciendo que:

1. Limitaciones Actuales: Los LLM actuales no constituyen herramientas de comunicación de riesgos independientes y de capacidad cero (zero-shot) fiables. Aunque son consistentes, están significativamente descalibrados, particularmente respecto a la incertidumbre predictiva.
2. El Cuello de Botella de la Verbalización: La incapacidad de comunicar el riesgo con precisión no se debe a un fallo en el razonamiento estadístico (ya que proporcionar los parámetros reales no ayudó), sino que reside en el mapeo de cantidades numéricas conocidas a descriptores verbales calibrados.
3. Escala y Arquitectura: El alto rendimiento no surgió uniformemente en todas las arquitecturas. Si bien GPT-5.4 demostró una calibración casi perfecta para la verosimilitud, esta competencia no se transfirió a las tareas de incertidumbre, lo que sugiere que la escala por sí sola puede no ser suficiente para un entendimiento emergente de los conceptos probabilísticos.
4. Sensibilidad Contextual: Los modelos exhiben sensibilidad al contexto del dominio, utilizando potencialmente un lenguaje más cauteloso en escenarios médicos o de desastres de alto riesgo, lo que complica la distinción entre una descalibración genuina y un amortiguamiento (hedging) socialmente apropiado.

5. Conclusión

Los autores conclizan que, si bien los LLM siguen siendo prometedores para producir un lenguaje fluido y accesible, actualmente carecen de un mapeo interno suficientemente estable entre la información probabilística y las NLE. El estudio subraya que emparejar los LLM con métodos estadísticos previos por sí solo no resuelve los déficits de calibración, resaltando la necesidad de intervenciones dirigidas específicamente a la etapa de verbalización. Los hallazgos refuerzan que la comunicación de riesgos es una tarea difícil y especializada, y que los modelos actuales aún no están listos para traducir de manera fiable las predicciones probabilísticas en lenguaje natural para la toma de decisiones informadas.