Resumen Técnico: Validación de Creencias Elicitadas de LLMs

Enunciado del Problema

Los Modelos de Lenguaje Grandes (LLMs) se despliegan cada vez más en dominios de alto riesgo, como el diagnóstico médico, donde la toma de decisiones requiere formar creencias probabilísticas sobre resultados desconocidos. Aunque los investigadores pueden solicitar a los LLMs que generen probabilidades verbalizadas (por ejemplo, "la probabilidad de la enfermedad X es del 80%"), sigue sin estar claro si estas salidas reflejan creencias internas coherentes que realmente impulsan las decisiones del modelo. Un modelo podría verbalizar una probabilidad desconectada de su proceso de toma de decisiones, potencialmente debido a artefactos de ajuste fino o a la optimización de preferencias que distorsiona las probabilidades verbalizadas sin alterar la lógica subyacente de decisión. El trabajo existente se centra en la calibración (precisión de las probabilidades reportadas) pero no aborda si las creencias reportadas son las estadísticas suficientes que gobiernan las acciones del modelo. El desafío central es validar, de manera de caja negra, si las creencias elicitas de un LLM son una explicación significativa de sus decisiones sin realizar suposiciones fuertes sobre la función de utilidad del modelo ni requerir acceso a representaciones internas.

Metodología

Los autores proponen un marco teórico-decisional para probar la consistencia entre las creencias elicitas y las decisiones observadas. El marco opera bajo la suposición de un tomador de decisiones "casi racional", formalizado como un maximizador de utilidad perturbado. Esta clase de agentes maximiza la utilidad esperada sujeta a un regularizador estrictamente convexo (por ejemplo, entropía), lo que permite elecciones estocásticas y componentes de utilidad no observados, siendo más general que la maximización estricta de la utilidad esperada.

El marco se basa en dos condiciones empíricamente comprobables derivadas de esta formalización:

1. Independencia Condicional (Suficiencia de la Creencia):

   • Hipótesis: Si las acciones de un agente son impulsadas únicamente por su creencia subjetiva $P_S(\theta|x)$, entonces condicionar sobre esta creencia debería hacer que la acción $A$ sea independiente del resultado verdadero $\theta$. Formalmente, $A \perp \theta \mid P_S(\theta|x)$.
   • Prueba: Los autores prueban la hipótesis nula $I(A; \theta \mid p) = 0$ utilizando una prueba no paramétrica de Información Mutua Condicional (CMI) basada en k-Vecinos Más Cercanos. Además, miden la mejora predictiva del resultado verdadero al añadir la acción $A$ a un modelo que ya condiciona sobre la creencia elicita $p$. Si la acción proporciona un poder predictivo adicional significativo, la creencia no es una estadística suficiente.

2. Monotonía Cíclica (Creencias que Guían la Acción):

   • Hipótesis: Para un maximizador de utilidad perturbado, la aplicación desde las creencias elicitas hasta las probabilidades de elección debe ser cíclicamente monótona con respecto al índice de utilidad esperada. En configuraciones de estado binario, esto implica que a medida que aumenta la probabilidad elicita de un estado positivo, la probabilidad de seleccionar acciones más valiosas en ese estado debe aumentar monótonamente.
   • Prueba: Los autores agrupan las probabilidades elicitas y estiman las cuotas de elección dentro de los grupos. Formulan un programa lineal de margen firmado (SignedLP) para encontrar un vector de diferencia de utilidad $d$ que satisfaga la monotonía estricta entre los grupos. Una estadística positiva $\hat{\gamma}$ indica monotonía estricta; un valor negativo indica una violación.

El marco se aplica a cuatro tareas de diagnóstico médico (enfermedad cardíaca estructural, diabetes, fiebre pediátrica y llanto infantil) utilizando conjuntos de datos de registros del mundo real y redes bayesianas construidas por expertos. El estudio evalúa múltiples familias de LLM (variantes de GPT-5, DeepSeek-R1, Llama-4) elicando creencias y decisiones en ventanas de contexto separadas para evitar la contaminación.

Contribuciones Clave

• Marco Formal para la Validación de Caja Negra: El artículo introduce las primeras condiciones formales, teórico-decisionales, para probar si las creencias elicitas de un LLM son coherentes con sus acciones. Crucialmente, estas pruebas son agnósticas a la función de utilidad del agente, dependiendo únicamente de la estructura de la maximización de utilidad perturbada.
• Condiciones Necesarias y Suficientes: Los autores demuestran (Proposición 5) que la independencia condicional y la monotonía cíclica son conjuntamente necesarias y suficientes para que una distribución observada de creencias y acciones sea racionalizada por un maximizador de utilidad perturbado que mantiene la creencia elicita como su verdadera probabilidad subjetiva.
• Protocolo de Validación Empírica: El estudio operacionaliza estas condiciones teóricas en pruebas estadísticas prácticas (CMI y SignedLP) que pueden aplicarse a cualquier LLM de caja negra.
• Distinción entre Tipos de Coherencia: El trabajo distingue entre la coherencia teórico-decisional (creencias que guían acciones) y la coherencia probabilística (adherencia a axiomas como la Ley de la Esperanza Iterada), mostrando que son propiedades distintas.

Resultados

• Suficiencia Imperfecta: En todos los modelos y conjuntos de datos, la prueba de Independencia Condicional rechaza la hipótesis nula. Las creencias elicitas no son estadísticas suficientes; las acciones de los modelos contienen información residual sobre el resultado verdadero que no se captura en sus probabilidades verbalizadas. Esto sugiere que los modelos "saben más de lo que dicen" o que su información relevante para la toma de decisiones no se comunica completamente en la creencia elicita.
• La Monotonía se Cumple (Mayormente): La prueba de Monotonía Cíclica muestra que, para la mayoría de las combinaciones modelo-conjunto de datos, la relación entre las creencias elicitas y las acciones es monótona. Específicamente, 9 de 16 combinaciones mostraron monotonía estricta ($\hat{\gamma}$ positivo), y solo una (Fiebre–Llama) mostró una violación. Esto indica que, aunque las creencias no son perfectamente suficientes, generalmente mueven las decisiones en la dirección correcta.
• Varianza entre Modelos y Dominios:
  • Modelos Más Fuertes: Los modelos más potentes (por ejemplo, DeepSeek-R1, GPT-Alto) exhiben las discrepancias más pequeñas entre creencias y acciones, lo que sugiere que están observacionalmente más cerca de agentes con creencias coherentes.
  • Efectos del Dominio: El conjunto de datos de Diabetes mostró la monotonía más débil, sin que ningún modelo mostrara un margen estrictamente positivo.
• La Calibración No Arregla la Suficiencia: Aplicar una calibración isotonica a las creencias elicitas mejoró la calibración marginal pero no restauró la independencia condicional, confirmando que el fallo de suficiencia es estructural, no solo un problema de calibración.
• Consistencia Interna: Las pruebas utilizando la Ley de la Esperanza Iterada (LIE) revelaron que la coherencia probabilística (adherencia a los axiomas de probabilidad) no necesariamente se alinea con la coherencia teórico-decisional. Los modelos que funcionaron bien en las pruebas de consistencia de decisiones no necesariamente funcionaron bien en las pruebas de consistencia probabilística.

Significado y Afirmaciones

El artículo afirma que las probabilidades elicitas de los LLMs son resúmenes imperfectos pero informativos a nivel conductual de la información relevante para la toma de decisiones. Los autores argumentan que, aunque los modelos no actúan como si mantuvieran creencias perfectamente coherentes (como lo demuestra el fallo de la suficiencia), las discrepancias son relativamente pequeñas para los modelos más avanzados.

El significado de este trabajo radica en proporcionar un método principiado y de caja negra para validar si la confianza verbalizada de un LLM es una explicación confiable de sus decisiones. Esto es crítico para la seguridad y la transparencia en entornos de alto riesgo como la medicina. Los autores enfatizan que sus pruebas no demuestran que un modelo "realmente" mantenga una creencia en un sentido filosófico, sino más bien que el modelo es observacionalmente indistinguible de un agente racional que mantiene dicha creencia. En consecuencia, el artículo concluye que las creencias elicitas deben validarse empíricamente en lugar de asumirse como representaciones fieles de las creencias del modelo, ofreciendo una herramienta de diagnóstico para que los desarrolladores comprendan los modos de fallo (por ejemplo, distinguir entre sobreconfianza y problemas de percepción de costos en agentes médicos).