Benchmarking Large Language Model Rationality Using Measurement Axioms

Resumen Técnico: Evaluación de la Racionalidad de los Grandes Modelos de Lenguaje mediante Axiomas de Medición

Planteamiento del Problema
A medida que los Grandes Modelos de Lenguaje (LLM) se despliegan cada vez más como tomadores de decisiones en dominios de alto riesgo como el riesgo crediticio, la atención médica y las políticas públicas, los paradigios de evaluación actuales siguen siendo insuficientes. Los benchmarks existentes priorizan la precisión y la fundamentación fáctica, ignorando a menudo las propiedades estructurales necesarias para una toma de decisiones coherente e interpretable. En entornos realistas que carecen de una "verdad fundamental" clara, la precisión del benchmark no logra capturar si el proceso de decisión de un modelo es internamente consistente. Específicamente, existe una falta de marcos formales para determinar si las preferencias generadas por los LLM satisfacen las condiciones estructurales —como la transitividad— necesarias para una agencia racional y una representación de la utilidad. Sin transitividad, las preferencias no pueden ordenarse de manera coherente, lo que socava la interpretabilidad de los resultados del modelo y complica la alineación con los valores humanos.

Metodología
Los autores introducen un marco basado en la teoría de la medición para evaluar la toma de decisiones de la IA. El estudio define un sistema de decisión como racional si admite una función de utilidad, una condición necesaria por el axioma de la transitividad de la preferencia. Para abordar la naturaleza no determinista de los resultados de los LLM, los autores emplean la extracción directa de la log-probabilidad del primer token en lugar de depender de texto generado o análisis post-hoc. Esto permite la recuperación de probabilidades de elección deterministas para cualquier entrada dada.

El estudio evalúa 20 LLM distintos (incluyendo las series Llama de Meta, Qwen de Alibaba, MistralAI y Gemma de Google) a través de tres manipulaciones experimentales:

1. Temperatura de Generación: Probada en 10 configuraciones (0.2 a 2.0) para determinar si el aumento de la estocasticidad desestabiliza la estructura lógica de las preferencias.
2. Memoria Contextual: Comparó condiciones de "Sin Memoria" (ensayos independientes) contra condiciones de "Memoria Completa" (donde el modelo recibe un registro de sus 10 elecciones más recientes) para evaluar si el historial de contexto estabiliza o degrada la consistencia de las preferencias.
3. Formato de la Pregunta: Varió la presentación de la probabilidad (fracción vs. porcentaje) y el valor monetario (numérico, prefijo "$" o sufijo "dólares") a través de seis formatos para probar los efectos de encuadre en la coherencia estructural.

Los estímulos consistieron en cinco conjuntos de juegos adaptados de experimentos de transitividad humana (Tversky, 1969; Davis-Stober et al.), que comprenden 20 ensayos de elección por conjunto. Los autores evaluaron la adherencia a cuatro modelos probabilísticos de transitividad:

• Transitividad Estocástica Débil (WST): La condición menos restrictiva ($P_{AB} \ge 0.5 \land P_{BC} \ge 0.5 \implies P_{AC} \ge 0.5$).
• Transitividad de Certeza Media (MCT): Una condición más estricta ($P \ge 0.75$).
• Transitividad de Alta Certeza (HCT): Una condición de alta certeza ($P \ge 0.9$), diseñada para agentes que producen computaciones de probabilidad deterministas.
• Modelo de Mezcla de Preferencia Transitiva (MMTP): Permite la elección estocástica mediante el muestreo sobre preferencias deterministas transitivas.

Resultados Clave

• Adherencia a la Transitividad: La adherencia al modelo menos restrictivo (WST) fue estable a través de las temperaturas pero varió significamente según el tipo de modelo, con los modelos ajustados por instrucciones generalmente superando a los modelos base. Sin embargo, la adherencia a los modelos más estrictos (MCT y HCT) fue cercana a cero para casi todos los modelos, con solo algunas variantes de instrucción de 70B mostrando conteos no nulos que disminuyeron a medida que aumentaba la temperatura.
• Efectos de la Temperatura: Aunque la adherencia al MMTP aumentó ligeramente con temperaturas más altas, los autores argumentan que esto es probablemente un artefacto matemático de la compresión de las probabilidades hacia 0.5 (azar/adivinación aleatoria) en lugar de una mejora en la coherencia.
• Formato de la Pregunta: La adherencia fue modestamente más alta cuando las probabilidades se presentaron como porcentajes en lugar de fracciones. La representación del valor monetario tuvo un impacto insignificante.
• Memoria Contextual: Contrario a la hipótesis de que el contexto podría estabilizar las preferencias, proporcionar una memoria de las elecciones previas disminuyó la adherencia a WST y MMTP. Además, el orden específico de las elecciones previas introdujo una variabilidad significativa, con algunos modelos mostrando conteos de adherencia que abarcaban todo el rango posible (0 a 30) dependiendo de la secuencia.
• Patrones de Intransitividad: Cuando ocurrieron violaciones, estas no fueron aleatorias. Muchos modelos exhibieron una "intransitividad alineada con humanos", replicando los patrones de semiorden lexicográfico documentados en la toma de decisiones humana (Tversky, 1969). Sin embargo, la tasa de violación en los LLM fue sustancialmente mayor que en los respondedores humanos.

Contribuciones Clave

1. Marco Formal: El artículo proporciona un marco basado en la teoría de la medición para evaluar la racionalidad de la IA que va más allá de la precisión para evaluar la coherencia estructural.
2. Rigor Metodológico: Al utilizar la extracción directa de log-probabilidad, el estudio evita el ruido de la generación de texto estocástico para medir las probabilidades de elección intrínsecas, ofreciendo un estándar reproducible para evaluar la consistencia de las preferencias.
3. Benchmarking Sistemático: El estudio varía sistemáticamente los parámetros operativos (temperatura, memoria, formato) para demostrar cómo estos factores impactan la estructura lógica de las decisiones de los LLM, revelando que los modelos actuales carecen de representaciones de utilidad estables.
4. Análisis Comparativo: El trabajo ofrece una comparación estructural directa entre los LLM y la toma de decisiones humana, destacando que, si bien los LLM pueden imitar los patrones intransitivos humanos, lo hacen con una frecuencia significativamente mayor y menos estabilidad.

Significancia y Afirmaciones
Los autores afirman que los axiomas de medición ofrecen una base complementaria para evaluar los sistemas de IA, distinta y necesaria junto con la precisión de los benchmarks. El estudio demuestra que los LLM actuales fallan en satisfacer las condiciones estructurales requeridas para una toma de decisiones coherente, particularmente bajo criterios de racionalidad más estrictos (MCT, HCT) y cuando se exponen a la memoria contextual.

El artículo afirma modestamente que su marco evalúa la estructura de los resultados, no los procesos cognitivos internos de los modelos. Concluye que, aunque los LLM pueden parecer tomar decisiones estructuradas, su incapacidad para mantener preferencias consistentes ante diversas condiciones indica una ausencia de una representación de utilidad estable. Los autores sugieren que este marco puede extenderse a otros dominios (por ejemplo, triaje médico, compensaciones morales) y otros axiomas de elección (por ejemplo, monotonicidad), sirviendo como un paso fundacional hacia una evaluación orientada a la medición de la racionalidad de los agentes artificiales.