Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Resumen Técnico: Sensibilidad a la Maximización de la Utilidad Esperada Subjetiva

Planteamiento del Problema
Evaluar la calidad de las decisiones tomadas bajo incertidumbre es notoriamente difícil cuando las etiquetas de los resultados son escasas, costosas o están confundidas por la suerte. La evaluación tradicional basada en "etiquetas" depende de una clave externa de elecciones correctas o resultados realizados. Sin embargo, tales claves suelen ser impracticables de construir (por ejemplo, en el triaje de seguros o dominios novedosos) y son fundamentalmente defectuosas como medidas de la calidad de la decisión, ya que un buen resultado no garantiza una buena decisión (los resultados dependen del azar, no solo del proceso de decisión).

Este artículo propone un marco de evaluación basado en la "consistencia". En lugar de preguntar si un agente eligió la opción "correcta", pregunta si las elecciones del agente son coherentes con un estándar de racionalidad establecido: la Maximización de la Utilidad Esperada Subjetiva (SEU, por sus siglas en inglés). El objetivo es medir el grado en que las elecciones de un agente siguen el ranking de la SEU, separando esta "sensibilidad" del contenido específico de sus creencias y utilidades, y de los resultados que llegan a realizar.

Metodología
El artículo desarrolla un flujo de trabajo metodológico centrado en un modelo de elección softmax aplicado a alternativas con valor de SEU.

1. El Modelo: El vehículo central es una regla softmax de Luce–McFaden donde la probabilidad de elegir la alternativa $r$ es proporcional a $\exp(\alpha V(r))$. Aquí, $V(r)$ es la utilidad esperada de la alternativa, y $\alpha \ge 0$ es un escalar parámetro de sensibilidad.

   • $\alpha = 0$: Elección aleatoria uniforme (insensible a la utilidad).
   • $\alpha \to \infty$: Maximización de la SEU determinista (perfectamente sensible).
   • $\alpha$ intermedio: Una medida graduada de qué tan de cerca las elecciones siguen la utilidad esperada.

2. Parametrización:

   • Creencias ($\beta$): Las probabilidades subjetivas se generan mediante un mapeo lineal-softmax a partir de vectores de características.
   • Utilidades ($\delta$): Las utilidades se construyen a partir de incrementos ordenados con puntos finales fijos ($0$y$1$) para resolver la indeterminación afín.
   • Sensibilidad ($\alpha$): La principal cantidad de interés, que representa la disposición del agente a actuar según sus compromisos.

3. Dos Modelos:

   • Modelo $m_0$ (Solo elecciones bajo incertidumbre): Los agentes eligen entre alternativas con probabilidades subjetivas.
   • Modelo $m_1$ (Extendido con elecciones de riesgo): Los agentes también eligen entre alternativas con probabilidades objetivas (loterías). Esto permite una identificación "libre de riesgo" de las utilidades ($\delta$), ya que las loterías objetivas no dependen del parámetro de creencia $\beta$.

4. Validación Computacional: Los autores implementan estos modelos en Stan y los validan utilizando un flujo de trabajo bayesiano riguroso:

   • Chequeos de Prior Predictivo: Asegurar que los priors permitan un rango sensible de comportamientos.
   • Recuperación de Parámetros: Simular datos de parámetros conocidos para probar si el modelo puede recuperarlos.
   • Calibración Basada en Simulación (SBC): Verificar que las distribuciones posteriores estén calibradas (los rangos de los parámetros reales son uniformes).

Contribuciones Clave y Hallazgos

1. Brecha entre Identificabilidad y Estimabilidad
El artículo proporciona un análisis de identificabilidad formal que revela una distincción crítica entre la identificabilidad teórica y la estimabilidad práctica en tamaños de muestra realistas.

• Para $\alpha$ (Sensibilidad): $\alpha$ es identificable a partir del vector de utilidad esperada $\eta$ (dado que no tiene valores constantes). En la práctica, $\alpha$ se recupera con alta precisión y bajo sesgo, incluso cuando otros parámetros están mal identificados.
• Para $\delta$ (Utilidades): En el modelo de solo incertidumbre ($m_0$), las creencias ($\beta$) y las utilidades ($\delta$) están solo débilmente informadas por los datos; intercambian información entre sí, lo que resulta en posteriores correlacionadas y amplias.
• Limitación del Modelo Extendido ($m_1$): Aunque añadir elecciones de riesgo identifica teóricamente $\delta$ (al romper el acoplamiento $\beta$-$\delta$), el artículo encuentra que, en tamaños de muestra realistas, esta identificabilidad teórica produce una ganancia práctica insignificante. La reducción en la amplitud del intervalo de confianza para $\delta$ es inferior al 1%, y el RMSE permanece sin cambios.
• Precisión de $\alpha$: Contrario a la intuición de que los "mejores" tipos de datos (riesgo vs. incertidumbre) mejoran la precisión, el estudio encuentra que la precisión de muestra finita para $\alpha$ está impulsada por la cantidad de datos, no por el tipo de elección. Duplicar el número de elecciones bajo incertidumbre agudiza significamente las estimaciones de $\alpha$, mientras que sustituir un número igual de elecciones de riesgo no proporciona ninguna ganancia de precisión detectable.

2. La Demarcación de la SBC Marginal
Los autores introducen un diagnóstico crucial: los resultados de SBC marginales no implican una calibración conjunta de la posterior.

• Los chequeos estándar de SBC (uniformidad de rango) pasaron para todos los parámetros ($\alpha, \beta, \delta$) en ambos modelos.
• Sin embargo, la distribución conjunta para $(\beta, \delta)$ permaneció débilmente contraída y altamente correlacionada (débilmente informada).
• Conclusión: Un modelo puede estar perfectamente calibrado marginalmente (cada parámetro parece correcto de forma aislada) mientras que la distribución conjunta permanece sin resolver. La SBC marginal es ciega a la débil informatividad conjunta.

3. Aplicación Ilustrativa a LLMs
El marco se aplicó de extremo a extremo a los datos de toma de decisiones de GPT-4o y Claude 3.5 Sonnet en dos tareas: triaje de reclamaciones de seguros y juegos de urnas tipo Ellsberg.

• Flujo de Trabajo: El flujo de trabajo recuperó con éxito $\alpha$ para las elecciones reales de los LLM, con diagnósticos que confirmaron la adecuación del modelo (excepto por la débil inferencia esperada sobre los parámetros de molestia $\beta, \delta$).
• Resultos:
  • GPT-4o: Mostró un declive monótono estructurado en la sensibilidad ($\alpha$) a medida que aumentaba la temperatura de muestreo en ambas tareas. El efecto fue estadísticamente robusto ($P(\text{pendiente} < 0) \approx 0.99$).
  • Claude 3.5: No mostró un patrón monótono en ninguna de las dos tareas.
  • Advertencia Crucial: El artículo establece explícitamente que la falta de un patrón para Claude es un nulo inconcluso, no una ausencia probada de efecto. La resolución del estudio (efecto mínimo detectable) fue insuficiente para descartar un efecto del tamaño de GPT-4o para Claude. El instrumento "declina apoyar" un efecto en lugar de certificar su ausencia.
• Interpretación: Los resultados apoyan una afirmación comparativa dentro del diseño (GPT-4o es más sensible a la SEU que Claude bajo estas condiciones específicas), pero no apoyan afirmaciones absolutas sobre qué modelo es "más racional" en un sentido descontextualizado.

Significado y Alcance
El artículo se posiciona como una contribcción metodológica más que como un avance sustantivo en la ciencia del comportamiento de los LLM o la teoría de la decisión.

• Conceptual: Proporciona una explicitación principista de la "sensibilidad a la maximación de la SEU" como una disposición graduada y medible, distinta de las creencias, las utilidades y los resultados.
• Metodológica: Demuestra que el análisis de identificabilidad es necesario pero insuficiente para diseñar experimentos; la precisión de muestra finita depende de la cantidad de datos y de las especificidades del diseño, no solo de la identificabilidad teórica. También aclara las limitaciones de la SBC marginal para diagnosticar la geometría de la posterior conjunta.
• Limitaciones: El artículo evita explícitamente adjudicar cuestiones normativas (por ejemplo, si la SEU es el estándar correcto) o probar la aversión a la ambigüedad (el modelo absorbe la ambigüedad en las creencias o en el ruido). No pretende medir la "racionalidad" en un sentido absoluto, sino la conformidad con un estándar establecido dentro de un diseño específico.

En resumen, el artículo ofrece un marco transparente y reutilizable para evaluar a los tomadores de decisiones frente a un estándar de racionalidad, validando rigurosamente el instrumento de medición mientras reporta explícitamente sus cautelas de muestra finita y límites de resolución.