Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

Résumé Technique : Sensibilité à la maximisation de l'utilité espérée subjective

Énoncé du problème
Évaluer la qualité des décisions prises en situation d'incertitude est notoirement difficile lorsque les étiquettes de résultats sont rares, coûteuses ou confondues par la chance. L'évaluation traditionnelle basée sur les « étiquettes » repose sur une clé externe de choix corrects ou de résultats réalisés. Cependant, ces clés sont souvent impraticables à construire (par exemple, dans le tri d'assurance ou dans des domaines nouveaux) et sont fondamentalement erronées comme mesures de la qualité de la décision car un bon résultat ne garantit pas une bonne décision (les résultats dépendent du hasard, et non seulement du processus de décision).

Ce document propose un cadre d'évaluation fondé sur la « cohérence ». Au lieu de demander si un agent a choisi l'option « correcte », il demande si les choix de l'agent sont cohérents avec une norme de rationalité énoncée : la maximisation de l'utilité espérée subjective (SEU). L'objectif est de mesurer le degré auquel les choix d'un agent suivent le classement SEU, en séparant cette « sensibilité » du contenu spécifique des croyances et des utilités de l'agent, ainsi que des résultats qu'il réalise effectivement.

Méthodologie
Le document développe un pipeline méthodologique centré sur un modèle de choix softmax appliqué à des alternatives à valeur SEU.

1. Le Modèle : Le vecteur central est une règle softmax de Luce–McFadden où la probabilité de choisir l'alternative $r$ est proportionnelle à $\exp(\alpha V(r))$. Ici, $V(r)$ est l'utilité espérée de l'alternative, et $\alpha \ge 0$ est un scalaire paramètre de sensibilité.

   • $\alpha = 0$ : Choix aléatoire uniforme (insensible à l'utilité).
   • $\alpha \to \infty$ : Maximisation déterministe de la SEU (parfaitement sensible).
   • $\alpha$ intermédiaire : Une mesure graduée de la proximité avec laquelle les choix suivent l'utilité espérée.

2. Paramétrage :

   • Croyances ($\beta$) : Les probabilités subjectives sont générées via une application linéaire-softmax à partir de vecteurs de caractéristiques.
   • Utilités ($\delta$) : Les utilités sont construites à partir d'incréments ordonnés avec des points de terminaison fixes ($0$ et $1$) pour résoudre l'indétermination affine.
   • Sensibilité ($\alpha$) : La principale quantité d'intérêt, représentant la disposition d'un agent à agir selon ses engagements.

3. Deux Modèles :

   • Modèle $m_0$ (Choix incertains uniquement) : Les agents choisissent parmi des alternatives avec des probabilités subjectives.
   • Modèle $m_1$ (Étendu avec des choix risqués) : Les agents choisissent également parmi des alternatives avec des probabilités objectives (loteries). Cela permet une identification « sans risque » des utilités ($\delta$) puisque les loteries objectives ne dépendent pas du paramètre de croyance $\beta$.

4. Validation Computationnelle : Les auteurs implémentent ces modèles dans Stan et valident le tout via un flux de travail bayésien rigoureux :

   • Vérifications prédictives a priori : S'assurer que les priors permettent une gamme de comportements sensée.
   • Récupération de paramètres : Simuler des données à partir de paramètres connus pour tester si le modèle peut les récupérer.
   • Calibration par simulation (SBC) : Vérifier que les distributions a posteriori sont calibrées (les rangs des vrais paramètres sont uniformes).

Contributions clés et conclusions

1. Écart entre identifiabilité et estimabilité
Le document fournit une analyse formelle de l'identifiabilité qui révèle une distinction critique entre l'identifiabilité théorique et l'estimabilité pratique à des tailles d'échantillon réalistes.

• Pour $\alpha$ (Sensibilité) : $\alpha$ est identifiable à partir du vecteur d'utilité espérée $\eta$ (étant donné des valeurs non constantes). En pratique, $\alpha$ est récupéré avec une grande précision et un faible biais, même lorsque d'autres paramètres sont mal identifiés.
• Pour $\delta$ (Utilités) : Dans le modèle d'incertitude seule ($m_0$), les croyances ($\beta$) et les utilités ($\delta$) sont seulement faiblement informées par les données ; elles s'échangent l'une contre l'autre, entraînant des a posteriori larges et corrélés.
• La limitation du modèle étendu ($m_1$) : Bien que l'ajout de choix risqués identifie théoriquement $\delta$ (en brisant le couplage $\beta$-$\delta$), le document constate qu'à des tailles d'échantillon réalistes, cette identifiabilité théorique produit un gain pratique négligeable. La réduction de la largeur de l'intervalle de confiance pour $\delta$ est inférieure à 1 %, et l'RMSE reste inchangé.
• Pour la précision de $\alpha$ : Contrairement à l'intuition selon laquelle de « meilleurs » types de données (risqués vs incertains) améliorent la précision, l'étude montre que la précision à échantillon fini pour $\alpha$ est pilotée par la quantité de données, et non par le type de choix. Doubler le nombre de choix incertains affine considérablement les estimations de $\alpha$, tandis que remplacer un nombre égal de choix par des choix risqués n'apporte aucun gain de précision détectable.

2. La démarcation de la SBC marginale
Les auteurs introduisent un aperçu diagnostique crucial : les passages de la SBC marginale n'impliquent pas une calibration jointe de l'a posteriori.

• Les vérifications SBC standards (uniformité des rangs) ont réussi pour tous les paramètres ($\alpha, \beta, \delta$) dans les deux modèles.
• Cependant, l'a posteriori jointe pour $(\beta, \delta)$ est restée faiblement contractée et hautement corrélée (faiblement informée).
• Conclusion : Un modèle peut être parfaitement calibré marginalement (chaque paramètre semble correct de manière isolée) alors que la distribution jointe reste non résolue. La SBC marginale est aveugle à la faible informativité conjointe.

3. Application illustrative aux LLM
Le cadre a été appliqué de bout en bout à des données de prise de décision de GPT-4o et Claude 3.5 Sonnet à travers deux tâches : le triage de réclamations d'assurance et les jeux d'urnes de type Ellsberg.

• Flux de travail : Le pipeline a réussi à récupérer $\alpha$ pour les choix réels des LLM, avec des diagnostics confirmant l'adéquation du modèle (excepté pour l'inférence faible attendue sur les paramètres de nuisance $\beta, \delta$).
• Résultats :
  • GPT-4o : A montré une baisse monotone structurée de la sensibilité ($\alpha$) à mesure que la température d'échantillonnage augmentait à travers les deux tâches. L'effet est statistiquement robuste ($P(\text{pente} < 0) \approx 0,99$).
  • Claude 3.5 : N'a pas montré de motif monotone dans aucune des deux tâches.
  • Mise en garde cruciale : Le document stipule explicitement que l'absence de motif pour Claude est un nul inconclusive, et non une preuve d'absence d'effet. La résolution de l'étude (effet minimal détectable) était insuffisante pour exclure un effet de la taille de GPT-4o pour Claude. L'instrument « décline de soutenir » un effet plutôt que de certifier son absence.
  • Interprétation : Les résultats soutiennent une affirmation comparative intra-design (GPT-4o est plus sensible à la SEU que Claude sous ces conditions spécifiques), mais ne soutiennent pas d'affirmations absolues sur quel modèle est « plus rationnel » dans un contexte dénué de contexte.

Signification et portée
Le document se positionne comme une contribution méthodologique plutôt que comme une percée substantielle en science comportementale des LLM ou en théorie de la décision.

• Conceptuelle : Il fournit une explication fondée sur l'idée de la « sensibilité à la maximisation de la SEU » comme une disposition graduée et mesurable, distincte des croyances, des utilités et des résultats.
• Méthodologique : Il démontre que l'analyse d'identifiabilité est nécessaire mais insuffisante pour concevoir des expériences ; la précision à échantillon fini dépend de la quantité de données et des spécificités du design, et non seulement de l'identification théorique. Il clarifie également les limites de la SBC marginale pour diagnostiquer la géométrie de l'a posteriori jointe.
• Limites : Le document évite explicitement de trancher les questions normatives (par exemple, si la SEU est la norme correcte) ou de tester l'aversion à l'ambiguïté (le modèle absorbe l'ambiguïté dans les croyances ou le bruit). Il ne prétend pas mesurer la « rationalité » au sens absolif, seulement la conformité à une norme énoncée dans un design spécifique.

En résumé, le document offre un cadre transparent et réutilisable pour évaluer les décideurs par rapport à une norme de rationalité, validant rigoureusement l'instrument de mesure tout en rapportant explicitement ses limites de résolution et ses caveats liés à l'échantillon fini.