Benchmarking Large Language Model Rationality Using Measurement Axioms

Résumé Technique : Évaluation de la Rationalité des Grands Modèles de Langage par les Axiomes de Mesure

Énoncé du Problème
Alors que les Grands Modèles de Langue (LLM) sont de plus en plus déployés en tant que décideurs dans des domaines à enjeux élevés tels que le risque de crédit, la santé et les politiques publiques, les paradigmes d'évaluation actuels demeurent insuffisants. Les benchmarks existants privilégient l'exactitude et l'ancrage factuel, ignorant souvent les propriétés structurelles requises pour une prise de décision cohérente et interprétable. Dans des environaux réalistes dépourvus d'une « vérité terrain » claire, la précision des benchmarks ne parvient pas à capturer si le processus de décision d'un modèle est intrinsèquement cohérent. Plus précisément, il existe un manque de cadres formels pour déterminer si les préférences générées par les LLM satisfont les conditions structurelles — telles que la transitivité — nécessaires à une agence rationnelle et à une représentation de l'utilité. Sans transitivité, les préférences ne peuvent être ordonnées de manière cohérente, ce qui compromet l'interprétabilité des sorties des modèles et complique l'alignement avec les valeurs humaines.

Méthodologie
Les auteurs introduisent un cadre fondé sur la théorie de la mesure pour évaluer la prise de décision de l'IA. L'étude définit un système de décision comme rationnel s'il admet une fonction d'utilité, une condition rendue nécessaire par l'axiome de la transitivité des préférences. Pour traiter la nature non déterministe des sorties des LLM, les auteurs utilisent l'extraction directe de la log-probabilité du premier jet (first-token log-probability) plutôt que de s'appuyer sur le texte généré ou un analyse post-hoc. Cela permet de récupérer les probabilités de choix déterministes pour n'importe quelle entrée donnée.

L'étude évalue 20 LLM distincts (incluant les séries Llama de Meta, Qwen d'Alibaba, MistralAI et Gemma de Google) à travers trois manipulations expérimentales :

1. Température de Génération : Testée à travers 10 réglages (de 0,2 à 2,0) pour déterminer si l'augmentation de la stochasticité déstabilise la structure logique des préférences.
2. Mémoire Contextuelle : Compare les conditions « Sans Mémoire » (essais indépendants) aux conditions « Avec Mémoire » (où le modèle reçoit un historique de ses 10 choix les plus récents) pour évaluer si l'historique du contexte stabilise ou dégrade la cohérence des préférences.
3. Format de Question : Varie la présentation de la probabilité (fraction vs pourcentage) et de la valeur monétaire (numérique, préfixe "$" ou suffixe "dollars") à travers six formats pour tester les effets de cadrage sur la cohérence structurelle.

Les stimuli consistaient en cinq ensembles de jeux de hasard adaptés des expériences de transitivité humaine (Tversky, 1969 ; Davis-Stober et al.), comprenant 20 essais de choix par ensemble. Les auteurs ont évalué l'adhérence à quatre modèles probabilistes de transitivité :

• Transitivité Stochastique Faible (WST) : La condition la moins restrictive ($P_{AB} \ge 0,5 \land P_{BC} \ge 0,5 \implies P_{AC} \ge 0,5$).
• Transitivité de Certitude Moyenne (MCT) : Une condition plus stricte ($P \ge 0,75$).
• Transitivité de Haute Certitude (HCT) : Une condition de haute certitude ($P \ge 0,9$), conçue pour des agents produisant des calculs de probabilité déterministes.
• Modèle de Mélange de Préférence Transitive (MMTP) : Permet un choix stochastique via l'échantillonnage de préférences déterministes transitives.

Résultats Clés

• Adhérence à la Transitivité : L'adhérence au modèle le moins restrictif (WST) est restée stable à travers les températures mais a varié de manière significative selon le type de modèle, les modèles ajustés par instructions (instruction-tuned) étant généralement plus performants que les modèles de base. Cependant, l'adhérence aux modèles plus stricts (MCT et HCT) était proche de zéro pour presque tous les modèles, seuls quelques variants de 70B ajustés par instructions montrant des comptes non nuls qui déclinaient à mesure que la température augmentait.
• Effets de la Température : Bien que l'adhérence au MMTP ait légèrement augmenté avec des températures plus élevées, les auteurs soutiennent qu'il s'agit probablement d'un artefact mathématique dû à la compression des probabilités vers 0,5 (devinette aléatoire) plutôt que d'une amélioration de la cohérence.
• Format de Question : L'adhérence était légèrement plus élevée lorsque les probabilités étaient présentées en pourcentages plutôt qu'en fractions. La représentation de la valeur monétaire n'a eu qu'un impact négligeable.
• Mémoire Contextuelle : Contrairement à l'hypothèse selon laquelle le contexte pourrait stabiliser les préférences, fournir une mémoire des choix antérieurs a diminué l'adhérence à la WST et au MMTP. De plus, l'ordre spécifique des choix antérieurs a introduit une variabilité significative, certains modèles montrant des comptes d'adhérence couvrant toute la plage possible (0 à 30) selon la séquence.
• Motifs d'Intransitivité : Lorsque des violations se produisaient, elles n'étaient pas aléatoires. De nombreux modèles présentaient une « intransitivité alignée sur l'humain », reproduisant les motifs de semi-ordre lexicographique documentés dans la prise de décision humaine (Tversky, 1969). Cependant, le taux de violation chez les LLM était nettement plus élevé que chez les répondants humains.

Principales Contributions

1. Cadre Formel : Le papier fournit un cadre fondé sur la théorie de la mesure pour évaluer la rationalité de l'IA, allant au-delà de la simple exactitude pour évaluer la cohérence structurelle.
2. Rigueur Méthodologique : En utilisant l'extraction directe de la log-probabilité, l'étude contourne le bruit de la génération de texte stochastique pour mesurer les probabilités de choix intrinsèques, offrant un standard reproductible pour évaluer la cohérence des préférences.
3. Benchmarking Systématique : L'étude fait varier systématiquement les paramètres opérationnels (température, mémoire, format) pour démontrer comment ces facteurs impactent la structure logique des décisions des LLM, révélant que les modèles actuels manquent de représentations d'utilité stables.
4. Analyse Comparative : Ce travail offre une comparaison structurelle directe entre les LLM et la prise de décision humaine, soulignant que bien que les LLM puissent imiter les motifs intransitifs humains, ils le font avec une fréquence et une stabilité nettement plus élevées.

Signification et Revendications
Les auteurs affirment que les axiomes de mesure offrent une base complémentaire pour évaluer les systèmes d'IA, distincte et nécessaire aux côtés de l'exactitude des benchmarks. L'étude démontre que les LLM actuels ne satisfont pas les conditions structurelles requises pour une prise de décision cohérente, particulièrement sous des critères de rationalité plus stricts (MCT, HCT) et lorsqu'ils sont exposés à une mémoire contextuelle.

Le papier affirme modestement que son cadre évalue la structure des sorties, et non les processus cognitifs internes des modèles. Il conclut que bien que les LLM puissent sembler prendre des décisions structurées, leur incapacité à maintenir des préférences cohérentes à travers diverses conditions indique une absence de représentation d'utilité stable. Les auteurs suggèrent que ce cadre peut être étendu à d'autres domaines (ex: triage médical, compromis moraux) et à d'autres axiomes de choix (ex: monotonie), servant ainsi de étape fondamentale vers une évaluation de la rationalité des agents artificiels orientée vers la mesure.