💰 quantitative finance

Measuring Behavior Portability in Large Language Models

Cet article introduit un cadre formel pour mesurer la portabilité comportementale des grands modèles de langage et démontre, à travers des expériences contrôlées, que leurs comportements décisionnels, bien qu'équivalents sur le plan structurel, ne parviennent pas à se transférer de manière fiable entre différents environnements de décision en raison d'une sensibilité significative à la présentation de surface.

Auteurs originaux : Tianjia Dong, Nadav Kunievsky, James A. Evans

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianjia Dong, Nadav Kunievsky, James A. Evans

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un décideur très intelligent et hautement qualifié (une IA) qui agit comme un chef professionnel. Vous voulez savoir si ce chef peut cuisiner le même délicieux repas, qu'on lui demande de le cuisiner dans une cuisine française luxueuse, un bistro italien rustique ou un diner américain moderne.

L'article « Measuring Behavior Portability in Large Language Models » pose une question simple mais cruciale : Si une IA apprend à prendre une décision dans un contexte donné, peut-elle prendre exactement la même décision lorsqu'on lui décrit le problème différemment, même si les mathématiques et les récompenses sont identiques ?

Les auteurs appellent cela la « Portabilité Comportementale ».

Voici une décomposition de leurs conclusions en utilisant des analogies simples :

1. Le problème central : Le pière du « Cadrage »

Imaginez que vous jouez à un jeu où vous devez partager une pizza.

Scénario A : On vous dit : « Tu as une pizza. Donne-en un peu à ton ami. »
Scénario B : On vous dit : « Tu as une pizza. Ton ami a faim et mérite une part. »

Mathématiquement, les règles sont identiques. Le « gain » (la quantité de pizza que vous obtenez) est le même. Mais les mots utilisés pour décrire la situation sont différents.

Les chercheurs ont testé si les modèles de langage (LLM) se comportent de manière cohérente à travers ces différents énoncés. Ils ont découvert que les modèles ne sont pas portables. Tout comme un chef qui cuisine un steak parfait dans une cuisine française mais le brûle dans une cuisine italienne, l'IA change son comportement en fonction de la « saveur » du texte, même quand les « ingrédients » (les mathématiques) sont les mêmes.

2. L'expérience : Sept jeux économiques

Pour tester cela, les chercheurs n'ont pas simplement posé des questions aléatoires à l'IA. Ils ont soumis l'IA à sept jeux économiques classiques (comme le « Jeu du Dictateur », le « Jeu de la Confiance » et le « Choix de Loterie »). Ce sont comme des tests de conduite standardisés pour la prise de décision.

La configuration : Ils ont créé des dizaines de versions différentes de chaque jeu. Dans une version, le jeu pourrait porter sur le partage d'argent avec un « collègue ». Dans une autre, il pourrait s'agir de partager un « bonus » avec un « partenaire ».
Le twist : Les chiffres, les règles et les récompenses potentielles étaient exactement les mêmes. Seule l'histoire entourant les chiffres changeait.
Le test : Ils ont appris à l'IA comment jouer au jeu en utilisant les histoires de la « cuisine française ». Ensuite, ils ont demandé à l'IA de jouer au même jeu en utilisant les histoires du « bistro italien ».

3. Les résultats : L'IA est confondue par l'histoire

Les résultats ont été surprenants et préoccupants pour quiconque compte sur l'IA pour des décisions cohérentes :

L'IA est fragile : Lorsque l'histoire changeait, les décisions de l'IA changeaient de manière significative. Un modèle qui a appris à être « équitable » dans une histoire pouvait devenir « égoïste » dans une histoire mathématiquement identique, simplement parce que les mots étaient différents.
Le score de « Portabilité » : Les chercheurs ont mesuré à quel point le comportement de l'IA variait. Ils ont constaté que pour les jeux sociaux (comme le partage ou la confiance), le comportement de l'IA était très instable. C'est comme une boussole qui tourne follement selon la direction du vent, alors que l'Étoile Polaire n'a pas bougé.
L'exception (les loteries) : L'IA était beaucoup plus stable lorsqu'il s'agissait de tâches purement numériques et de risques (comme choisir entre deux loteries). Il semble que l'IA gère mieux les mathématiques que les histoires sociales.

4. Est-ce que « réfléchir à voix haute » aide ? (Chain-of-Thought)

Les chercheurs ont essayé une astuce courante : demander à l'IA de « réfléchir étape par étape » avant de répondre (appelé « Chaîne de Pensée » ou Chain-of-Thought, CoT).

L'espoir : Peut-être que si l'IA explique son raisonnement, elle ignorera l'histoire distrayante pour se concentrer sur les mathématiques.
La réalité : Cela a aidé parfois, mais pas toujours. Dans certains jeux, réfléchir à voix haute rendait l'IA plus cohérente. Dans d'autres (comme le jeu de l'Ultimatum), cela a en fait rendu l'IA plus sensible à la formulation spécifique de l'histoire. C'est comme un étudiant qui, lorsqu'on lui demande d'expliquer son travail, réalise parfois son erreur, mais qui, d'autres fois, se laisse distraire par sa propre explication et en crée une nouvelle.

5. Les modèles de « Raisonnement »

Ils ont également testé un modèle plus récent et plus « intelligent » (DeepSeek-R1) conçu spécifiquement pour le raisonnement complexe.

Le résultat : Ce modèle était meilleur pour ignorer l'histoire et se concentrer sur les mathématiques. Il était plus « portable ». Cependant, il n'était pas parfait. Même le modèle le plus intelligent montrait une certaine instabilité lorsque l'histoire changeait.

La conclusion

L'article conclut que vous ne pouvez pas supposer que le comportement d'une IA restera le même simplement parce que les mathématiques sont les mêmes.

Si vous entraînez une IA à prendre des décisions équitables dans un ensemble spécifique d'amorces (prompts), vous ne pouvez pas automatiquement compter sur elle pour prendre les mêmes décisions équitables lorsque vous décrivez le problème d'une manière légèrement différente. L'IA est actuellement trop sensible à la « saveur » du texte.

En bref : L'IA est comme un voyageur qui connaît parfaitement la carte, mais qui se perd si vous décrivez la destination en utilisant une langue différente. Jusqu'à ce que nous réglions ce problème, nous ne pouvons pas pleinement faire confiance à ces modèles pour prendre des décisions cohérentes dans le monde réel, où les problèmes sont rarement décrits exactement de la même manière deux fois.

Résumé technique : Mesurer la portabilité comportementale des grands modèles de langage

Énoncé du problème

Les grands modèles de langage (LLM) sont de plus en plus déployés comme des décideurs autonomes, associant des entrées à des distributions d'actions. Un défi critique de leur évaluation est la portabilité comportementale : la mesure dans laquelle une cartographie comportementale apprise dans un environnement de décision se transfère à un autre environnement qui préserve la même structure d'incitation sous-jacente (caractéristiques pertinentes pour le gain/payoff) mais diffère dans sa présentation de surface (cadrage non pertinent pour le gain).

Les pratiques d'évaluation actuelles reposent sur des suites de prompts finies, supposant implicitement qu'une fois la tâche fixée, la distribution d'actions induite par le modèle reste stable sous des recadrages de variables non pertinentes pour le gain. Cependant, cette supposition est non testée et potentiellement fragile. Si le comportement d'un LLM dépend de caractéristiques non pertinentes pour le gain (ex. : ton narratif, étiquettes spécifiques ou cadrage), les évaluations finies ne peuvent pas certifier de manière fiable la performance dans des scénarios de déploiement ouverts et réels où le « contrat » entre le principal et l'agent est incomplet. Le papier postule que si un modèle est véritablement aligné avec les objectifs d'un évaluateur, son comportement devrait dépendre uniquement des variables pertinentes pour le gain ( $x$ ) et être invariant aux variables non pertinentes pour le gain ( $z$ ).

Méthodologie

Cadre conceptuel

Les auteurs formalisent un environnement de décision comme $e = (x, z)$ , où $x$ représente les caractéristiques pertinentes pour le gain et $z$ les caractéristiques non pertinentes pour le gain.

Alignement : Une politique $\pi$ est alignée si elle sélectionne la distribution d'actions maximisant l'utilité pour un $x$ donné, quel que soit $z$ .
Portabilité : Une politique est $T$ -portable si un résumé comportemental $T$ (ex. : la distribution d'actions) dépend uniquement de $x$ .
Implication théorique : Sous une condition d'unicité de l'optimum de l'évaluateur, l'alignement implique la portabilité. Par conséquent, un modèle comportemental ajusté sur des environnements sources utilisant uniquement $x$ devrait prédire le comportement dans un environnement cible donné (avec la même distribution de $x$ ) aussi précisément qu'un modèle ajusté directement sur les données de la cible.

Protocole empirique

Les auteurs introduisent un protocole « entraînement sur environnements, test sur un autre » pour mesurer la portabilité :

Sélection des tâches : Sept problèmes de décision économique canoniques sont utilisés : Dictateur, Ultimatum, Confiance, Biens Publics, Concours de Beauté, Choix de Loterie et Jeux à Forme Normale. Ces tâches offrent des structures de gains transparentes et de faible dimension.
Génération d'environnements : Pour chaque tâche, 40 environnements textuels distincts ( $z$ ) sont générés. Ils varient en termes de cadrage narratif, de métaphores et de style, tout en gardant les paramètres de gain ( $x$ ) et les espaces d'action identiques.
Collecte de données : Les LLM sont interrogés à travers ces environnements avec des paramètres de gain variables. Les actions sont extraites et analysées.
Ajustement du modèle :
- Entraîné sur la source : Un modèle comportemental interprétable (régression par moindres carrés ordinaires) est ajusté sur les données agrégées d'un sous-ensemble d'environnements sources, reliant $x$ aux actions prédites.
- Entraîné sur la cible : La même architecture de modèle est ajustée directement sur les données d'un environnement cible tenu à l'écart.
Évaluation : Les deux modèles sont évalués sur l'ensemble de test de l'environnement cible tenu à l'écart.
6.Métrique : La métrique principale est la distance de variation totale (TV) entre la distribution jointe de (action prédite, action réalisée) induite par le modèle entraîné sur la source versus le modèle entraîné sur la cible dans l'environnement cible.
- Cette métrique est agnostique à la perte : une distance TV de $\epsilon$ implique que pour n'importe quel critère d'évaluation borné défini sur la paire prédiction-action, la différence attendue de performance entre les deux modèles est au plus $\epsilon$ .

Modèles et conditions

L'étude évalue plusieurs modèles : GPT-4.1-nano, Gemma-3-12B, Llama-3.1-8B, Llama-3.1-70B et DeepSeek-R1. Les expériences sont menées sous deux régimes de prompting :

Non-CoT : Génération de réponse directe.
Chaîne de pensée (CoT) : Raisonnement étape par étape suivi d'une réponse.

Résultats clés

1. Pertes de portabilité substantielles

L'étude constate que la portabilité comportementale est imparfaite pour tous les modèles testés.

Magnitude : La distance TV moyenne à travers les modèles et les jeux est de 0,349, indiquant une divergence significative. Cela implique qu'une cartographie comportementale apprise dans une formulation donnée échoue souvent à prédire le comportement dans une alternative équivalente en termes de gain.
Variance des tâches : La portabilité varie selon le type de tâche.
- Haute portabilité : Choix de Loterie (TV $\approx$ 0,052), où les décisions sont explicitement quantitatives.
- Basse portabilité : Tâches sociales et stratégiques comme le Dictateur (TV $\approx$ 0,525), la Confiance (TV $\approx$ 0,525) et l'Ultimatum (TV $\approx$ 0,480). Ces tâches, impliquant l'équité, la coopération ou la réciprocité, montrent la plus grande sensibilité au cadrage.

2. Impact de la Chaîne de Pensée (CoT)

Le prompting CoT améliore la portabilité en moyenne, mais ne le fait pas de manière monotone ou uniforme.

Amélioration moyenne : Le CoT réduit la distance TV moyenne de 0,047 (12,6 %) par rapport au Non-CoT.
Hétérogénéité : L'effet du CoT dépend de l'interaction entre le modèle, la tâche spécifique et le cadrage.
- Dans les jeux à Forme Normale, le CoT réduit drastiquement la perte de portabilité (ex. : -79,7 % pour GPT-4.1-nano), probablement en ancrant le raisonnement sur la matrice de gain explicite.
- Dans les jeux d'Ultimatum et de Dictateur, le CoT augmente parfois la perte de portabilité (ex. : +21,3 % pour GPT-4.1-nano dans l'Ultimatum), suggérant que les traces de raisonnement peuvent amplifier la sensibilité aux récits d'équité ou à des formulations spécifiques plutôt que de s'en abstraire.
Diagnostic : L'ajout d'indicateurs d'environnement aux modèles prédictifs augmente le $R^2$ davantage sous Non-CoT que sous CoT, confirmant que le CoT réduit mais n'élimine pas la dépendance résiduelle au cadrage non pertinent pour le gain.

3. Modèles de raisonnement

DeepSeek-R1, un modèle spécialisé pour le raisonnement, démontre une portabilité supérieure dans les tâches où il a été testé (Choix de Loterie, Concours de Beauté, Forme Normale).

Il se situe systématiquement près de la meilleure frontière de portabilité observée.
Mécanisme : DeepSeek-R1 présente un haut degré de « fondement numérique », mentionnant les paramètres pertinents pour le gain dans près de 100 % des réponses. Ses motifs de raisonnement sont organisés autour de structures de tâches formelles (ex. : valeur attendue, équilibre de Nash) plutôt que de récits spécifiques au cadre.
Support de Nash : Dans les jeux à Forme Normale, DeepSeek-R1 sélectionne des actions supportées par un équilibre de Nash dans 99,5 % des cas, surpassant significativement les autres modèles.

Signification et affirmations

Le papier affirme fournir un cadre formel et une preuve empirique que les caractérisations comportementales des LLM obtenues dans un environnement de décision ne peuvent pas être supposées se transférer de manière fiable à des alternatives structurellement équivalentes.

Implications pour l'évaluation : Les résultats remettent en question la pratique standard consistant à extrapoler la performance de suites de prompts finies à des variantes textuelles inédites. Si la portabilité est faible, le comportement d'un modèle dans une suite de tests peut ne pas refléter son comportement en déploiement, même si les incitations sous-jacentes sont identiques.
Alignement : Les conclusions suggèrent que les LLM actuels ne sont pas pleinement « alignés » au sens où ils ne sont pas invariants aux caractéristiques non pertinentes pour le gain. Leur processus de décision est sensible à la forme de surface du « contrat » du prompt.
Robustesse : Bien que le CoT et les modèles spécialisés dans le raisonnement (comme DeepSeek-R1) puissent améliorer la portabilité en récupérant la structure sous-jacente pertinente pour le gain, ils ne la garantissent pas. La sensibilité au cadrage demeure une propriété fondamentale des modèles testés.

L'étude conclut que la portabilité est un objet empirique à mesurer, et non une propriété qui peut être certifiée par une suite finie, et que parvenir à une véritable portabilité comportementale dans les LLM reste un défi important.