💻 computer science

Alignment Makes Language Models Normative, Not Descriptive

Cette étude démontre que l'alignement des modèles de langage crée un biais normatif qui améliore leur capacité à prédire les comportements humains dans des contextes théoriques ou isolés, mais réduit considérablement leur précision par rapport aux modèles de base lorsqu'il s'agit de anticiper les décisions stratégiques complexes et dynamiques issues d'interactions réelles.

Auteurs originaux : Eilam Shapira, Moshe Tennenholtz, Roi Reichart

Publié 2026-03-19

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Eilam Shapira, Moshe Tennenholtz, Roi Reichart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Dilemme des Jumeaux IA : Le "Théoricien" vs. Le "Réaliste"

Imaginez que vous avez deux jumeaux, Base et Aligné, qui sont tous deux des experts en langage. Ils ont grandi ensemble en lisant des millions de livres, de journaux et de conversations sur Internet. C'est là que commence leur histoire.

1. L'Entraînement : Le "Filtre Social"

Le Jumeau Base est comme un adolescent curieux et franc. Il a lu tout ce qui existe : les blagues, les mensonges, les stratégies de négociation, les trahisons, les colères et les compromis. Il voit le monde tel qu'il est : parfois moche, parfois cruel, mais toujours réel.
Le Jumeau Aligné, lui, a subi un "entraînement spécial" (ce qu'on appelle l'alignement ou RLHF). Des humains lui ont dit : "Non, ne dis pas ça, c'est méchant. Dis plutôt ça, c'est gentil et poli." On lui a appris à être un modèle de bonne conduite. Il a appris à dire ce que les gens aiment entendre, pas nécessairement ce qu'ils font réellement.

2. Le Grand Test : Le Jeu de la Négociation

Les chercheurs ont mis ces deux jumeaux face à des situations de la vie réelle où les humains doivent négocier, mentir ou se venger (comme dans des jeux de stratégie complexes).

Le Scénario : Imaginez un jeu de négociation où deux personnes doivent se partager de l'argent. L'une peut tricher, l'autre peut se mettre en colère si elle est trahie, et ils doivent apprendre à se méfier ou à coopérer au fil du temps.
Le Résultat :
- Le Jumeau Aligné a échoué lamentablement pour prédire ce que les humains allaient faire. Pourquoi ? Parce qu'il pensait que tout le monde serait gentil, juste et rationnel. Il prédisait des accords parfaits, alors que les humains, eux, se disputaient, bluffaient et se vengeaient.
- Le Jumeau Base, lui, a été bluffant. Il a prédit les choix humains avec une précision incroyable (près de 10 fois mieux que son jumeau). Pourquoi ? Parce qu'il connaissait la nature humaine : il savait que les gens peuvent être égoïstes, rancuniers ou malhonnêtes.

L'analogie : C'est comme si vous essayiez de prédire le comportement d'un joueur de football.

Le Jumeau Aligné est un coach qui pense que tous les joueurs jouent selon les règles parfaites du livre. Il ne comprend pas pourquoi un joueur commet une faute de main ou triche pour gagner.
Le Jumeau Base est un supporter qui a vu des milliers de matchs. Il sait que les joueurs trichent, qu'ils sont fatigués, qu'ils se disputent avec l'arbitre. Il prédit mieux le chaos réel du terrain.

3. L'Exception : Quand la "Politesse" Gagne

Il y a une petite astuce dans l'histoire. Si vous demandez aux jumeaux de prédire un choix simple, sans histoire, sans ennemi (comme choisir entre deux paris financiers ou résoudre un problème de logique rapide), le Jumeau Aligné gagne.

Pourquoi ? Parce que dans ces cas simples, les gens agissent souvent de manière logique et "correcte". Le Jumeau Aligné, qui a été entraîné à être "correct", correspond parfaitement à cette situation. C'est comme si le Jumeau Aligné était excellent pour résoudre des énigmes de mathématiques, mais nul pour comprendre les drames de la vie réelle.

4. La Leçon Importante

Cette étude nous apprend une chose fondamentale sur l'Intelligence Artificielle :

Si vous voulez utiliser l'IA pour vous aider (répondre à vos questions, écrire des emails polis, vous conseiller), l'IA "Alignée" est parfaite. Elle est sûre, utile et respectueuse.
Mais si vous voulez utiliser l'IA pour comprendre les humains (prédire comment les gens vont voter, comment ils vont se battre dans une guerre commerciale, ou comment ils vont réagir dans un conflit), l'IA "Alignée" est dangereuse. Elle vous donnera une image trop belle, trop idéale du monde. Elle vous montrera des humains "normatifs" (tels qu'ils devraient être) au lieu de "descriptifs" (tels qu'ils sont vraiment).

En résumé :
L'alignement transforme l'IA en un moraliste qui vous dit comment le monde devrait fonctionner. Mais pour comprendre la réalité, avec ses trahisons, ses rancunes et ses stratégies complexes, vous avez besoin de l'IA brute, qui a vu la réalité sans filtre.

C'est un choix crucial : voulez-vous un assistant qui vous dit ce qui est "bien", ou un observateur qui vous dit ce qui est "vrai" ?

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus utilisés comme substituts (proxies) pour simuler le comportement humain dans les sciences sociales et économiques. La plupart des études utilisent des modèles alignés (optimisés via RLHF ou DPO pour être utiles, inoffensifs et suivre les instructions).

L'hypothèse sous-jacente est que l'alignement améliore ou reste neutre pour la fidélité comportementale. Cependant, les auteurs posent l'hypothèse inverse : l'alignement introduit un biais normatif. En optimisant les modèles pour qu'ils réagissent aux préférences des évaluateurs humains (coopération, équité, rationalité), on les éloigne de la description de la façon dont les humains agissent réellement dans des situations stratégiques complexes (mensonge, représailles, adaptation historique), qui sont souvent irrationnelles ou non coopératives.

2. Méthodologie

L'étude compare systématiquement des paires de modèles de base (pre-training) et alignés (post-training) sur la prédiction de décisions humaines réelles.

Données et Échelle :
- 120 paires de modèles (base vs aligné) provenant de 23 familles de modèles (incluant Llama, Qwen, Gemma, CodeLlama, etc.).
- 10 050 décisions humaines réelles collectées dans quatre familles de jeux stratégiques multi-tours :
  1. Négociation (Bargaining) : Jeux d'offres alternées (modèle de Rubinstein).
  2. Persuasion : Jeux de "cheap talk" répétés avec problèmes de crédibilité.
  3. Négociation bilatérale : Négociation de prix avec option de sortie.
  4. Jeux matriciels répétés : Dilemme du prisonnier et Bataille des sexes.
- Données de contrôle (Conditions limites) : Jeux matriciels à coup unique (one-shot) et choix de loteries binaires (non stratégiques).
Protocole d'évaluation :
- Extraction de probabilités : Au lieu de générer du texte, les auteurs extraient les probabilités logiques (log-probabilities) des tokens de décision (ex: "accepter" vs "rejeter") à partir de l'état interne du modèle. Cela permet une comparaison déterministe et équitable.
- Métrique principale : La corrélation de Pearson entre la probabilité prédite par le modèle et la décision réelle humaine (codée binaire).
- Comparaison : Pour chaque paire, on compte les "victoires" du modèle de base contre le modèle aligné.

3. Résultats Clés

A. Avantage des modèles de base dans les jeux multi-tours

Dans les jeux stratégiques répétés où l'histoire des interactions influence les décisions :

Les modèles de base surpassent massivement leurs homologues alignés.
Ratio global : 9,7 : 1 en faveur des modèles de base (213 victoires contre 22 pour les alignés, $p < 10^{-40}$ ).
Cet avantage est robuste à travers toutes les familles de modèles, les formulations de prompts et les configurations de jeux.
Dynamique temporelle : L'avantage s'accentue au fur et à mesure que l'histoire du jeu s'accumule. Au premier tour (avant toute interaction), les modèles alignés ont souvent un avantage, mais ce avantage s'inverse dès le deuxième tour.

B. Inversion de l'avantage dans les conditions limites

L'avantage des modèles de base disparaît et s'inverse dans des contextes où le comportement humain suit des prédictions normatives :

Jeux à coup unique (One-shot) : Les modèles alignés gagnent avec un ratio de 4,1 : 1. Ils prédisent mieux les équilibres de Nash, qui correspondent mieux au comportement humain dans ces contextes isolés.
Choix de loteries (Non stratégiques) : Les modèles alignés gagnent avec un ratio de 2,2 : 1.
Interprétation : L'alignement pousse le modèle vers des solutions "textbook" (normatives) qui fonctionnent bien quand les humains agissent rationnellement ou sans histoire, mais échouent quand les humains réagissent à la trahison, à la réciprocité ou à la réputation.

C. Robustesse et Mise à l'échelle

L'avantage des modèles de base augmente avec la taille du modèle (de <3B à ≥14B paramètres).
L'effet persiste quelle que soit la formulation du prompt (même en utilisant le format "chat" pour les modèles de base).

4. Contributions Principales

Preuve empirique du biais normatif : L'article démontre que l'alignement (RLHF/DPO) ne fait pas qu'améliorer l'utilité, il déforme la distribution comportementale du modèle en supprimant les "queues" de la distribution (comportements irrationnels, punitifs ou stratégiques) au profit des modes préférés par les annotateurs.
Distinction Normatif vs Descriptif : Il établit une frontière claire : les modèles alignés sont de meilleurs modèles normatifs (comment les gens devraient agir), tandis que les modèles de base sont de meilleurs modèles descriptifs (comment les gens agissent réellement dans des interactions complexes).
Méthodologie de comparaison directe : L'utilisation de paires de même fournisseur (base vs aligné) et l'extraction de probabilités plutôt que la génération permettent d'isoler l'effet de l'alignement sans confondre avec d'autres facteurs.

5. Signification et Implications

Pour la recherche en sciences sociales : L'utilisation de modèles alignés pour simuler des participants humains (Homo Silicus) dans des études de jeux répétés, de négociation ou de dynamique sociale risque de produire des résultats biaisés vers un idéal de coopération, masquant les dynamiques réelles de conflit, de représailles et d'adaptation.
Pour le développement de modèles : Il existe un compromis fondamental (trade-off) entre l'optimisation pour l'usage humain (alignement) et la capacité à modéliser le comportement humain réel.
Recommandations pratiques :
- Pour les tâches de simulation comportementale dans des environnements stratégiques complexes, il faut privilégier les modèles de base.
- Pour les tâches non stratégiques ou à coup unique (analyse de sentiments, choix individuels simples), les modèles alignés restent appropriés.
Avenir de l'alignement : Les méthodes d'alignement actuelles (RLHF standard) semblent intrinsèquement incapables de préserver la diversité comportementale humaine complète. Des méthodes futures devront peut-être intégrer des régularisateurs basés sur l'entropie pour éviter l'effondrement des préférences (preference collapse).

En conclusion, l'article avertit que l'alignement transforme les LLM en modèles de ce que les humains approuvent, et non en miroirs de ce qu'ils font, ce qui constitue un risque méthodologique majeur pour les études utilisant des LLM comme agents simulés.