Résumé technique : Les biais géopolitiques dans les LLM trouvent leur origine dans la phase post-entraînement

Énoncé du problème

L'hypothèse prédominante dans le domaine des biais des modèles de langage de grande taille (LLM) est que les préférences géopolitiques sont héritées directement des régularités statistiques des corpus de pré-entraînement. La littérature antérieure postule que les modèles agissent comme des héritiers passifs des biais démographiques, culturels et idéologiques présents dans leurs données d'entraînement, impliquant que l'atténuation des biais doit opérer au niveau des données. Cette étude remet en cause ce modèle causal, interrogeant le fait que le biais géopolitique soit principalement une fonction des données de pré-entraînement ou s'il est activement introduit ou amplifié lors de la phase post-entraînement (ajustement par instructions et alignement).

Méthodologie

Les auteurs ont mené une expérience contrôlée, en scénarios appariés, sur sept familles de LLM à poids ouverts provenant de sept laboratoires différents (trois occidentaux : Mistral AI, Meta, Google ; quatre chinois : Alibaba, Baichuan, 01.AI, Zhipu).

Conception expérimentale

• Paires de modèles : L'étude a comparé le modèle « base » (pré-entraînement uniquement) au modèle « chat » (pré-entraînement + post-entraînement) pour chaque famille. Tous les modèles ont été sélectionnés pour tenir sur une seule RTX 3090 (7–9 milliards de paramètres) afin d'assurer la reproductibilité.
• Banque de scénarios : Une banque de 79 scénarios géopolitiques impliquant 28 paires de pays a été construite. Les scénarios couvraient 13 types (par exemple, incursion dans l'espace aérien, coercition commerciale, disputes de souveraineté), équilibrant les sujets politiques « chauds » avec les sujets procéduraux « froids ».
• Sonde à choix forcé : Les modèles ont été confrontés à un récit où le Pays A et le Pays B étaient impliqués dans un conflit. Ils ont été contraints de choisir quel pays agissait de manière plus ou moins justifiable.
  • Fonctionnalités de robustesse : La conception incluait un équilibre des rôles (en variant quel pays est l'agresseur) et un double cadrage de la question (demandant à la fois « plus » et « moins » justifié) pour filtrer les artefacts lexicaux ou positionnels.
  • Mesure : Le biais a été quantifié à l'aide des log-odds ($\log P(A) - \log P(B)$) après application de la fonction softmax sur le vocabulaire.
• Variables linguistiques : La sonde a été exécutée dans trois langues : anglais, français et chinois. Les traductions ont été générées par un LLM (Claude) pour maintenir la cohérence, bien que les auteurs notent que cela introduit un biais potentiel.
• Corrections techniques :
  • Somme des variantes de tokens : Pour les modèles utilisant des tokenizers SentencePiece (Yi, Baichuan), les auteurs ont sommé les probabilités sur les variantes de tokens (par exemple, « A », « A », « (A») pour éviter de sous-compter la conformité.
  • Corrections de préremplissage : Des ajustements spécifiques ont été apportés pour les modèles de chat GLM et Yi afin de tenir compte des modèles de réponse (par exemple, préfixer de saut de ligne ou de parenthèses) qui supprimaient artificiellement les scores de conformité dans un score naïf à un seul token.
  • Filtre de cohérence : L'analyse a été restreinte à 31 scénarios où la préférence du modèle inversait son signe entre le cadrage « justifié » et « injustifié » dans au moins 70 % des combinaisons modèle-langue.

Résultats clés

1. Le post-entraînement comme source de biais

La découverte la plus significative est que le biais géopolitique trouve son origine dans le post-entraînement, et non dans le pré-entraînement.

• Modèles de base : Six des sept modèles de base étaient statistiquement proches de la neutralité concernant la faveur envers la Chine. Par exemple, le modèle de base Qwen 2.5 d'Alibaba affichait un score de faveur envers la Chine de $-0,15$ log-odds ($p=0,15$), indiscernable de la neutralité.
• Modèles de chat : Le post-entraînement a introduit des changements significatifs. Le modèle de chat Qwen 2.5 a basculé vers $+2,91$ log-odds ($p < 10^{-4}$), représentant une augmentation de 18 fois des chances favorisant la Chine.
• Directionnalité : Dans six des sept familles, le changement post-entraînement s'alignait sur la nationalité du développeur du modèle (les laboratoires occidentaux ont basculé vers l'anti-chine ; trois des quatre laboratoires chinois ont basculé vers le pro-chine). L'exception était Yi de 01.AI, qui a basculé vers l'anti-chine après le post-entraînement.

2. Modulation linguistique du biais

La langue utilisée pour solliciter le modèle amplifie ou atténue le biais imprimé.

• Sollicitation en français : Le modèle Mistral, d'origine française, est devenu résolument pro-France uniquement lorsqu'il était sollicité en français. Le passage des sollicitations en anglais à celles en français a entraîné un changement de $+1,91$ log-odds dans la faveur envers la France ($p < 10^{-4}$).
• Sollicitation en chinois : Bien que cinq des sept modèles post-entraînés aient montré un changement descriptif vers le pro-chine lorsqu'ils étaient sollicités en chinois, cet effet au niveau de la population n'était pas statistiquement distinguable de la tendance du modèle de base ($p=0,66$). Cependant, des modèles spécifiques comme Mistral et Yi ont montré une forte amplification.
• Mécanisme : L'étude suggère que la langue module les préférences exprimées en fonction de la préférence de base du modèle et de l'« enchevêtrement de contenu » de la langue avec des pays spécifiques, plutôt que d'activer simplement un biais statique « aligné sur le créateur ».

3. Hétérogénéité entre laboratoires et adversaires

• Variance des laboratoires : « LLM développé en Chine » n'est pas une catégorie homogène. Qwen 2.5 montrait un fort biais pro-chine contre les nations occidentales, mais un biais plus faible contre les nations du Sud global. En revanche, Yi 1.5 montrait un biais pro-chine uniquement contre les États-Unis et un biais anti-chine contre presque tous les autres adversaires.
• Indépendance thématique : Le biais était large plutôt que spécifique à un sujet. L'ampleur du biais ne différait pas significativement entre les scénarios « chauds » (souveraineté, nucléaire) et « froids » (espace aérien, commerce).

4. Vérifications de robustesse et de validité

• Conformité : L'étude a abordé la question du « refus » ou de la non-conformité. Un score naïf interprétait souvent les modèles de réponse (par exemple, la sortie commençant par un saut de ligne de GLM) comme des refus. Après correction de ces modèles, la conformité était élevée et les biais ont été révélés.
• Entités fictives : Lorsqu'ils ont été testés sur des noms de pays fictifs avec des indices phonétiques (par exemple, « Zhaodong » sonnant chinois), les modèles ont exhibé les mêmes biais alignés sur le créateur, suggérant que le biais est déclenché par des indices d'identité plutôt que par des faits mémorisés sur les pays réels.
• Génération libre : Des tâches de raisonnement en libre arbitre ont confirmé que les biais observés dans les sondes à choix forcé persistent même lorsque les modèles peuvent générer un raisonnement, indiquant que la préférence n'est pas simplement un artefact du format à choix forcé.

Signification et revendications

L'article prétend reconfigurer le biais géopolitique non pas simplement comme un problème de données (hérité d'Internet), mais comme un problème d'alignement et de déploiement.

• Façonnage actif : L'étude démontre que les préférences géopolitiques sont activement façonnées lors du pipeline de post-entraînement (SFT, RLHF ou ajustement de sécurité). Les modèles de base sont largement neutres, tandis que les modèles de chat reflètent les objectifs d'alignement spécifiques du laboratoire développeur.
• Besoins de transparence : Parce que le post-entraînement détermine la façon dont les modèles représentent les nations et les perspectives politiques, les auteurs plaident pour une plus grande transparence, un audit et une surveillance des processus d'alignement.
• Limites : Les auteurs restent modestes quant à leurs revendications. Ils notent que la taille de l'échantillon ($n=7$ familles) limite la puissance statistique des généralisations inter-laboratoires (la tendance 6/7 d'alignement a échoué à un test binomial à $\alpha=0,05$ mais a réussi un test t de magnitude signée). Ils reconnaissent également ne pas pouvoir distinguer entre des cibles d'alignement délibérées et des effets secondaires accidentels d'autres objectifs d'ajustement (par exemple, l'utilité ou l'innocuité). De plus, l'étude est limitée aux modèles de 7 à 9 milliards de paramètres et ne couvre pas les modèles fermés de pointe.

En conclusion, l'étude fournit des preuves empiriques que la « lentille géopolitique » d'un LLM est largement le produit de son alignement post-entraînement plutôt que de ses données de pré-entraînement, la langue de sollicitation servant de modulateur critique de ces préférences exprimées.