Résumé technique : Cartographie du biais géopolitique dans 11 grands modèles de langage

Énoncé du problème

La prolifération des grands modèles de langage (LLM) en tant qu'interfaces primaires pour les questions politiques contestées introduit un défi de mesure critique : distinguer la conviction politique réelle de l'acquiescement (une tendance à l'accord avec les propositions affirmées, indépendante du contenu). Les audits précédents du biais des LLM reposent souvent sur des invites à cadre unique ou sur de simples mesures d'accord. Ces méthodes sont confondues par deux facteurs :

1. Sensibilité à la formulation de la question : De légers changements dans la formulation de l'invite peuvent faire basculer les réponses de manière décorrélée de la croyance réelle.
2. Sycophantie/Acquiescement : Les modèles entraînés via l'optimisation des préférences ont tendance à être d'accord avec le cadrage de l'utilisateur, quel que soit le contenu de la proposition ou la position réelle du modèle. Un modèle qui est d'accord à la fois avec « A contribue plus que B » et « B contribue plus que A » révèle un style de réponse, et non une position.

Par conséquent, les affirmations selon lesquelles les modèles détiennent des opinions politiques spécifiques sont souvent contaminées par leur disposition à l'accord, ce qui rend impossible la séparation de la conviction et de la conformité à l'aide des techniques d'audit standard.

Méthodologie

Les auteurs introduisent un instrument de double cadrage à choix forcé et à polarité indexée, adapté de la psychométrie d'enquête, pour mesurer la posture géopolitique.

Conception expérimentale

• Sujets : 11 modèles de chat optimisés pour l'instruction (5 basés en Chine, 5 basés aux États-Unis, 1 en Europe).
• Stimuli : 7 sujets géopolitiques (ex. : Taïwan, Commerce, Mer de Chine méridionale) présentés en anglais et en mandarin.
• Double cadrage : Chaque item est une « paire minimale bilingue ». Une proposition affirmative est posée, suivie d'une version inversée où les deux termes de comparaison sont permutés alors que les parties restent fixes.
• Neutralité de l'agent : Les invites évitent le cadrage agentif à la première personne pour mesurer l'accord avec une proposition plutôt que la déférence envers l'utilisateur.
• Robustesse : Des préfixes et suffixes aléatoires (enveloppes) sont appliqués pour absorber la sensibilité de la forme de surface.
• Échelle : 19 712 réponses totales à travers 308 cellules de conditions (Modèle × Sujet × Langue × Cadrage), avec 64 itérations par cellule.

Mécanisme de notation

Les réponses sont projetées sur un axe de position signé allant de -2 (Maximale Pro-Chine) à +2 (Maximale Pro-États-Unis).

• Indexation de la polarité : Le score est multiplié par -1 si l'item est dans la direction « indexée Pro-Chine » ou si le cadrage est inversé.
• Logique d'annulation :
  • Acquiescement (Oscillation/Swing) : Si un modèle est simplement d'accord avec la proposition et son inverse, les scores signés s'annulent pour atteindre zéro.
  • Conviction (Biais net) : Si un modèle détient une position réelle, il inverse sa réponse brute lorsque la proposition s'inverse afin de maintenir la même position signée, provoquant l'accumulation des scores.
• Décomposition : Le comportement du modèle est décomposé en :
  • Biais net : La moyenne des deux cadrages (représentant la conviction réelle).
  • Oscillation (Swing) : La demi-différence entre les cadrages (représentant l'ampleur de l'acquiescement).

Résultats clés

1. Validité : Séparer la conviction de l'acquiescement

L'instrument distingue avec succès les modèles qui sont réellement biaisés de ceux qui sont simplement complaisants.

• Mistral vs Qwen : Les deux modèles présentent une « oscillation » identique (amplitude d'acquiescement de 0,22). Cependant, Qwen présente un Biais net significatif de -0,73 (Pro-Chine), tandis que le Biais net de Mistral est de +0,045 (statistiquement neutre). Cela prouve que l'accord brut n'est pas égal au biais ; l'instrument isole la conviction en annulant l'accord symétrique.
• Échec de l'accord brut : Le modèle présentant l'accord brut le plus élevé (Mistral) était neutre, tandis qu'un modèle ayant un accord brut négatif (Gemini) portait une estimation ponctuelle négative, démontrant que la notation à cadre unique classe mal le biais.

2. L'origine du développeur prédit la position de manière asymétrique

• Modèles chinois : Les cinq modèles d'origine chinoise présentent tous une position nette Pro-Chine (allant de -0,35 à -1,19).
• Modèles américains : Les cinq modèles américains oscillent autour de la neutralité (allant de -0,28 à +0,52), montrant une hétérogénéité plutôt qu'un penchant uniforme Pro-États-Unis.
• Asymétrie : La séparation est directionnelle ; les modèles chinois sont uniformément alignés, tandis que les modèles américains ne sont pas uniformément opposés.

3. Le changement de langue de requête modifie la position universellement

• Le passage de l'anglais au mandarin a déplacé les 11 modèles vers une position Pro-Chine, quelle que soit l'origine du développeur.
• Le décalage moyen est de -0,837 (IC 95 % : -1,060 à -0,613).
• Ce décalage est cohérent avec un mécanisme lié au corpus (influence des données d'entraînement) plutôt qu'à un effet spécifique au développeur, car il affecte des modèles construits hors de Chine. Un test de contrôle avec le portugais a montré un décalage beaucoup plus faible, confirmant que l'effet est spécifique au corpus mandarin.

4. Contingence thématique

L'écart entre les modèles américains et chinois n'est pas uniforme ; il est maximal sur les questions de souveraineté.

• Sujets de souveraineté : L'écart d'origine est le plus large sur Taïwan (1,50), le Xinjiang (1,18) et la Mer de Chine méridionale (1,08).
• Sujets économiques/techniques : L'écart se réduit considérablement sur le Commerce (0,38) et la Technologie (0,84). Notamment, les modèles chinois ont basculé vers la neutralité sur la Technologie plutôt que de maintenir un pôle Pro-Chine, suggérant un évitement lié au domaine.

5. Facteurs additifs

L'origine, la langue de la requête et le domaine de l'enjeu agissent comme trois effets principaux quasi-égaux et additifs (expliquant chacun environ 9 % de la variance). Les effets de cadrage ont été négligeables (0,13 %), confirmant que l'instrument a neutralisé avec succès les artefacts de formulation. Les interactions entre ces facteurs étaient minimales.

Signification et revendications

L'article affirme que sa contribution principale est l'instrument lui-même, et non simplement les découvertes géopolitiques.

• Innovation méthodologique : En important les conceptions de pondération équilibrée et de choix forcé issues de la méthodologie d'enquête, les auteurs fournissent un outil quantitatif reproductible qui sépare la « conviction » de la « conformité ». Cela résout le problème de confusion où la sycophantie se fait passer pour une opinion politique.
• Anatomie empirique : L'étude fournit la première cartographie quantitative propre de la manière dont l'origine du développeur, la langue de la requête et le domaine de l'enjeu interagissent pour façonner les positions des LLM, révélant que les changements de langue sont universels et additifs aux effets d'origine.
• Reproductibilité : Les auteurs publient les stimuli, le pipeline de notation et un outil interactif (llmbias.org) pour permettre l'application de l'instrument à tout domaine d'opinion contestée (politique, culturelle ou scientifique).
• Limites : Les auteurs reconnaissent que l'étude mesure la position sous des paires minimales contrôlées plutôt que dans un discours libre, et que l'« origine » est traitée comme un facteur associatif en raison de la conception d'un seul modèle par développeur. Ils notent également que l'instrument ne peut pas distinguer l'acquiescement symétrique de l'agréabilité corrélée au contenu.

En résumé, ce travail démontre que sans contrôler l'acquiescement, les audits du biais des LLM sont fondamentalement erronés. L'instrument de double cadrage proposé offre un mécanisme robuste pour révéler les inclinaisons géopolitiques réelles, montrant que si les modèles américains et chinois divergent considérablement, la langue de la requête exerce une attraction puissante et universelle vers la position Pro-Chine pour tous les modèles.