Résumé technique : Les grands modèles de langage encodent-ils l'expérience institutionnelle ?

Problématique

Les grands modèles de langage (LLM) présentent des variations translinguistiques systématiques dans le raisonnement moral, mais les mécanismes structurels qui sous-tendent ces différences restent non spécifiés. Alors que la littérature antérieure établit que les LLM sollicités dans différentes langues produisent des jugements éthiques divergents — s'alignant souvent sur les valeurs de l'Europe protestante et occidentale — la question de savoir pour pourquoi cela se produit demeure non résolue. La culture est fréquemment citée comme une cause, mais elle fonctionne comme une étiquette plutôt que comme un mécanisme.

Cette communication examine un candidat spécifique au mécanisme : l'encodage de l'a priori institutionnel. S'appuyant sur la théorie des institutions informelles de Douglass North et le théorème du second meilleur de Lipsey-Lancaster, les auteurs émettent l'hypothèse que les langues encodent les environnements institutionnels de leurs locuteurs (par exemple, les expériences de corruption, d'état de droit et de fiabilité de l'application des règles). Par conséquent, les LLM entraînés sur ces corpus devraient hériter d'a priori moraux spécifiques aux institutions, particulièrement lorsqu'ils raisonnent sur des dilemmes où l'acceptabilité morale dépend du fonctionnement des institutions formelles (ex. : corruption, évasion fiscale, dénonciation).

Une lacune critique des recherches antérieures réside dans la dépendance à l'égard du cadrage institutionnel explicite (nommer directement le contexte institutionnel, ex. : « corruption »). Les auteurs soutiennent qu'un tel cadrage peut déclencher des réponses d'alignement qui suppriment les a priori linguistiques, rendant les conceptions précédentes structurellement incapables de détecter un encodage institutionnel, même s'il existe.

Méthodologie

L'étude emploie deux expériences pré-enregistrées (Étude 1 et Étude 2) impliquant six LLM de pointe (Claude, GPT-4o, Gemini, Llama 3.3, DeepSeek, Grok) et neuf langues couvrant un large gradient de qualité institutionnelle (du danois, CPI 89, au bengali, CPI 23).

Design expérimental :
L'innovation centrale est un design à trois conditions utilisé dans l'Étude 2 pour isoler l'effet des indices institutionnels :

1. Condition Explicite : L'échec institutionnel est nommé directement dans le prompt (ex. : « verser un pot-de-vin à un fonctionnaire corrompu »). Cela reproduit l'Étude 1 et la littérature antérieure.
2. Condition Ambiguë : Les mêmes scénarios institutionnels sont présentés, mais les mots-clés institutionnels sont retirés, et l'issue est présentée comme incertaine (ex. : « effectuer un paiement pour résoudre un problème bureaucratique » sans qualifier l'officiel de corrompu). Les enjeux institutionnels sont présents structurellement mais absents lexicalement.
3. Condition de Contrôle : Dilemmes interpersonnels institutionnellement inertes (ex. : tromperie privée, équité distributive) où la valence morale ne dépend pas du fonctionnement des institutions.

Métriques et Analyse :

• Divergence translinguistique : Opérationnalisée comme l'écart-type des scores moyens d'acceptabilité à travers les neuf langues pour chaque vignette.
• Distance Institutionnelle : Calculée comme la distance euclidienne entre les paires de langues basée sur trois indices de gouvernance : l'Indice de Perception de la Corruption (CPI), l'Indice de l'État de Droit du WJP et l'Indice de Liberté de la Presse (RSF).
• Tests Statistiques :
  • H1 : Tests t appariés et tests U de Mann-Whitney comparant la divergence entre les conditions (Ambiguë vs Explicite vs Contrôle).
  • H2/H3 : Tests de permutation de Mantel pour corréler la divergence morale par paire avec la distance institutionnelle par paire.
  • H4 : Tests du Khi-deux sur le codage qualitatif de l'« architecture du raisonnement » (du philosophique libéral au diagnostic institutionnel).
  • H5 : Analyse comparative de DeepSeek (origine chinoise) par rapport aux modèles entraînés en Occident pour détecter les effets de modération de contenu.

Résultats Clés

Étude 1 : La ligne de base nulle
Sous un cadrage institutionnel explicite, les cinq hypothèses pré-enregistrées ont donné des résultats nuls. La divergence translinguistique n'a pas augmenté pour les scénarios institutionnels par rapport aux contrôles, ni n'a suivi la distance institutionnelle. Cela suggère qu'un cadrage explicite déclenche une réponse d'alignement uniforme qui supprime les potentiels a priori institutionnels.

Étude 2 : Dissociation dépendante du conditionnement
L'Étude 2 a révélé une interaction critique entre le cadrage et la divergence :

• L'ambiguïté amplifie la divergence : La divergence morale translinguistique était significativement plus élevée dans la condition ambiguë que dans la condition de contrôle ($d = 1,108, p = ,007$). En revanche, la condition explicite n'a montré aucune amplification significative par rapport au contrôle ($p = ,142$).
• Suppression par l'alignement : Les données soutiennent un « compte de suppression » : lorsque les enjeux institutionnels sont lexicalement non résolus (ambiguïté), les a priori institutionnels encodés font surface, provoquant une divergence entre les langues issues de différents environnements institutionnels. Lorsque les indices sont explicites, l'entraînement à l'alignement supplante ces a priori, provoquant l'effondrement de la divergence.
• Suivi de la distance institutionnelle : Dans l'échantillon complet de neuf langues, la corrélation entre la divergence morale et la distance institutionnelle dans la condition ambiguë était positive mais non statistiquement significative ($r = 0,158, p = ,206$). Cependant, une analyse de sensibilité exploratoire excluant le Chinois (qui présentait des anomalies structurelles) a renforcé cette corrélation de manière significative ($r = 0,517, p = ,033$), fournissant une preuve solide que la divergence morale suit la distance institutionnelle réelle lorsque le chinois est exclu.
• Architecture du raisonnement : Le codage qualitatif (bien qu'en dessous du seuil de fiabilité pré-enregistré) reflétait les résultats de notation : les styles de raisonnement variaient davantage entre les langues dans la condition ambiguë ($V = 0,105$) que dans la condition explicite ($V = 0,059$), où les modèles adoptaient par défaut un style « philosophique libéral » uniforme.

L'anomalie Chinoise
L'étude identifie deux mécanismes déconnectant les productions en langue chinoise de l'environnement institutionnel de la Chine :

1. Dominance de l'alignement : Tous les LLM de pointe, y compris les modèles d'origine chinoise, produisent des résultats moraux alignés sur les bases occidentales lorsqu'ils sont sollicités en mandarin, supprimant l'encodage institutionnel local (expliquant la quasi-absence de divergence entre le danois et le chinois).
2. Modération de contenu : DeepSeek a spécifiquement montré une modération ciblée sur les scénarios, étant significativement plus restrictif sur le contenu institutionnel en mandarin que les modèles occidentaux, mais pas sur le contenu de contrôle. Cela a produit une divergence anormalement élevée entre le chinois et le hindi (faible CPI) dans certains scénarios.

Contributions Clés

1. Explication Mécaniste : Le papier dépasse la simple documentation des différences translinguistiques pour proposer et tester un mécanisme spécifique : l'encodage de l'a priori institutionnel. Il démontre que la langue encode des adaptations aux environnements institutionnels (ex. : naviguer dans un état de droit faible).
2. Insight Méthodologique (Suppression par l'alignement) : L'étude identifie le cadrage institutionnel explicite comme un facteur de confusion dans la recherche sur les LLM translinguistiques. Elle soutient que nommer les défaillances institutionnelles déclenche des dépassements d'alignement, masquant les variations culturelles et institutionnelles que les chercheurs cherchent précisément à mesurer. La condition « ambiguë » est proposée comme un élément de design nécessaire pour détecter les a priori encodés.
3. Lien Structurel avec les Institutions Réelles : En utilisant un test de Mantel pré-enregistré avec des indices de gouvernance indépendants, l'étude lie formellement le raisonnement moral des LLM à la qualité institutionnelle réelle, montrant que la divergence augmente avec la distance institutionnelle (en excluant l'anomalie chinoise).
4. Différenciation des Mécanismes : Le papier distingue l'alignement dominant (un glissement global vers les normes occidentales) de la modération de contenu (une suppression spécifique aux scénarios), offrant une vue nuancée de la manière dont les IA multilingues échouent à représenter les réalités institutionnelles locales.

Signification et Revendications

Les auteurs affirment que l'expérience institutionnelle laisse des traces détectables dans la langue qui façonnent le raisonnement moral des LLM, mais que ces traces sont fragiles et facilement supprimées par des indices explicites.

• Pour la Gouvernance de l'IA : Les conclusions suggèrent que les politiques de déploiement multilingues reposant sur un calibrage spécifique à la langue peuvent surestimer la préservation de la diversité morale culturelle. L'« aplatissement » de la variation sous un cadrage explicite est une caractéristique de l'entraînement à l'alignement, et non un échec, mais cela a pour conséquence de réduire la légitimité locale.
• Pour les Sciences Sociales : Les chercheurs utilisant les LLM comme proxys de la cognition culturelle doivent tenir compte de la construction des prompts. La variation observée peut refléter une suppression par l'alignement plutôt que de réelles différences dans les environnements institutionnels. Les designs qui ne manipulent pas le contenu institutionnel sous des cadrages ambigus et explicites ne peuvent distinguer l'encodage institutionnel de la suppression par l'alignement.
• Modestie : Les auteurs reconnaissent les limites, notamment les tailles d'effet modestes, la corrélation primaire de Mantel non significative dans l'échantillon complet, et le caractère exploratoire de l'analyse d'exclusion du chinois. Ils présentent les résultats de l'exclusion du chinois comme générateurs d'hypothèses, en attente de réplication dans un design qui pré-spécifie l'exclusion du chinois. Le codage de l'architecture du raisonnement est explicitement étiqueté comme exploratoire en raison de problèmes de fiabilité inter-juges.

En résumé, l'article soutient que les LLM encodent l'expérience institutionnelle, mais que cet encodage n'est visible que lorsque le prompt ne déclenche pas explicitement les mécanismes d'alignement conçus pour imposer la cohérence transculturelle.