Training-Free Cultural Alignment of Large Language Models via Persona Disagreement

Résumé technique : Alignement culturel sans entraînement des grands modèles de langage par désaccord de persona

Énoncé du problème
Les grands modèles de langage (LLM) sont de plus en plus déployés dans des contextes exigeant un jugement moral (par exemple, la modération de contenu, la priorisation clinique, le comportement des véhicules autonomes). Cependant, ces modèles présentent souvent un biais « Occidental, Éduqué, Industrialisé, Riche et Démocratique » (WEIRD), échouant à s'aligner sur les préférences morales structurées culturellement de la population mondiale. Les solutions existantes pour l'alignement culturel font face à des barrières significatives d'évolutivité :

• Affinage (Fine-tuning) : Nécessite des ensembles de données de préférences par pays et des budgets GPU substantiels.
• Décodage guidé par récompense : Nécessite l'entraînement de modèles de récompense séparés pour chaque pays cible.
• Pilotage d'activation : Nécessite un accès en boîte blanche aux internals du modèle, indisponible pour les API en boîte noire.

Les auteurs identifient un régime réaliste d'inférence où l'alignement doit se produire sans mise à jour des poids, sans données d'entraînement par pays et sans accès interne au modèle.

Méthodologie : DISCA
L'article propose DISCA (Disagreement-Informed Steering for Cultural Alignment, soit Pilotage Informé par le Désaccord pour l'Alignement Culturel), une méthode d'inférence qui exploite le désaccord entre des personas ancrés culturellement comme signal de pilotage, plutôt que leur consensus.

1. Instantiation de persona : Pour un pays cible $c$, DISCA construit un panel de $N=4$ agents persona basés sur les microdonnées de l'Enquête sur les Valeurs Mondiales (WVS). Ces personas représentent trois cohortes d'âge (jeunes, d'âge moyen, âgés) et un agrégat à l'échelle du pays, instanciés via des prompts système en langue native.
2. Inférence et extraction de logits : Le LM figé $f_\theta$ traite le même dilemme moral (par exemple, un problème du tramway) sous le prompt de base et chacun des $N$ prompts persona. Le modèle émet des logits de décision pour deux options (A et B), générant un écart de décision $\delta_i = z_B - z_A$ pour chaque agent.
3. Le principe du désaccord :
   • Si les personas s'accordent (faible variance de $\delta_i$), le modèle de base est probablement déjà calibré pour ce pays, et aucune correction n'est nécessaire.
   • Si les personas sont en désaccord (forte variance), la dispersion de leurs écarts encode la direction et l'ampleur de la correction nécessaire.
   • Théoriquement, les auteurs prouvent (Proposition 1) que le rétrécissement scalaire optimal en erreur quadratique moyenne (MSE) de la correction de consensus est une fonction de la variance intra-panel. Un fort désaccord implique que le consensus est peu fiable, justifiant une correction plus faible.
4. Échantillonnage d'importance aversif aux pertes (PT-IS) :
   • Pour éviter de lisser des opinions minoritaires fortes (par exemple, trois cohortes favorisant légèrement A et une favorisant fortement B), DISCA formule la correction comme un problème de négociation coopérative.
   • Il échantillonne des perturbations candidates autour du consensus et les note à l'aide d'une fonction de valeur de la Théorie du Prospect (Kahneman-Tversky), qui est concave pour les gains et plus raide pour les pertes (aversive aux pertes). Cela pénalise les corrections qui s'alignent fortement à l'encontre de toute cohorte unique.
   • La correction finale est une moyenne pondérée de ces candidats, où les poids sont proportionnels à leur utilité.
5. Porte de fiabilité à double passage :
   • Pour atténuer davantage le risque d'appliquer des corrections lorsque les personas sont en conflit, le processus PT-IS est exécuté deux fois sur des sous-lots disjoints.
   • La différence au carré entre les deux exécutions ($V_r$) sert de diagnostic d'instabilité.
   • La correction finale est rétrécie par un facteur $r = \exp(-V_r/s)$, garantissant que si les deux exécutions indépendantes divergent (indiquant un fort désaccord ou du bruit), l'ampleur de la correction tend vers zéro.

Contributions clés

1. Alignement à l'inférence : Une méthode qui ne nécessite ni mise à jour des poids, ni modèles de récompense par pays, ni accès en boîte blanche, reposant uniquement sur les probabilités logarithmiques au niveau de l'API.
2. Rétrécissement piloté par le désaccord : La première méthode d'alignement à l'inférence utilisant le désaccord entre exécutions indépendantes comme signal de fiabilité. Elle formalise le désaccord non pas comme du bruit à lisser (comme dans la cohérence de soi ou le débat), mais comme une statistique suffisante pour la fiabilité de la correction.
3. Validation empirique : Évaluation sur 20 pays, quatre continents et sept architectures open-weight (allant de 2 à 70 milliards de paramètres) sur le benchmark MultiTP (dilemmes moraux binaires) et des scénarios en langage libre.

Résultats

• Performance : DISCA réduit le désalignement culturel (mesuré par la distance $\ell_2$ entre le modèle et les Effets Marginaux Moyens Composés, ou AMCE, humains) de 10 à 24 % sur six architectures avec $\ge$3,8 milliards de paramètres. Sur le plus petit modèle de 2 milliards de paramètres, il réalise une réduction de 3,4 %.
• Scénarios en langage libre : Des améliorations de 2 à 7 % ont été observées sur des tâches de génération éthique en langage libre.
• Échelle vs Calibration : Un modèle de 14 milliards de paramètres (Phi-4) avec DISCA a obtenu un désalignement absolu inférieur à celui d'un modèle Llama-3.3-70B de 70 milliards de paramètres standard, suggérant que dans ce régime, la calibration rivalise avec l'échelle.
• Limite de portée : La méthode n'améliore pas les performances sur BLEnD, un benchmark de questions-réponses culturelles factuelles. Les auteurs attribuent cela à la différence entre le pilotage des valeurs (écarts de logits scalaires) et la récupération factuelle (sélection de tokens de haute dimension), où le désaccord des personas introduit du bruit plutôt que du signal.
• Sécurité : La porte à double passage réduit significativement les « cellules lésées » (cas où l'alignement s'aggrave) par rapport à une simple moyenne de consensus, agissant comme un mécanisme de sécurité pour les queues de distribution.

Signification et affirmations
L'article affirme que les LLM n'ont pas besoin d'être réentraînés pour respecter la diversité morale. En traitant la variance intra-groupe d'agents ancrés comme le signal d'alignement principal, DISCA offre une voie évolutive vers le pluralisme culturel. Les auteurs soulignent que leur approche est un artefact de recherche conçu pour démontrer la faisabilité de la calibration culturelle à l'inférence, et non un système normatif prêt au déploiement. Ils notent explicitement des limites, notamment la dépendance aux données de la vague 7 du WVS (une photographie historique), l'hypothèse que les déplacements de persona approximent les cibles humaines, et l'incapacité de traiter les « majorités nuisibles » sans garanties supplémentaires (qu'ils proposent via un plancher d'utilité par persona). L'ouvrage délimite une frontière claire où le pilotage par désaccord de persona est efficace (décisions préférentielles) par rapport à où il ne l'est pas (rappel factuel).