Résumé technique : Atténuation des incohérences culturelles interlinguistiques dans les LLM par optimisation des préférences basée sur le consensus

1. Définition du problème : Incohérence culturelle interlinguistique (CCI)

Les modèles de langage multilingues (MLLM) présentent fréquemment des comportements incohérents lorsque la langue d'une invite change, même lorsque l'identité de l'utilisateur est explicitement définie. Bien que les MLLM soient généralement conçus pour s'adapter culturellement à la langue d'entrée, cela devient une défaillance critique dans des contextes contraints où un persona utilisateur spécifique (par exemple, « L'utilisateur est britannique ») est fourni.

Dans de tels scénarios, le modèle ignore souvent l'instruction explicite du persona et se réfère par défaut aux stéréotypes culturels associés à la langue de l'invite. Par exemple, étant donné un persona britannique fixe et une requête ambiguë sur la littérature, une invite en anglais peut susciter « Shakespeare », tandis qu'une invite en espagnol suscite « Cervantès ». Ce phénomène, nommé Incohérence culturelle interlinguistique (CCI), représente une défaillance du suivi des instructions où la personnalisation implicite pilotée par la langue l'emporte sur les contraintes explicites pilotées par l'utilisateur. L'article postule que cette incohérence n'est pas simplement un écart de performance, mais une divergence sémantique entraînée par l'entrelacement étroit de la langue et de la culture au sein des représentations du modèle.

2. Méthodologie

2.1 Construction de l'ensemble de données

Pour évaluer systématiquement la CCI, les auteurs ont construit un ensemble de données multilingue parallèle dérivé du benchmark BLEnD (Myung et al., 2024).

• Source : Le sous-ensemble de Questions à Choix Multiples (QCM) de BLEnD a été sélectionné pour son espace de réponse discret, facilitant les métriques d'accord.
• Langues : Huit langues ont été sélectionnées pour couvrir divers niveaux de ressources et familles linguistiques : anglais, espagnol, chinois, arabe, indonésien, coréen, grec et persan.
• Neutralisation : Pour isoler le biais implicite piloté par la langue, les références explicites aux pays dans les invites originales ont été supprimées à l'aide de GPT-5.2 (par exemple, changer « Sport populaire au Mexique ? » en « Sport populaire ? »).
• Traduction : Les options de réponse ont été traduites dans les huit langues cibles, garantissant que l'ensemble de données contenait des mappings valides vers huit pays spécifiques (États-Unis, Mexique, Chine, Algérie, Indonésie, Corée du Sud, Grèce, Iran).
• Division : Les données ont été partitionnées en 70 % pour l'entraînement, 10 % pour la validation et 20 % pour le test, avec des mesures strictes pour empêcher la fuite de données entre les divisions.

2.2 Mesure : Fleiss's $\kappa_S$ Singleton

Les métriques de cohérence standard échouent souvent lorsque les modèles hallucinent ou génèrent des formats invalides, car rejeter ces erreurs introduit un biais de survie. Les auteurs introduisent Fleiss's $\kappa_S$ Singleton, une métrique novatrice mathématiquement prouvée résiliente aux hallucinations.

• Mécanisme : Contrairement au $\kappa$ de Fleiss standard, qui suppose que toutes les réponses correspondent à un ensemble prédéfini de valeurs valides, $\kappa_S$ étend l'ensemble de réponses valides $V$ avec un ensemble de réponses singleton (invalides) dynamiquement générées $U$.
• Pénalité : Chaque réponse invalide correspond à un singleton unique. Cela garantit que les hallucinations sont traitées comme des catégories distinctes, pénalisant mathématiquement l'incohérence sans nécessiter l'exclusion ad hoc d'échantillons.
• Convergence : Les auteurs prouvent qu'à mesure que la taille de l'ensemble de données augmente, $\kappa_S$ converge asymptotiquement vers le $\kappa$ standard des catégories valides.

2.3 Atténuation : Optimisation des préférences pour la cohérence culturelle interlinguistique (C-3PO)

L'article propose C-3PO, un cadre d'alignement auto-supervisé et basé sur le consensus conçu pour atténuer la CCI sans dépendre d'annotations humaines coûteuses ou de vérités terrain subjectives.

• Extraction du consensus : Le modèle de base génère des réponses pour une requête culturellement neutre dans les $N$ langues. Un consensus interlinguistique est défini comme la réponse sélectionnée par une majorité stricte de langues.
• Construction de paires de préférences :
  • Choisie ($y_w$) : La réponse de consensus est universellement assignée comme réponse préférée.
  • Rejetée ($y_l$) :
    • Pour les langues où le modèle était initialement en désaccord avec le consensus, la sortie divergente réelle est utilisée comme réponse rejetée.
    • Pour les langues qui étaient déjà d'accord, une option non-consensus aléatoire est échantillonnée comme réponse rejetée.
• Équilibrage : Une stratégie de sous-échantillonnage est appliquée pour s'assurer que les langues dictant le consensus ne biaisent pas de manière disproportionnée les données d'entraînement, équilibrant la représentation des langues consensuelles et divergentes.
• Optimisation : Le modèle est affiné en utilisant l'Optimisation directe des préférences (DPO) avec une adaptation de faible rang (LoRA). Les données sont structurées en lots parallèles (la même requête traduite dans toutes les langues) pour garantir que les mises à jour de gradient attirent simultanément les représentations linguistiques disparates vers un ancrage sémantique unifié.

2.4 Lignes de base

C-3PO est évalué par rapport à trois lignes de base établies de pilotage comportemental :

1. Prompting de persona : Conditionner explicitement le modèle sur une nationalité spécifique via des invites système.
2. Prompting few-shot : Fournir des exemples en contexte de réponses interlinguistiques cohérentes.
3. Pilotage vectoriel de persona : Piloter l'espace latent du modèle en utilisant des vecteurs d'intervention dérivés de la différence des activations du flux résiduel entre les invites avec et sans instructions de persona.

3. Résultats clés

3.1 Améliorations de la cohérence

Les évaluations empiriques sur trois modèles à poids ouverts (Gemma-2-27b-it, Llama-3.1-8B-Instruct, Qwen2.5-3B-Instruct) démontrent que C-3PO surpasse systématiquement toutes les stratégies d'atténuation de base à travers presque tous les modèles et groupes linguistiques.

• C-3PO réalise une augmentation absolue allant jusqu'à 0,10 point de Fleiss's $\kappa_S$ Singleton par rapport aux modèles non alignés.
• Alors que des lignes de base comme le pilotage vectoriel de persona atteignent parfois des scores élevés dans des configurations spécifiques (par exemple, des paires persona-pays spécifiques), ces résultats sont décrits comme des « scénarios d'oracle cherry-picked ». C-3PO fournit un alignement robuste sans nécessiter la sélection manuelle de configurations optimales.
• Le prompting few-shot a été trouvé pour gonfler artificiellement les scores de cohérence douce et dure en s'effondrant vers un mode unique (répétant indistinctement une réponse), un comportement dégénéré que $\kappa_S$ pénalise robustement.

3.2 Impact des ressources linguistiques

L'étude révèle que la CCI affecte de manière disproportionnée les langues à faibles ressources (indonésien, persan, coréen, arabe, grec).

• Les groupes à faibles ressources présentent des scores $\kappa_S$ significativement plus faibles à travers tous les modèles et stratégies d'atténuation par rapport aux groupes à ressources élevées (anglais, chinois, espagnol).
• Les expériences d'ajout incrémental montrent que la cohérence se dégrade strictement à mesure que les langues à faibles ressources sont ajoutées au pool d'évaluation, identifiant la rareté des ressources comme un moteur principal de l'incohérence.

3.3 Analyse d'interprétabilité

Une analyse d'interprétabilité couche par couche sur Llama-3.1-8B révèle le mécanisme sous-jacent de la CCI :

• Point d'émergence : La cohérence interlinguistique n'émerge pas progressivement ; elle se manifeste brusquement dans les couches ultérieures (autour de la couche 22) à mesure que les représentations de passage avant se stabilisent.
• Personnalisation implicite : À mesure que les représentations se stabilisent, le modèle ancre implicitement les sorties à la culture stéréotypée associée à la langue de l'invite. Par exemple, les invites en espagnol déclenchent de plus en plus des prédictions pour le Mexique, et les invites en arabe pour l'Algérie ou les États-Unis.
• Analyse de pente : La régression linéaire des fréquences de prédiction à travers les couches confirme que la hausse des prédictions pour un pays spécifique est significativement plus raide lorsque la requête est dans la langue stéréotypée de ce pays, soutenant l'hypothèse que le modèle personnalise implicitement les réponses en fonction de la langue de l'invite.

4. Importance et revendications

L'article revendique quatre contributions principales :

1. Formalisation de la CCI : Il isole et formalise l'Incohérence culturelle interlinguistique comme un mode de défaillance distinct où les modèles échouent à exploiter les identités utilisateur explicites au profit d'indices linguistiques implicites.
2. Métrique robuste : Il introduit Fleiss's $\kappa_S$ Singleton, une métrique mathématiquement résiliente aux hallucinations, permettant la quantification de la cohérence sans rejeter les données invalides.
3. Atténuation efficace : Il propose C-3PO, un cadre auto-supervisé qui améliore considérablement la cohérence culturelle à travers divers modèles et architectures sans nécessiter de vérités terrain annotées par des humains.
4. Insight mécanistique : Il fournit des preuves de décodage précoce que les MLLM personnalisent implicitement les sorties vers la culture stéréotypée de la langue de l'invite à mesure que les représentations internes se stabilisent, et que cet effet est exacerbé dans les langues à faibles ressources.

Les auteurs maintiennent une stance modeste, reconnaissant que leur cadre assimile les pays aux cultures (un proxy réducteur) et que le « consensus » généré peut introduire une nouvelle forme de biais. Ils soutiennent que bien que leur travail aborde le suivi des instructions dans des contextes contraints, le débat plus large sur le moment où la cohérence interlinguistique est souhaitable par rapport au moment où l'adaptabilité culturelle est préférée reste ouvert pour de futures investigations.