Language as a Hidden Variable: Measuring Behavioral Divergence in Multilingual Large Language Models

Résumé technique : La langue comme variable cachée : Mesurer la divergence comportementale dans les grands modèles de langage multilingues

Énoncé du problème
Les grands modèles de langage (LLM) multilingues opèrent sous l'hypothèse tacite que les utilisateurs posant la même question dans différentes langues (par exemple, l'anglais, l'hindi, le français) recevront des réponses d'une qualité, d'un contenu factuel et d'une posture normative équivalents. Cependant, la littérature existante indique des écarts de performance, des variations du taux d'hallucination et des asymétries de biais induits par la culture selon les langues. Crucialement, les recherches antérieures n'ont pas isolé la langue comme seule variable contrôlée lors de l'examen de réponses génératives en texte libre à travers distincts régimes comportementaux (factuel, normatif et sensible à la sécurité). Cette étude aborde la lacune de compréhension pour savoir si des différences comportementales structurelles interlinguistiques émergent lorsque toutes les autres variables sont strictement contrôlées.

Méthodologie
L'étude emploie un plan expérimental contrôlé à petit échantillon ($3 \times 3 \times 2$) pour isoler la langue comme variable indépendante.

• Configuration expérimentale : Les chercheurs ont utilisé 30 prompts sémantiquement équivalents, équilibrés entre trois catégories : Factuel (contrôle), Normatif (porteur de valeurs) et Sensible à la sécurité (comportement de refus). Ces prompts ont été traduits en hindi et en français à partir de l'anglais, avec une vérification par rétrotraduction (scores BLEU calculés, bien que notés comme une limite pour les prompts de sécurité).
• Modèles : Deux modèles d'instruction de pointe ont été interrogés via l'API Groq : Llama-3.3-70B et GPT-OSS-20B.
• Procédure : Chaque prompt a été testé en anglais (ancre), en hindi et en français pour les deux modèles. Les paramètres d'inférence ont été verrouillés ($T=0,1$, max tokens=512) pour garantir que la langue soit la seule source de variation systématique. Un nombre supplémentaire de 180 réponses a été généré en répétant les prompts anglais pour établir une base de référence de bruit stochastique intra-langue.
• Mesure (Score de divergence comportementale - BDS) : Une métrique composite a été pré-enregistrée pour quantifier la divergence :
  • BDS-1 (Sémantique) : Distance cosinus entre les plongements (embeddings) SBERT des réponses en anglais et dans la langue cible.
  • Divergence de sentiment ($S_{sent}$) : Différence absolue des scores de sentiment composés.
  • Incohérence de refus ($S_{ref}$) : Indicateur binaire si la classe de refus (Réponse complète, Partielle, Refus explicite) diffère entre les langues.
  • BDS-full : Une somme pondérée ($0,5 \times \text{Sémantique} + 0,3 \times \text{Sentiment} + 0,2 \times \text{Refus}$).
• Hypothèses : Trois hypothèses directionnelles ont été pré-enregistrées : (H1) Les prompts de sécurité divergent plus que les prompts factuels ; (H2) L'hindi (EN-HI) diverge plus que le français (EN-FR) en raison de la distance typologique ; (H3) Les schémas de divergence sont cohérents entre les modèles.

Résultats clés

• Divergence vs Bruit : La divergence interlinguistique a systématiquement dépassé le seuil de bruit intra-langue par des facteurs de 1,1× à 2,5×, confirmant que les différences comportementales ne sont pas de simples artefacts de la stochasticité du modèle.
• Résultats des hypothèses : Strictement parlant, aucune des trois hypothèses directionnelles pré-enregistrées n'a été soutenue sur le plan statistique.
  • H1 (Sécurité > Factuel) : Non soutenue dans les données agrégées. Bien que Llama-3.3-70B ait montré une divergence de sécurité plus élevée, GPT-OSS-20B a présenté une divergence factuelle anormalement élevée, obscurcissant la tendance.
  • H2 (Hindi > Français) : Non soutenue globalement. La catégorie Normative approchait la significativité avec EN-HI > EN-FR, mais les catégories Factuelle et Sécurité ont montré la tendance inverse (EN-FR > EN-HI), principalement à cause de GPT-OSS-20B.
  • H3 (Cohérence entre modèles) : Non soutenue. La corrélation entre les modèles était proche de zéro ou négative ($r \approx -0,1$), indiquant que les deux modèles divergent sur des prompts systématiquement différents.
• Résultats spécifiques aux catégories :
  • Prompts Normatifs : Ont présenté la plus forte divergence de sentiment ($S_{sent} \approx 0,28$) et les taux d'incohérence de refus les plus élevés (30 % pour EN-HI, 25 % pour EN-FR). Les réponses non anglaises ont souvent modifié le ton (plus positif) ou la classe de refus par rapport à l'ancre anglaise.
  • Prompts de Sécurité : Ont montré un résultat contre-intuitif où les réponses en hindi étaient plus conformes (60 % de Réponse complète) que les ancres anglaises (55 %), contredisant l'hypothèse selon laquelle l'alignement de sécurité pour les langues non anglaises est uniformément plus faible.
  • Spécificité du modèle : La divergence n'est pas une propriété universelle du prompt mais une interaction modèle-prompt. GPT-OSS-20B a montré une variance nettement plus élevée et des schémas de divergence différents par rapport à Llama-3.3-70B.

Signification et affirmations
L'article soutient que sa principale contribution n'est pas l'ampleur de la divergence observée, mais la démonstration que la divergence persiste même dans des conditions conçues pour éliminer les facteurs de confusion. L'étude établit l'incohérence comportementale interlinguistique comme une « propriété de premier ordre » des LLM multilingues plutôt que comme un artefact de variation non contrôlée.

Les principales implications soulignées par les auteurs incluent :

1. Réévaluation des métriques : Les métriques de précision globale sont insuffisantes pour l'évaluation multilingue ; la cohérence comportementale doit être mesurée explicitement.
2. Sécurité et Équité : L'incohérence du comportement de refus (jusqu'à 30 % de discordance dans les prompts normatifs) et la conformité de sécurité contre-intuitive en hindi suggèrent que les pipelines d'alignement centrés sur l'anglais créent des lacunes structurelles. Les utilisateurs issus de différents contextes linguistiques peuvent effectivement interagir avec des comportements de modèle différents.
3. Conseils de déploiement : Les auteurs recommandent d'incorporer des audits de parité linguistique, des vérifications de cohérence de refus et des tests de stress de langue de prompt dans les pipelines d'évaluation standard avant un déploiement mondial.
4. Limites de la distance linguistique : L'échec de l'hypothèse « l'hindi diverge plus que le français » suggère que l'architecture du modèle et les choix de fine-tuning peuvent l'emporter sur la distance typologique brute dans la détermination des schémas de divergence.

Les auteurs maintiennent une portée modeste, reconnaissant que les résultats sont limités aux modèles spécifiques (Llama-3.3-70B, GPT-OSS-20B), aux langues (anglais, hindi, français) et à l'ensemble de prompts étudiés, et ne se généralisent pas à tous les LLM ou à toutes les langues sans investigation supplémentaire.