Résumé technique : Népotisme linguistique dans le RAG multilingue

Énoncé du problème

Les systèmes de génération augmentée par récupération multilingue (mRAG) sont conçus pour répondre à des requêtes riches en connaissances avec des réponses appuyées par des citations à travers diverses langues. Cependant, une question cruciale reste ouverte : est-ce que le mélange de langues de documents dans le contexte de récupération induit involontairement un biais dans le comportement de génération et de citation du modèle ?

Les méthodes existantes pour mesurer la préférence linguistique souffrent de deux limitations principales :

1. Absence de contrôle de la correction : Les études mRAG à court terme estiment souvent la préférence via le chevauchement d'informations ou la similitude d'encastrement (embedding), ce qui ne vérifie pas directement si la source citée soutient réellement l'affirmation générée.
2. Facteurs de confusion : Les études mRAG à long terme, qui mesurent la fréquence des citations par rapport à la distribution des documents, sont confondues par la pertinence et l'informativité variable des sources. De plus, les citations en ligne sont sujettes aux hallucinations, ce qui rend difficile la distinction entre une véritable attribution et des citations fallacieuses.

Par conséquent, il reste incertain de savoir si les modèles citent des langues spécifiques en raison d'une informativité réelle ou d'un biais systématique qui pourrait mener à un « népotisme linguistique » — un arbitrage où la pertinence du document est sacrifiée au profit de la préférence linguistique.

Méthodologie

Pour isoler la préférence linguistique des autres variables, les auteurs proposent une méthodologie contrôlée utilisant les internes du modèle, illustrée par la Figure 1 de l'article. L'approche comprend quatre étapes :

1. Génération de données synthétiques (Étapes 1–2) :

   • Traduction : En partant de requêtes anglaises et de leurs documents de preuve pertinents ($D_{en}$), les auteurs utilisent la traduction automatique (API Google Translate) pour créer des ensembles de documents parallèles dans huit langues cibles ($D_{fr}, D_{ar}, D_{ko}, \dots$).
   • Génération de référence : Un LLM puissant (OpenAI o3) génère un rapport de référence soutenu par des citations pour chaque requête en utilisant les documents anglais. Ce rapport est segmenté en affirmations de niveau phrase, chacune associée à un identifiant de citation spécifique.

2. Filtrage de vérification (Étape 3) :

   • Pour garantir la correction de l'évaluation, les auteurs appliquent un filtre à deux étapes aux paires affirmation-citation :
     • LLM-as-Judge : Plusieurs modèles juges (OpenAI o4 mini, QWEN-3 32B, Gemini 2.5 Pro) classent la pertinence des documents par rapport à chaque affirmation. Seules les affirmations où la majorité des juges s'accordent sur le document cité sont conservées.
     • Implication NLI : Un classificateur d'inférence de langage naturel (NLI) vérifie que le document cité implique logiquement l'affirmation.
   • Ce processus produit un pool vérifié de 792 affirmations où la correction de la citation est garantie.

3. Mesure via la prédiction du prochain jeton (Étape 4) :

   • La métrique centrale est la précision de la prédiction du jeton (token) de l'identifiant de citation correct comme prochain jeton.
   • Contextes contrastifs : Pour chaque affirmation vérifiée, le modèle est sollicité avec l'affirmation et un contexte où seul le document spécifique à citer ($d_{ci}$) est présenté dans une langue cible $\ell$, tandis que tous les autres documents de preuve restent en anglais.
   • Métrique : La précision de la citation ($Acc(\ell)$) est calculée comme la fréquence avec laquelle le modèle prédit correctement l'identifiant de citation lorsque la source est dans la langue $\ell$.
   • Écart de préférence : La préférence linguistique est quantifiée par $\Delta(\ell_{target}) = Acc(\ell_{target}) - Acc(en)$. Une valeur négative indique une préférence pour l'anglais par rapport à la langue cible.

Configuration expérimentale

• Jeux de données : Le jeu de données principal est le dataset ELI5 (Explain Like I'm Five) de questions-réponses de format long (270 requêtes du test WebGPT). Pour les expériences de pertinence vs langue, le dataset MIRACL est utilisé pour introduire des distracteurs non pertinents.
• Langues : Huit langues cibles représentant divers niveaux de ressources : l'arabe, le bengali, le français, le coréen, le russe, l'espagnol, le swahili et le chinois.
• Modèles : Six LLM à poids ouverts de tailles et d'architectures variées : LLAMA-3.1 8B, LLAMA-3.3 70B, QWEN-3 8B/14B, GEMMA-3 27B, et AYA23 8B.

Résultats clés

1. Forte préférence pour l'anglais

À travers les six modèles et huit langues, les modèles présentent une tendance marquée à citer les documents anglais lorsque la requête est en anglais.

• Magnitude : La précision de la citation chute de manière significative lorsque le document cité est dans une langue autre que l'anglais par rapport à l'anglais.
• Corrélation des ressources : Le biais est amplifié pour les langues à faibles ressources. Par exemple, le swahili et le bengali montrent les chutes de précision les plus importantes (jusqu'à -37,6 % pour AYA23 8B), tandis que les langues plus riches comme le français et l'espagnol présentent des diminutions moindres.
• Biais de position : Le phénomène du « lost in the middle » (perdu au milieu) exacerbe ce biais. La précision de la citation est la plus faible lorsque le document apparaît au milieu du contexte, et l'écart entre la précision en anglais et celle dans la langue cible est le plus large à cette position.

2. Préférence pour la langue de la requête

Lorsque la requête elle-même est traduite dans une langue cible, les modèles déplacent leur préférence vers la citation de documents dans la langue de la requête, même si cette langue n'est pas l'anglais.

• Les modèles performent le mieux lorsque le document cité correspond à la langue de la requête, même si d'autres documents de contexte sont en anglais.
• Cela suggère une « préférence pour la langue de la requête » où le modèle favorise l'alignement linguistique entre la requête et la preuve, reflétant la « préférence pour sa propre langue » observée chez les humains dans les citations scientifiques.

3. La langue l'emporte sur la pertinence

Dans les expériences introduisant des distracteurs non pertinents, les auteurs constatent que les modèles sacrifient fréquemment la pertinence du document au profit de la préférence linguistique.

• Anglais non pertinent vs Non-anglais pertinent : Lorsqu'un document pertinent est dans une langue cible et qu'un document non pertinent est en anglais, la précision de la citation chute significativement sous la ligne de base. Le modèle est induit en erreur par la source anglaise non pertinente.
• Anglais pertinent vs Non-anglais non pertinent : Inversement, lorsque le document pertinent est en anglais et que le distracteur est dans une langue cible, la précision augmente au-dessus de la ligne de base. Le modèle écarte plus facilement les distracteurs non pertinents dans une langue autre que l'anglais.
• Cela indique que dans le mRAG de format long, la préférence linguistique peut être un moteur plus fort du comportement de citation que la pertinence factuelle.

4. Analyse des internes du modèle

En utilisant la visualisation Logit Lens sur LLAMA-3.1 8B, les auteurs observent que :

• Les modèles ne favorisent pas initialement l'anglais pour se corriger plus tard.
• Au lieu de cela, il existe une région de transition spécifique (couches 18–22) où les prédictions de citation se cristallisent. Une fois que le modèle s'engage dans une citation (correcte ou incorrecte), il préserve largement ce choix dans les couches suivantes.
• L'écart entre les prédictions correctes et incorrectes se réduit pour les langues à faibles ressources, confirmant un biais anglais plus fort dans ces cas.

Signification et revendications

L'article affirme fournir la première mesure contrôlée de la préférence linguistique dans le mRAG de format long en utilisant les internes du modèle pour maintenir la pertinence constante. La signification de ces découvertes réside dans :

1. Révélation d'un biais systématique : L'étude démontre que les choix de citation ne sont pas uniquement dictés par l'informativité. Les modèles font preuve de « népotisme linguistique », favorisant systématiquement l'anglais (ou la langue de la requête) même au détriment de la pertinence.
2. Impact sur la confiance et l'équité : Ces biais risquent de marginaliser les sources non anglaises, de renforcer les hiérarchies linguistiques existantes et de réduire la confiance dans les outils assistés par l'IA pour les utilisateurs multilingues, particulièrement dans des domaines à enjeux élevés comme la santé ou le journalisme.
3. Contribution méthodologique : Le cadre proposé offre une manière robuste d'évaluer le comportement de citation en isolant les effets de la langue de la pertinence du contenu, répondant ainsi aux limites des travaux antérieurs qui reposaient sur des comptages de fréquence grossiers ou des métriques de chevauchement non vérifiées.

Les auteurs concluent que la construction de systèmes mRAG plus robustes et inclusifs nécessite de reconnaître que la langue elle-même exerce une influence plus forte que la pertinence du document dans les modèles actuels, nécessissant des pratiques d'évaluation transparentes et conscientes des enjeux linguistiques.