Multilingual Retrieval-Augmented Generation for Knowledge-Intensive Task

1. Problématique

Le Retrieval-Augmented Generation (RAG) est devenu une pierre angulaire des modèles de langage (LLM) modernes, permettant d'améliorer leur factualité et de réduire les hallucinations en accédant à des connaissances externes lors de l'inférence. Cependant, la majorité des recherches se concentrent sur des scénarios monolingues (principalement en anglais).

L'article identifie un vide critique : l'efficacité du RAG dans des tâches multilingues reste inexplorée. Les approches naïves actuelles, comme la traduction de la requête utilisateur vers l'anglais avant la recherche (tRAG), souffrent de limitations de couverture et d'erreurs de traduction qui dégradent la pertinence des documents récupérés. À l'inverse, la récupération directe dans plusieurs langues (MultiRAG) introduit des incohérences lorsque le modèle doit synthétiser des documents de langues différentes pour générer une réponse, ce qui pose des défis particuliers pour les langues à ressources limitées (Low-Resource Languages - LR).

2. Méthodologie

Les auteurs proposent une étude systématique comparant plusieurs pipelines RAG sur des tâches de questions-réponses ouvertes (Open-Domain QA) multilingues.

Approches évaluées :

• MonoRAG (RAG Monolingue) : La requête et la base de documents sont dans la même langue (celle de la requête).
• tRAG (Question Translation RAG) : La requête est traduite en anglais, la recherche est effectuée uniquement sur des documents anglais, et la réponse est générée dans la langue cible.
• MultiRAG (Multilingual RAG) : La recherche est effectuée directement sur une base de données hétérogène contenant des documents dans toutes les langues disponibles. Le LLM reçoit des documents de langues variées en contexte.
• CrossRAG (Crosslingual RAG) - Proposition principale : La recherche est effectuée de manière multilingue (comme MultiRAG) pour maximiser la couverture de l'information. Cependant, avant la phase de génération, les documents récupérés sont traduits vers une langue commune (l'anglais) par un outil externe. Le LLM génère ensuite la réponse dans la langue de la requête originale en s'appuyant sur des documents unifiés en anglais.

Configuration Expérimentale :

• Tâches : Évaluation sur trois benchmarks multilingues : MLQA, MKQA et XOR-TyDi QA.
• Modèles : Trois LLMs différents ont été testés : GPT-4o, Llama-3-8b-instruct et Command-R (35B).
• Récupération : Utilisation du système de recherche de Cohere (modèle d'embedding multilingue v3) sur un dump de Wikipédia multilingue.
• Traduction : Google Translate a été utilisé comme outil de traduction par défaut, avec des comparaisons utilisant GPT-4o.

3. Contributions Clés

1. Analyse des limites du tRAG : L'article démontre que la simple traduction de la requête (tRAG) est insuffisante car elle limite la recherche à une seule langue (l'anglais), manquant ainsi des informations cruciales disponibles uniquement dans d'autres langues, et souffre d'erreurs de traduction qui faussent la recherche.
2. Identification des défis du MultiRAG : Bien que MultiRAG élargisse la couverture informationnelle, les auteurs montrent que les LLMs peinent à extraire et synthétiser des informations provenant de documents de langues mélangées, entraînant des réponses incorrectes ou dans la mauvaise langue, particulièrement pour les langues à ressources limitées.
3. Proposition de CrossRAG : Introduction d'un pipeline hybride qui combine la richesse de la recherche multilingue avec la cohérence linguistique de la génération. En traduisant les documents récupérés vers une langue pivot (anglais) avant la génération, CrossRAG permet aux modèles de traiter l'information de manière cohérente tout en conservant l'accès à des connaissances globales.

4. Résultats

Les expériences menées sur les trois benchmarks révèlent les résultats suivants :

• Performance Globale : Le CrossRAG surpasse systématiquement toutes les autres approches (MonoRAG, tRAG et MultiRAG) en termes de précision exacte (exact-match) et de rappel (3-gram).
• Impact sur les Langues à Ressources Limitées (LR) : L'amélioration apportée par CrossRAG est particulièrement marquée pour les langues LR. Par exemple, sur le modèle Command-R, l'amélioration moyenne par rapport à MultiRAG est de +5,0 % pour les langues LR contre +3,4 % pour les langues à ressources élevées (HR). Cela suggère que les modèles ont plus de mal à naviguer dans le multilinguisme natif pour les langues moins représentées dans leurs données d'entraînement.
• Robustesse : CrossRAG s'avère plus robuste aux variations dans l'ordre des documents récupérés. Contrairement à MultiRAG, qui est sensible à la position des documents en anglais par rapport aux autres langues, CrossRAG maintient des performances stables car tous les documents sont uniformément en anglais lors de la génération.
• Qualité de la Langue Générée : CrossRAG garantit que la réponse est générée dans la langue correcte de la requête, un problème fréquent avec MultiRAG où le modèle peut "glisser" vers la langue des documents récupérés.

5. Signification et Conclusion

Cet article établit que l'extension du RAG au-delà de l'anglais est non seulement possible, mais nécessaire pour des applications mondiales fiables. La découverte principale est que l'hétérogénéité linguistique des documents de contexte nuit à la performance de génération, même si elle améliore la récupération.

La solution proposée, CrossRAG, offre une stratégie pragmatique : utiliser la puissance de la recherche multilingue pour trouver l'information, puis normaliser cette information dans une langue pivot (l'anglais) pour faciliter le raisonnement du LLM. Cette approche permet de bénéficier des connaissances culturelles et factuelles spécifiques à chaque langue tout en évitant les pièges de la confusion linguistique lors de la génération.

En conclusion, les auteurs soulignent que pour déployer des assistants IA fiables dans des contextes multilingues, il ne suffit pas de traduire les requêtes ; il faut concevoir des pipelines qui gèrent activement la diversité linguistique des documents de récupération, probablement via une traduction intermédiaire vers une langue de travail commune.