Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

1. Le Problème

Les Grands Modèles de Langage (LLM) démontrent une intelligence générale et des capacités de raisonnement exceptionnelles, mais leur performance multilingue reste fortement déséquilibrée. Bien qu'ils encodent une grande quantité de connaissances interlinguales dans un espace sémantique unifié, ils peinent à accéder à ces connaissances pour les langues à faible ressources ou non vues (unseen languages). Ils fonctionnent bien en anglais et dans quelques langues à haute ressource, mais échouent souvent à générer ou comprendre de manière fiable dans d'autres langues.

Les modèles de traduction neuronale (NMT) pré-entraînés (encodeur-décodeur) possèdent, à l'inverse, une capacité multilingue équilibrée couvrant des centaines de langues. Cependant, ils manquent de capacités de raisonnement général. L'objectif est de combiner les forces des deux : utiliser le LLM comme noyau de connaissance et de raisonnement, et déléguer la compréhension et la génération multilingue à un modèle NMT externe, sans avoir à ré-entraîner le LLM (ce qui est coûteux et peut dégrader ses capacités existantes).

2. Méthodologie : XBridge

Les auteurs proposent XBridge, une architecture compositionnelle qui intègre un modèle NMT pré-entraîné avec un LLM figé (frozen).

Architecture

XBridge adopte une structure Encodeur - LLM - Décodeur :

1. Encodeur Multilingue : Un encodeur NMT pré-entraîné (ex: NLLB) transforme l'entrée dans la langue source ($x$) en représentations sémantiques partagées.
2. Couche de Mappage Encodeur ($Mapping_{enc}$) : Une couche légère (MLP) projette les représentations de l'encodeur dans l'espace d'entrée du LLM.
3. LLM (Cœur de Connaissance) : Le LLM (ex: LLaMA, Qwen) reste figé. Il reçoit les représentations mappées et un prompt d'instruction en anglais pour traiter la tâche (raisonnement, compréhension). Il génère une séquence de tokens anglais ($z$).
4. Représentations Intermédiaires : Au lieu d'utiliser la dernière couche du LLM, XBridge extrait les états cachés de l'avant-dernière couche ($H_{z'}$), car ils contiennent des informations sémantiques plus riches et moins alignées sur le vocabulaire de sortie.
5. Couche de Mappage Décodeur ($Mapping_{dec}$) : Une autre couche légère projette les états cachés du LLM dans l'espace de représentation du décodeur NMT.
6. Décodeur Multilingue : Un décodeur NMT pré-entraîné utilise les représentations mappées comme clés/valeurs pour l'attention croisée et génère la sortie dans la langue cible ($y$).

Alignement par Transport Optimal (OT)

Un défi majeur est le décalage sémantique entre les espaces de représentation hétérogènes du LLM et du décodeur, aggravé par des tokenisations différentes (longueurs de séquences variables).

• Solution : XBridge introduit un objectif d'alignement basé sur le Transport Optimal (Optimal Transport - OT).
• Fonctionnement : Le système ré-encode la sortie anglaise du LLM ($z$) via l'encodeur NMT pour obtenir $H_z$. Il compare ensuite $H_z$ (espace encodeur) avec les représentations mappées du LLM ($\tilde{H}_{z'}$) destinées au décodeur.
• Avantage : L'OT permet un alignement "many-to-many" souple et robuste aux différences de longueur de séquence, assurant une cohérence sémantique fine au niveau des tokens entre le LLM et le décodeur.

Stratégie d'Entraînement en Trois Étages

Pour une optimisation stable, l'entraînement se fait en trois étapes successives (le LLM restant figé) :

1. Alignement Inter-Modèle : Alignement grossier entre l'encodeur, le LLM et le décodeur sur des données de traduction trilingues. Seules les couches de mappage et les couches d'attention du décodeur sont entraînées.
2. Adaptation Côté Encodeur : Ajustement fin de la couche $Mapping_{enc}$ sur des données d'instruction spécifiques pour apprendre au LLM à utiliser les représentations multilingues pour le raisonnement.
3. Adaptation Côté Décodeur : Ajustement fin de $Mapping_{dec}$ et de l'attention du décodeur pour optimiser la génération multilingue, en utilisant la perte d'alignement OT.

3. Contributions Clés

• Architecture Compositionnelle : Une approche novatrice qui décharge la charge multilingue sur un modèle NMT externe tout en préservant le LLM comme noyau de raisonnement, évitant ainsi le ré-entraînement coûteux du LLM.
• Alignement par Transport Optimal : Introduction d'un mécanisme d'alignement sémantique robuste capable de gérer les hétérogénéités de tokenisation et d'espace de représentation entre un LLM et un modèle NMT.
• Génération "Language-on-Demand" : La capacité de générer des réponses dans n'importe quelle langue cible (même non vue pendant l'entraînement) en changeant simplement le token de langue du décodeur, sans ré-entraînement.
• Efficacité des Paramètres : Seuls les mappages légers et les couches d'attention du décodeur sont entraînés, rendant la méthode très économe en paramètres et en données.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre LLMs (MetaMath-7B, LLaMA3-8B, Aya-23-8B, Qwen2.5-7B) et le modèle NMT NLLB-200.

• Compréhension et Génération (FLORES-101) : XBridge surpasse les modèles de base et les approches concurrentes (MindMerger, LayAlign), en particulier sur les langues à faible ressource. Il atteint des performances proches du modèle NMT externe pur, comblant l'écart de performance entre langues riches et pauvres.
• Raisonnement Multilingue (MGSM) : XBridge démontre que le raisonnement est préservé (via le LLM) tout en permettant une sortie multilingue fidèle. Les performances en précision surpassent les pipelines de traduction en cascade et les méthodes d'augmentation d'encodeur seul.
• Résumé Abstrait (XL-Sum) : XBridge obtient de meilleurs scores ROUGE-L que les méthodes SFT (Fine-tuning) et les baselines, notamment pour les langues où la génération est difficile.
• Généralisation : Le modèle généralise bien à 42 langues non vues pendant l'entraînement, prouvant que l'alignement appris est agnostique à la langue spécifique.
• Analyse d'ablation : La suppression de l'alignement OT ou de la phase d'adaptation du décodeur entraîne une chute significative des performances, confirmant l'importance de chaque composant.

5. Signification et Impact

XBridge représente une avancée significative pour rendre les LLMs véritablement multilingues sans sacrifier leur intelligence générale ni engendrer des coûts de calcul prohibitifs.

• Évolutivité : Il permet d'étendre instantanément les capacités d'un LLM à de nouvelles langues en composant simplement un nouveau modèle NMT, sans toucher au LLM.
• Équité Linguistique : Il réduit considérablement le fossé de performance entre les langues à haute et faible ressource, offrant des capacités de raisonnement et de génération de haute qualité pour des langues souvent négligées.
• Efficacité : En évitant le ré-entraînement du LLM, cette méthode offre une solution pratique et économique pour l'industrie, permettant de déployer des systèmes multilingues robustes avec un minimum de paramètres ajustables.

En résumé, XBridge propose un paradigme où le LLM agit comme un "cerveau" anglophone universel, tandis que des modules de traduction spécialisés agissent comme des "membres" capables de communiquer dans n'importe quelle langue, le tout orchestré par des mécanismes d'alignement sémantique sophistiqués.