Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

Probleemstelling

Grote Taalmodellen (LLMs) tonen indrukwekkende algemene intelligentie en redeneervermogen, maar hun prestaties zijn sterk ongelijk verdeeld over verschillende talen. Hoewel ze veel cross-taal kennis in een uniek semantisch ruimte hebben opgeslagen, worstelen ze vaak met het betrouwbaar verwerken van teksten in low-resource talen (zoals Swahili of Bengaals) of ongezien talen. Ze zijn doorgaans sterk Engels-georiënteerd.

Aan de andere kant bestaan er reeds voorgeprogrammeerde Encoder-Decoder vertaalmodellen (Neural Machine Translation of NMT, zoals NLLB) die uitstekende, gebalanceerde meertalige vaardigheden hebben voor zowel begrijpen als genereren. Echter, deze modellen missen vaak het diepe redeneervermogen en de algemene kennis van LLMs. Bestaande methoden om LLMs meertalig te maken (zoals het toevoegen van alleen een encoder) verbeteren vaak het begrip, maar laten de generatie beperkt tot Engels, of vereisen kostbare hertraining van de hele LLM.

Methodologie: XBridge

De auteurs stellen XBridge voor, een compositie-architectuur die de sterke punten van beide werelden combineert zonder de LLM opnieuw te hoeven trainen. De kernarchitectuur is Encoder-LLM-Decoder:

1. Architectuur:

   • Encoder: Een voorgeprogrammeerde multilinguale NMT-encoder verwerkt de invoer in de bron-taal en projecteert deze naar een gedeelde semantische ruimte.
   • Mapping Layer (Encoder): Een lichte, trainbare laag (MLP) vertaalt de encoder-representaties naar de input-ruimte van de LLM.
   • LLM (Frozen): De grote taalmodel (bijv. LLaMA3, Qwen) blijft bevroren en fungeert als het "Engels-georiënteerde hart" voor kennisverwerking en redenering. Het ontvangt de vertaalde semantische informatie en genereert een antwoord in het Engels.
   • Mapping Layer (Decoder): Een tweede lichte laag projecteert de interne hidden states van de LLM (specifiek de voorlaatste laag) naar de representatieruimte van de decoder.
   • Decoder: Een voorgeprogrammeerde multilinguale NMT-decoder genereert de uiteindelijke output in de gewenste doeltaal, gebruikmakend van de LLM's semantische inhoud.

2. Optimal Transport (OT) Alignment:
   Een cruciale uitdaging is de semantische misalignement tussen de LLM-output en de decoder-input, veroorzaakt door verschillende tokenisaties en representatieruimten. XBridge lost dit op met een Optimal Transport (OT) doelstelling. In plaats van een harde 1-op-1 mapping, berekent de OT-loss een "zachte" veel-op-veel matching tussen de token-sequenties van de LLM en de encoder-representaties van diezelfde output. Dit zorgt voor fijne semantische consistentie op token-niveau, zelfs bij verschillende sequentielengtes.

3. Drie-staps Trainingsstrategie:
   Om stabiele optimalisatie te garanderen, wordt het model in drie fasen getraind (de LLM blijft altijd bevroren):

   • Fase 1 (Cross-Model Mapping): Coarse-grained semantische uitlijning tussen Encoder, LLM en Decoder met behulp van trilinguale vertaaldata.
   • Fase 2 (Encoder-Side Adaptation): Aanpassing van de encoder-mapping aan specifieke taken (zoals instructievolgen) om de LLM te leren hoe het meertalige representaties moet gebruiken.
   • Fase 3 (Decoder-Side Adaptation): Aanpassing van de decoder-mapping en cross-attention lagen om de kwaliteit van de meertalige generatie te maximaliseren, gebruikmakend van de gestabiliseerde LLM-output.

Belangrijkste Bijdragen

• Compositional Framework: XBridge introduceert een nieuwe manier om meertaligheid uit te breiden door een externe NMT-architectuur te "componeren" met een LLM, in plaats van de LLM zelf te herschrijven.
• Ontkoppeling van Taal en Redenering: Het model ontkoppelt effectief de taalkundige vaardigheden (verantwoordelijk voor de NMT-component) van het redeneervermogen (verantwoordelijk voor de LLM).
• Efficiënte Optimal Transport: Het gebruik van OT voor token-level uitlijning tussen heterogene modellen lost het probleem van tokenisatieverschillen op zonder zware hertraining.
• Language-on-Demand: Het systeem kan outputs genereren in willekeurige talen (inclusief ongeziene talen) door simpelweg de taal-token voor de decoder te wijzigen, zonder de LLM opnieuw te hoeven trainen.

Resultaten

De auteurs evalueren XBridge op vier verschillende LLMs (MetaMath-7B, LLaMA3-8B, Aya-23-8B, Qwen2.5-7B) over taken zoals vertaling, redeneren (MGSM-benchmark), samenvatten (XL-Sum) en begrip.

• Prestaties op Low-Resource Talen: XBridge presteert aanzienlijk beter dan sterke baselines (zoals MindMerger en LayAlign) op low-resource en ongeziene talen. De prestaties komen in de buurt van die van de externe NMT-modellen zelf.
• Behoud van Kerncapaciteiten: In tegenstelling tot methoden die de LLM hertrainen, degradeert XBridge de oorspronkelijke Engelstalige redeneer- en generatiecapaciteiten niet.
• Generalisatie: Het model generaliseert goed naar talen die niet in de trainingsdata voorkwamen (42 ongeziene talen in FLORES-101), wat aantoont dat de geleerde mapping taal-agnostisch is.
• Efficiëntie: Hoewel er een lichte vertraging is door de extra decoder, is XBridge sneller dan cascade-systemen (vertalen -> LLM -> vertalen) en veel efficiënter dan het volledig fine-tunen van een LLM.

Betekenis

XBridge biedt een praktische en schaalbare oplossing voor het meertaligheidsprobleem in LLMs. Het demonstreert dat het niet nodig is om enorme LLMs opnieuw te trainen met duizenden talen om goede prestaties te behalen. Door slimme architecturale composities en uitlijningstechnieken kunnen bestaande, krachtige Engelstalige LLMs worden "uitgebreid" met de meertalige vaardigheden van gespecialiseerde vertaalmodellen. Dit maakt robuuste, meertalige AI-toepassingen toegankelijker voor low-resource talen en vermindert de afhankelijkheid van kostbare data en rekenkracht voor hertraining.