Technische Samenvatting: EstLLM

Probleemstelling

Grote taalmodellen (LLM's) worden voornamelijk getraind op Engelstalige data, wat leidt tot een ongelijke prestatie over verschillende talen, met name voor kleinere talen zoals het Ests. Hoewel er meertalige modellen bestaan, blijven de distributies van hun trainingsdata sterk ongebalanceerd, wat vaak resulteert in suboptimale capaciteiten voor talen met beperkte middelen (low-resource languages). Bestaande adaptatiepogingen worstelen vaak met het vinden van een balans tussen het verbeteren van de competentie in de doeltaal en het behouden van algemene redeneer- en instructievolgende vermogens die zijn verworven tijdens grootschalige pretraining. Dit artikel onderzoekt of Voortgezette Pretraining (Continued Pretraining, CPT) de Estse capaciteiten in meertalige LLM's substantieel kan verbeteren zonder de bredere Engelse prestaties of algemene redenering in gevaar te brengen.

Methodologie

De auteurs stellen EstLLM voor, een adaptatie-pipeline ontworpen om de Estse taalvaardigheid in vooraf getrainde meertalige LLM's te verbeteren. De pipeline maakt gebruik van Llama 3.1 8B en Apertus 8B als basismodellen en bestaat uit drie primaire stadia:

1. Voortgezette Pretraining (CPT):

   • Doel: De blootstelling aan het Ests vergroten terwijl het catastrofale vergeten (catastrophic forgetting) van algemene capaciteiten wordt beperkt.
   • Datamengsel: De auteurs hebben een gebalanceerd mengsel samengesteld van in totaal 35,7 miljard tokens. Dit bevat de Estonian National Corpus 2023 (ENC) (8,6 miljard tokens) als primaire bron voor het Ests. Om algemene capaciteiten te behouden, is dit gecombineerd met Engelse replay (Cosmopedia v2), code (Python-Edu), wiskunde (FineMath-4+) en instructie-geaugmenteerde corpora.
   • Strategie: Een "warm-up"-fase gaat vooraf aan de hoofd-CPT om distributieverschuivingen te verzachten, waarbij de nadruk ligt op hoogwaardige gecureerde data. De hoofd-CPT draait voor één enkele epoch op het door het Ests verrijkte mengsel zonder dat de data wordt herhaald, gebaseerd op voorlopige bevindingen dat meerdere epochs slechts marginale winst opleverden.
   • Techniek: Sequenties worden verpakt naar 4096 tokens met behulp van 'best-fit bin packing' om de integriteit van documenten te bewaren.

2. Post-Training (Instructie-afstemming & Voorkeur-optimalisatie):

   • Supervised Fine-Tuning (SFT): De CPT-modellen ondergaan SFT primair op Engelse datasets om instructievolgende vermogens te herstellen, terwijl ze ook Estse data integreren (door experts geschreven V&A, parallelle vertaling en synthetische data gegenereerd door Gemma 3 27B) om instructievolgen in het Ests mogelijk te maken.
   • Preference Optimization (DPO): Direct Preference Optimization wordt toegepast met de HelpSteer3 dataset om de output van het model af te stemmen op menselijke voorkeuren, waarbij wordt vertrouwd op cross-linguale transfer in plaats van taalspecifieke voorkeursdata.

3. Chat Vector Merging:

   • Om het instructievolgende gedrag verder te herstellen, passen de auteurs Chat Vector merging toe. Dit houdt in dat het parameterverschil ($\theta_{Instruct} - \theta_{Base}$) wordt berekend tussen het oorspronkelijke instructie-getunede basismodel (bijv. Llama 3.1 8B Instruct) en de basisversie, en dit vector vervolgens wordt toegevoegd aan het post-getrainde model ($\theta_{CPT}$). Dit draagt instructievolgende patronen over zonder hertraining.

Belangrijkste Bijdragen

1. Adaptatie-pipeline: Een uitgebreide pipeline voor het aanpassen van vooraf getrainde LLM's aan het Ests via CPT, post-training en chat vector merging.
2. Empirische Inzichten:
   • Bewijs dat Engels-gecentreerde modellen (Llama 3.1) meertalige modellen (Apertus) kunnen overtreffen na adaptatie, wat suggereert dat de initiële prestatie in de doeltaal geen betrouwbare voorspeller is voor het adaptatiepotentieel.
   • Demonstratie dat chat vector merging effectief de Engelse capaciteiten herstelt terwijl de Estse winsten worden gecombineerd.
3. Gereleaseerde Modellen: De release van de EstLLM-modellen (schaal 8B) die top-prestaties behalen in Ests-specifieke evaluaties.
4. Benchmarking: De constructie van een nieuwe multi-turn prompt dataset voor systematische menselijke evaluatie en de implementatie van een Ests-specifieke Chatbot Arena-achtige leaderboard.

Resultaten

De aangepaste modellen werden geëvalueerd op Estse benchmarks, Engelse benchmarks en via menselijke evaluatie.

• Estse Prestaties: Beide aangepaste modellen vertoonden consistente verbeteringen ten opzichte van hun basisversies. Opvallend genoeg behaalde het Llama-3.1-EstLLM-8B model de sterkste algehele prestaties onder de 8B-schaal modellen, waarbij het meertalige alternatieven zoals EuroLLM-9B en Apertus-8B overtrof op Estse discriminatieve benchmarks. Het Llama-gebaseerde model vertoonde een relatieve winst van +30,4% op Estse discriminatieve taken, vergeleken met +7,8% voor Apertus.
• Engelse Prestaties: Hoewel CPT aanvankelijk leidde tot lichte regressies in de Engelse instructievolging en redenering voor het Llama-gebaseerde model, heeft chat vector merging deze capaciteiten aanzienlijk hersteld. Het samengevoegde model (Llama-EstLLM-8B-Instruct-CV) kwam overeen met of overtrof het originele Llama 3.1 8B Instruct op de meeste Engelse taken, terwijl het een superieure Estse prestatie behield.
• Menselijke Evaluatie: Gerichte tweeledige menselijke evaluatie op een multi-turn Estse benchmark bevestigde dat:
  • Het toevoegen van een chat vector de resultaten in alle categorieën (vloeiendheid, grammatica, instructievolging) aanzienlijk verbeterde.
  • Het starten vanaf het Engels-gecentreerde Llama-model betere resultaten opleverde dan starten vanaf het meertalige Apertus-model.
  • Het herhalen van de Estse data voor een tweede epoch geen meetbare verbetering opleverde ten opzichte van een enkele epoch.
• Arena Prestaties: In een Estse Chatbot Arena-achtige evaluatie rangschikte het samengevoegde Llama-gebaseerde EstLLM-model competitief, waarbij het de toppositie deelde met aanzienlijk grotere modellen (bijv. 685B en 1T parameter modellen) en andere open 8B modellen overtrof.

Betekenis en Claims

Het artikel beweert dat Voortgezette Pretraining met een gebalanceerd meertalig datamengsel, gecombineerd met lichtgewicht post-training alignment (met name chat vector merging), de prestaties in een enkele taal substantieel kan verbeteren in vooraf getrainde meertalige LLM's.

Belangrijke kernpunten benadrukt door de auteurs zijn onder meer:

• Adaptatiepotentieel: De effectiviteit van adaptatie hangt niet alleen af van de competentie in de doeltaal van het basismodel, maar ook van de oorspronkelijke pretraining-distributie. Engels-gecentreerde modellen kunnen meer "ruimte voor verbetering" bieden in specifieke talen met beperkte middelen dan modellen die al zwaar zijn afgestemd op meertaligheid.
• Efficiëntie: Eén enkele epoch van CPT is voldoende voor aanzienlijke winst op de 8B-schaal, wat de gangbare praktijk van het herhalen van de doeltaal-data voor meerdere epochs uitdaagt.
• Herstel van Algemene Capaciteiten: Chat vector merging biedt een computationeel goedkope methode om algemene doelgerichte capaciteiten (zoals Engelse instructievolging) te herstellen die mogelijk zijn verslechterd tijdens de taalspecifieke adaptatie, waardoor de trade-off tussen specialisatie en generalisatie effectief wordt ontkoppeld.

De auteurs houden een bescheiden standpunt aan door beperkingen te noemen zoals het gebrek aan systematische optimalisatie van datamengsels vanwege computationele beperkingen, de restrictie van experimenten tot de 8B-parameter schaal, en de afwezigheid van dedicated veiligheids-alignment voor de Estse modellen. Zij suggereren dat hoewel de bevindingen veelbelovend zijn, verder onderzoek nodig is om de specifieke bijdragen van verschillende databronnen te begrijpen en te verifiëren of deze dynamiek ook standhoudt voor aanzienlijk grotere modellen.