Exploring Continual Fine-Tuning for Enhancing Language Ability in Large Language Model

Probleemstelling

Grote Taalmodellen (LLMs) vertonen vaak sterke prestaties in het Engels, maar worstelen met instructie-opvolging in andere talen, vooral in talen met weinig bronnen. Een veelvoorkomende aanpak om dit op te lossen is het fine-tunen op een mengsel van Engelse en meertalige instructiedata. Echter, deze methode leidt vaak tot een onevenwicht: het model presteert goed in het Engels maar slecht in andere talen.

Het grootste probleem ontstaat wanneer men probeert de meertalige vaardigheden van een model dat al goed is in het Engels te verbeteren door alleen op meertalige data te trainen. Dit veroorzaakt vaak catastrophic forgetting (catastrofaal vergeten), waarbij het model zijn oorspronkelijke Engelse vaardigheden (English Ability - EA) verliest ten gunste van de nieuwe meertalige vaardigheden (Multilingual Ability - MA). In de praktijk is het echter onwenselijk om Engelse vaardigheden te verliezen, aangezien het merendeel van de queries in het Engels is. De uitdaging is dus om de meertalige vaardigheden te verbeteren zonder de Engelse prestaties te schaden.

Methodologie

De auteurs introduceren een tweefasige Continue Fine-tuning (CFT) setup om dit probleem aan te pakken, in plaats van het trainen op een mengsel van datasets (dataset mixture).

1. Fase 1 (Engelse Basis): Een voorgeïmplementeerde LLM (zoals MISTRAL-7B of LLAMA-3-8B) wordt eind-tot-eind gefine-tuned op een hoogwaardige Engelse instructiedataset (bijv. ALPACA of OPENORCA). Dit bouwt de Engelse Vaardigheid (EA) op.
2. Fase 2 (Meertalige Adaptatie): Het model uit Fase 1 wordt vervolgens gefine-tuned op een vergelijkbare meertalige instructiedataset (bijv. MULTIALPACA of MOPENORCA). Het doel is hier om de Meertalige Vaardigheid (MA) te verhogen.

Belangrijke beperkingen:

• De dataset van Fase 1 mag niet opnieuw worden gebruikt in Fase 2 (vaak zijn de originele datasets van gepubliceerde instructiemodellen niet beschikbaar).
• De gewichten van het Fase 1-model kunnen niet tijdens het trainen van Fase 2 worden bewaard (om GPU-geheugen en rekkracht te besparen).

Analyse van Dataset Similariteit:
De auteurs onderzoeken of de soort instructies in de datasets een rol speelt. Ze definiëren twee metrics om de gelijkenis tussen de datasets te kwantificeren:

• Dataset Embedding Similarity (DES): Meet de semantische gelijkenis van instructies via taal-onafhankelijke embeddings.
• Model Parameter Difference (MPD): Meet de fysieke afstand tussen de modelparameters na fine-tuning op de respectievelijke datasets.

Mitigatiestrategieën:
Om het verlies van Engelse vaardigheden te voorkomen bij niet-gelijkende datasets, testen ze twee strategieën:

• Distributie Replay:
  • Generative Replay (GR): Het Fase 1-model genereert Engelse antwoorden op de Engelse tegenhangers van de meertalige Fase 2-dataset, die vervolgens worden meegenomen in het trainingsproces.
  • English Replay (ER): Het gebruik van bestaande parallelle Engelse data uit de Fase 2-distributie.
• Layer Freezing (LF): Het bevriezen van specifieke lagen tijdens Fase 2. Ze testen heuristieken zoals het bevriezen van willekeurige lagen, de lagen die het meest veranderd zijn in Fase 1, of lagen met het hoogste "signaal-ruisverhouding" (Spectrum-methode).

Belangrijkste Bijdragen

1. Tweefasige CFT vs. Dataset Mixture: Het paper toont aan dat de tweefasige CFT-setup superieur is aan het gelijktijdige fine-tunen op een mengsel van Engelse en meertalige data. De CFT-methode leidt tot betere prestaties in alle talen (inclusief Engels) voor dezelfde hoeveelheid trainingsstappen.
2. De Rol van Instructie-Similariteit: Een cruciale bevinding is dat de gelijkenis tussen de instructies in Fase 1 en Fase 2 bepalend is.
   • Bij gelijkende instructies (bijv. ALPACA -> MULTIALPACA): Het model behoudt of verbetert zelfs zijn Engelse vaardigheden terwijl het meertalige vaardigheden verbetert.
   • Bij niet-gelijkende instructies (bijv. Instruct -> MULTIALPACA): Er treedt significant verlies op in de Engelse vaardigheden door representatieve verschuivingen en interferentie in de modelgewichten.
3. Validatie van Mitigatie: De auteurs tonen aan dat technieken zoals English Replay en Layer Freezing effectief zijn om het verlies van Engelse vaardigheden te beperken, zelfs wanneer de datasets niet sterk op elkaar lijken.

Resultaten

De experimenten zijn uitgevoerd op MISTRAL-7B en LLAMA-3-8B (en hun instructie-versies).

• Prestaties: Bij vergelijkbare datasets (ALPACA/MULTIALPACA) behaalde het model na Fase 2 een stijging in de Engelse score (bijv. +3% op IFEval) en een duidelijke stijging in meertalige scores.
• Vergeetgedrag: Bij niet-gelijkende datasets (Instruct/MULTIALPACA) daalde de Engelse score drastisch (bijv. -8% op IFEval voor Mistral-7B).
• Visualisatie: t-SNE visualisaties van de verborgen activaties tonen aan dat bij niet-gelijkende datasets de representaties van Fase 1 en Fase 2 sterk uiteenlopen (gescheiden clusters), wat wijst op grote interferentie. Bij gelijke datasets blijven de activaties dicht bij elkaar.
• Mitigatie-effectiviteit:
  • English Replay (ER_10) presteerde het beste, waarbij het de Engelse vaardigheden het beste behield terwijl de meertalige vaardigheden werden verbeterd.
  • Generative Replay (GR) en Layer Freezing (LF) toonden ook verbeteringen ten opzichte van de baseline, hoewel de resultaten per model en strategie varieerden.
  • De Spectrum-methode (gebaseerd op signaal-ruisverhouding) bleek effectief voor het selecteren van lagen om te bevriezen.

Betekenis en Conclusie

Dit paper biedt een belangrijke inzicht in hoe Large Language Models succesvol kunnen worden aangepast voor meertalige gebruik zonder de oorspronkelijke Engelse competentie te verliezen. De kernboodschap is dat sequentiële fine-tuning (CFT) effectiever is dan gelijktijdige training, mits er aandacht wordt besteed aan de semantische similariteit van de instructies.

Wanneer datasets niet vergelijkbaar zijn, zijn mitigatiestrategieën zoals het gebruik van parallelle Engelse data (Replay) of het selectief bevriezen van lagen noodzakelijk om "catastrophic forgetting" te voorkomen. Deze bevindingen zijn cruciaal voor de ontwikkeling van robuuste, meertalige AI-systemen die in real-world scenario's kunnen worden ingezet, waar zowel hoge Engelse als sterke meertalige prestaties vereist zijn. De auteurs benadrukken dat er geen "one-size-fits-all" strategie is en dat toekomstig werk gericht moet zijn op het ontwikkelen van efficiëntere regularisatiemethoden en het analyseren van dataset-similariteit.