Grow, Don't Overwrite: Fine-tuning Without Forgetting

Deze paper introduceert een nieuwe methode voor het uitbreiden van pre-getrainde modellen zonder hun oorspronkelijke kennis te verliezen, waardoor het mogelijk is om gespecialiseerde taken te leren zonder de prestaties op de oorspronkelijke taken te schaden.

De kern

Groeien, niet overschrijven: Hoe je een slimme AI laat leren zonder zijn geheugen te verliezen

Stel je voor dat je een zeer ervaren, veelzijdige kok hebt. Deze kok kan perfect Italiaans, Japans en Mexicaans koken. Hij kent de basisrecepten uit zijn hoofd en kan op elk moment een heerlijk gerecht neerzetten. Dit is je pre-getrainde AI-model.

Nu wil je deze kok leren om Indonesisch te koken. Het probleem? Als je hem gewoon laat oefenen op Indonesische recepten, begint hij de oude recepten te vergeten. Misschien vergeet hij hoe je pasta maakt, of hoe je sushi rolt. Dit fenomeen heet in de AI-wereld "catastrophic forgetting" (catastrofaal vergeten). De nieuwe kennis overschrijft de oude.

De meeste bestaande methoden om dit op te lossen zijn als een "geheugentrainer" die de kok dwingt om niet te vergeten, maar dan kan hij de nieuwe Indonesische gerechten niet goed leren. Of je moet een hele nieuwe kok aannemen, maar dan heb je twee mensen nodig die elk hun eigen ding doen, wat inefficiënt is.

De auteurs van dit paper hebben een slimme oplossing bedacht: "Grow, Don't Overwrite" (Groeien, niet overschrijven).

De Creatieve Analogie: Het Uitbreiden van de Keuken

In plaats van de oude kok te dwingen om zijn geheugen te herschrijven, bouwen ze gewoon een nieuwe vleugel aan de keuken.

1. De Kopieer- en Vermenigvuldig-methode:
   Stel je voor dat de kok een speciale "opslagkast" heeft voor ingrediënten (de MLP-submodules in de AI). De auteurs zeggen: "Laten we deze kast verdubbelen!"

   • Ze nemen de bestaande ingrediënten en zetten er een exacte kopie naast.
   • Maar wacht! Als je gewoon twee kasten hebt, krijg je dubbel zoveel eten. Dat is niet wat we willen. We willen dat het resultaat op het bord hetzelfde blijft als voorheen.
   • De Magische Truc: Ze verdubbelen de ingrediënten, maar ze halveren tegelijkertijd de hoeveelheid die eruit komt (de down-projection).
   • Het resultaat: De kok kan nu meer ingrediënten tegelijk verwerken (meer capaciteit), maar als hij een oud recept maakt, komt er precies hetzelfde gerecht uit als voorheen. De basisfunctie is onveranderd.

2. Nieuwe Vaardigheden in de Nieuwe Vleugel:
   Nu ze die extra ruimte hebben gecreëerd, laten ze de kok in die nieuwe ruimte oefenen op de Indonesische recepten.

   • Hij leert de nieuwe vaardigheden in de nieuwe kast.
   • De oude kast blijft intact en wordt niet aangeraakt.
   • Geen vergeten: Omdat de oude kast nooit is veranderd, kan de kok nog steeds perfect Italiaans, Japans en Mexicaans koken.

Waarom is dit zo speciaal?

• Geen compromis: Normaal moet je kiezen tussen "goed leren" en "niet vergeten". Met deze methode kun je beide. De AI wordt beter in de nieuwe taak én blijft perfect in de oude.
• Slimme besparing: Je hoeft niet de hele keuken uit te breiden. De onderzoekers ontdekten dat je vaak maar een paar specifieke kasten (lagen in het netwerk) hoeft te verdubbelen om hetzelfde resultaat te krijgen als een volledige verbouwing. Dit bespaart enorm veel tijd en rekenkracht.
• Aanpasbaar: Voor simpele taken (zoals vertalen) volstaat een kleine uitbreiding. Voor heel moeilijke taken (zoals wiskunde) moet je wat meer ruimte toevoegen, maar het werkt altijd zonder de basis te verstoren.

Samenvattend

Stel je voor dat je een boek hebt vol met kennis. In plaats van de oude pagina's te wissen om nieuwe informatie te schrijven, plak je er gewoon nieuwe pagina's bij. Je leest de nieuwe pagina's om iets nieuws te leren, maar de oude pagina's blijven precies zoals ze waren.

Deze methode zorgt ervoor dat AI-modellen kunnen groeien als een boom: ze krijgen nieuwe takken voor nieuwe vaardigheden, maar de stam en de oude takken blijven stevig en gezond. Geen vergeten, alleen maar groeien.

Technische samenvatting

Probleemstelling: Catastrophical Forgetting

Het artikel adresseert het fundamentele probleem van catastrophical forgetting (catastrofaal vergeten) bij het aanpassen van voorgeprogrammeerde taalmodellen aan nieuwe, gespecialiseerde taken.

• Het dilemma: Wanneer een model wordt gefine-tuned op een nieuwe taak (bijv. medische diagnose of wiskundig redeneren), overschrijft de standaard optimalisatie de bestaande parameters. Dit leidt tot het verlies van fundamentele kennis (zoals basisrekenen of algemene taalvaardigheid), terwijl het model moeite heeft om de nieuwe taak perfect te beheersen zonder de oude vaardigheden te schaden.
• Beperkingen van bestaande oplossingen:
  • Regularisatie: Voegt straffen toe om afwijkingen te voorkomen, maar creëert een nul-sum spel waarbij ruimte voor het onthouden van het verleden ten koste gaat van het leren van de toekomst.
  • Capaciteitsgroei (Capacity Growth): Voegt nieuwe parameters toe terwijl het originele model bevroren wordt. Echter, bestaande methoden falen vaak in het combineren van twee noodzakelijke eisen: functiebehoud (het model moet bij initialisatie exact hetzelfde gedrag vertonen als het origineel voor stabiliteit) en efficiëntie (nieuwe componenten moeten gebruikmaken van de bestaande kennis in plaats van willekeurig te starten).

Methodologie: Function-Preserving Expansion

De auteurs introduceren een nieuwe methode om de capaciteit van een Transformer-model te vergroten door de MLP-submodules (Multi-Layer Perceptrons) te "groeien" op een manier die de functie van het model behoudt.

Het kernproces:
De methode verdubbelt de interne dimensie van de MLP-laag door de parameters te repliceren en een correctie toe te passen:

1. Up-projection replicatie: De weight-matrix van de eerste laag ($W^{(1)}_n$, die de input naar een bredere hidden state mapt) wordt horizontaal verdubbeld. De nieuwe matrix $\hat{W}^{(1)}_n$ bestaat uit twee kopieën van de originele matrix naast elkaar.
2. Down-projection correctie: Om te garanderen dat de uiteindelijke output ongewijzigd blijft, wordt de weight-matrix van de tweede laag ($W^{(2)}_n$, die terugprojecteert) verticaal verdubbeld, maar met een schalingsfactor van 1/2. De nieuwe matrix $\hat{W}^{(2)}_n$ bevat twee kopieën van de originele matrix, elk vermenigvuldigd met 0,5.

Wiskundige garantie:
De auteurs bewijzen dat bij initialisatie de output identiek is aan die van het originele model:
$$[Y, Y] \times \begin{bmatrix} 0.5 W^{(2)} \\ 0.5 W^{(2)} \end{bmatrix} = 0.5 Y W^{(2)} + 0.5 Y W^{(2)} = Y W^{(2)}$$
Hierdoor is het uitgebreide model wiskundig identiek aan het origineel, wat stabiel training mogelijk maakt zonder dat de oorspronkelijke kennis verloren gaat.

Fine-tuning Strategieën:
De auteurs presenteren twee varianten voor het trainen van het uitgebreide model:

• G-Freeze (Standaard): Alleen de nieuwe gewichten worden getraind; de originele parameters blijven bevroren. Dit garandeert maximale stabiliteit.
• G-Train: Voor complexe taken (zoals wiskunde) wordt de volledige uitgebreide up-projection matrix ($\hat{W}^{(1)}$) getraind, terwijl de down-projection matrix en originele parameters bevroren blijven. Dit biedt meer plasticiteit voor complexe redeneringen.

Belangrijkste Bijdragen

1. Nieuwe Groeistrategie: Een methode die voorgeprogrammeerde kennis hergebruikt om nieuwe vaardigheden te leren zonder de oorspronkelijke functie te verstoren.
2. Eliminatie van de Trade-off: De methode lost het compromis op tussen plasticiteit (leren van nieuwe taken) en stabiliteit (behoud van oude kennis). Het bereikt prestaties van volledige fine-tuning op nieuwe taken zonder enige degradatie van de oorspronkelijke capaciteiten.
3. Modulariteit en Efficiëntie: Het is niet nodig om het hele model uit te breiden. Het uitbreiden van slechts een klein, gericht subset van lagen (bijv. 10 lagen) levert dezelfde prestaties op als het uitbreiden van het hele model, wat de rekentkosten aanzienlijk verlaagt.
4. Parameter-efficiëntie: Zelfs bij volledige uitbreiding worden slechts ongeveer 60% van de parameters getraind (in tegenstelling tot 100% bij standaard fine-tuning), omdat de down-projection laag vaak bevroren blijft of slechts gedeeltelijk wordt aangepast.

Experimentele Resultaten

De auteurs testten de methode op het Gemma-1B en Gemma-4B model over diverse taken: vertaling, wetenschappelijke entailment, wetenschappelijke Q&A en wiskundig redeneren (MathQA).

• Vermijden van Vergeten: In tegenstelling tot standaard fine-tuning (SFT), dat leidt tot een instorting van de prestaties op de originele taken (bijv. WinoGrande benchmark), behoudt de "Grow"-methode de originele prestaties bijna perfect terwijl het de nieuwe taken even goed of beter leert.
• Selectieve Uitbreiding: Het uitbreiden van slechts 9-10 lagen (ongeveer 30% van de trainbare parameters) levert dezelfde resultaten op als het uitbreiden van alle lagen.
• Schalingsgedrag: De prestaties op nieuwe taken verbeteren naarmate meer lagen worden uitgebreid. Dit effect is het sterkst bij complexe taken zoals wiskundig redeneren, die een bredere, hogere-rang aanpassing van de weights vereisen.
• Representatie Stabiliteit: Analyse met Function Vectors (FV) toont aan dat de interne representaties van het model behouden blijven. De cosine-sequentie tussen de originele en de gefine-tuned FV is 0,95 voor de nieuwe methode versus slechts 0,28 voor standaard fine-tuning, wat aantoont dat de causale neurale circuits niet worden beschadigd.

Betekenis en Impact

Dit werk biedt een doorbraak in het veld van Continual Learning en Parameter-Efficient Fine-Tuning (PEFT).

• Het lost een langdurig probleem op waarbij modellen gedwongen worden te kiezen tussen expertkennis en algemene competentie.
• De methode maakt het mogelijk om grote modellen te specialiseren voor specifieke domeinen (zoals wetenschap of juridisch) zonder dat ze "dwaas" worden in hun basisvaardigheden.
• Door de modulaire aard en de mogelijkheid om slechts een subset van lagen te trainen, wordt de toepasbaarheid in productieomgevingen vergroot door lagere rekentkosten en minder geheugenvereisten.

Kortom: "Grow, Don't Overwrite" bewijst dat het vergroten van modelcapaciteit op een wiskundig onderbouwde, functiebehoudende manier de enige weg is om zowel nieuwe kennis te verwerven als oude kennis te behouden zonder compromissen.