How to Teach Large Multimodal Models New Skills

Probleemstelling

Grote Multimodale Modellen (LMM's), zoals LLaVA en Qwen2.5-VL, zijn krachtig in het genereren van antwoorden op basis van afbeeldingen en tekst. Echter, wanneer deze modellen worden aangepast voor specifieke nieuwe vaardigheden (bijv. tellen, medische beeldanalyse) via sequentiële fine-tuning, treedt vaak catastrofale vergetelheid op. Dit betekent dat het model nieuwe taken leert, maar zijn algemene vaardigheden op andere gebieden verliest.

Traditionele aanpakken om dit te voorkomen, zoals replay (het hergebruiken van oude data), model expansion (MoE), of regularisatie (zoals LwF), zijn vaak complex, vereisen extra opslag of leiden tot een suboptimale balans tussen leren en behoud. De centrale vraag is: Hoe kunnen we LMM's nieuwe vaardigheden leren zonder hun eerdere capaciteiten te vernietigen, zonder gebruik te maken van replay-data of complexe architecturale wijzigingen?

Methodologie

De auteurs hebben een gecontroleerde evaluatie-suite ontwikkeld om de dynamiek van leren en vergeten systematisch te bestuderen.

1. Experimenteel Opzet:

   • Ze fine-tunen drie verschillende model-families (LLaVA-OneVision, LLaVA-NeXT, Qwen2.5-VL) sequentieel op vijf doel-taken met verschillende uitkomstformaten: vogelclassificatie (CUB200), tellen (PixmoCount), medische VQA (PathVQA), OCR (TextVQA) en tijdslezing (TimeClock).
   • Tegelijkertijd monitoren ze de prestaties op acht vastgehouden benchmarks (zoals ScienceQA, MMStar) om het verlies aan algemene vaardigheden te meten.

2. Mechanistische Analyse:

   • In plaats van het hele model te tunen, analyseren ze welke specifieke componenten van de Transformer-architectuur verantwoordelijk zijn voor vergetelheid.
   • Ze onderscheiden twee hoofdcomponenten in de decoder:
     • Self-Attention Projecties (SA Proj.): Fungeren als routers die informatie uit de context selecteren en combineren.
     • MLP (Feed-Forward Network): Fungeren als "key-value" geheugen dat actieve features projecteert terug naar de residual stream, wat de verdeling van de volgende token (output distribution) sterk beïnvloedt.
   • Hypothese: Vergetelheid is niet noodzakelijk het verlies van kennis, maar een bias in de output-verdeling. Bijvoorbeeld, na het trainen op een "tellen"-taak, neigt het model ertoe om ook in algemene beschrijvingen numerieke tokens te genereren.

3. Selectieve Tuning Strategieën:
   Gebaseerd op deze inzichten testen ze twee eenvoudige "recepten":

   • SA Proj. Tuning: Alleen de self-attention projectie lagen ($W_Q, W_K, W_V, W_O$) updaten.
   • MLP Gate & Up Tuning: Alleen de $W_{gate}$ en $W_{up}$ lagen van de MLP updaten, terwijl de $W_{down}$ laag (die de features terugprojecteert en de output verandert) bevroren blijft.

Belangrijkste Bijdragen

1. Ontdekking van Herstelbaarheid: De auteurs ontdekten dat vergetelheid vaak tijdelijk is. Prestaties die verloren gaan na het trainen van taak A, kunnen deels worden hersteld door het trainen van een andere gespecialiseerde taak (taak B), zonder dat er replay-data nodig is.
2. Output Distribution Shift als Oorzaak: Ze tonen aan dat vergetelheid sterk correleert met een verschuiving in de waarschijnlijkheid van het genereren van specifieke token-types (bijv. een toename in numerieke tokens na tellen). Deze verschuiving wordt voornamelijk gedreven door updates aan de MLP-lagen.
3. Eenvoudige, Robuuste Recepten: Ze identificeren twee tuning-strategieën die uitblinken in de afweging tussen leren en vergeten:
   • Het updaten van alleen de Self-Attention Projecties.
   • Het updaten van alleen de MLP Gate & Up lagen (met bevroren Down).
     Beide methoden presteren aanzienlijk beter dan volledige fine-tuning of bestaande methoden zoals LoRA, LwF en WiSE-FT, en vereisen geen extra parameters of replay-data.

Resultaten

De resultaten zijn consistent over drie model-families en vijf sequentiële taken:

• Volledige Fine-tuning: Leidt tot sterke verbetering op de doel-taken (+31.8% learning), maar veroorzaakt enorme vergetelheid op de vastgehouden benchmarks (-23.3%).
• Vision Encoder Tuning: Levert weinig winst op en veroorzaakt aanzienlijke vergetelheid.
• SA Proj. Tuning: Bereikt sterke learning (+24.9%) met minimaal vergeten (-0.6% op vastgehouden benchmarks). Het model behoudt zijn algemene vaardigheden bijna volledig.
• MLP (Gate & Up) Tuning: Bereikt de beste balans met zeer hoge learning (+30.5%) en zeer beperkt vergeten (-2.1%).
• Vergelijking met Baselines: De voorgestelde methoden presteren beter dan of gelijk aan geavanceerde methoden zoals LoRA, Mixture-of-Experts (MoE) en Learning without Forgetting (LwF), maar zijn eenvoudiger en efficiënter in trainingstijd (hoge throughput).
• Kwalitatieve Analyse: Modellen die op MLP zijn getuned, beginnen algemene beschrijvingen te "vervormen" naar tel-antwoorden (bijv. "Er zijn 2 foto's in deze foto" in plaats van een beschrijving), terwijl SA Proj. getuned modellen hun beschrijvende capaciteit behouden.

Betekenis en Conclusie

Dit artikel biedt een fundamenteel nieuw inzicht in hoe Large Multimodal Models leren en vergeten. De kernboodschap is dat vergetelheid vaak een artefact is van een verschuiving in de output-verdeling, veroorzaakt door het aanpassen van de "schrijflagen" (MLP Down) van het model.

Door te focussen op het beperken van deze verdelingsschift door selectief alleen de routeringslagen (SA Proj.) of de kenmerkdetectoren (MLP Gate & Up) aan te passen, kunnen practitioners nieuwe vaardigheden leren zonder de algemene intelligentie van het model te compromitteren. Dit maakt het mogelijk om LMM's continu bij te werken voor nieuwe toepassingen in een kostenefficiënte en schaalbare manier, zonder de noodzaak voor dure replay-mechanismen of complexe architecturale uitbreidingen. De code wordt openbaar gemaakt om deze bevindingen te repliceren.