Technische Samenvatting: AWARe

Probleemstelling

Multimodale Large Language Models (MLLM's) beschikken over sterke generalisatie- en redeneervermogens die voortkomen uit grootschalige pre-training. Het finetunen van deze modellen voor specifieke downstream-taken triggert echter vaak catastrofale vergetelheid (catastrophic forgetting, CF), waarbij de optimalisatie voor nieuwe doelstellingen de eerder verworven upstream-capaciteiten verslechtert. Dit probleem is bijzonder ernstig bij MLLM's vanwege de complexe interactie tussen modaliteiten en de hoge dimensionaliteit van de parameterruimte. Bestaande mitigatiestrategieën, zoals experience replay of regularisatie-gebaseerde methoden, brengen vaak prohibitieve computationele overhead met zich mee of hebben moeite om te schalen naar miljarden parameters. Bovendien voorkomen Parameter-Efficient Fine-Tuning (PEFT) methoden zoals LoRA, hoewel ze het aantal trainbare parameters verminderen, inherent niet de erosie van pre-trained kennis, omdat ze nog steeds betrouwbare upstream-features kunnen verstoren. De kernuitdaging is het in staat stellen dat MLLM's zich aanpassen aan downstream-taken terwijl ze robuust pre-trained capaciteiten behouden zonder excessieve kosten of architecturale wijzigingen te veroorzaken.

Methodologie: AWARe

De auteurs stellen Activation-Weighted Adaptive REtention (AWARe) voor, een fine-tuning framework dat catastrofale vergetelheid tegengaat door parameter-updates dynamisch te controleren op basis van activatiepatronen. De methode is geïnspireerd op het principe dat een klein deel van de gewichten die geassocieerd zijn met grote activatie-magnitudes onevenredig belangrijk is voor het behoud van modelgedrag (een concept dat wordt waargenomen in studies naar Activation-aware Weight Quantization en pruning).

AWARe werkt in twee fasen:

1. Knowledge Profiling:

   • De methode maakt gebruik van een kleine kalibratieset ($S_{cal}$) die is gesampled uit upstream-taken. Als upstream-data niet beschikbaar is, dient een algemene benchmark (bijv. MMMU) als proxy.
   • Voor een doel-lineaire laag met gewichtsmatrix $W$ voert het model een forward pass uit op de kalibratieset om een activatietensor $A$ te verkrijgen.
   • Saliency Estimatie: De methode berekent een saliency score voor elke output-neuron via een driestaps aggregatieproces:
     1. Bereken de L2-norm van de activaties langs de sequentielengte-dimensie.
     2. Pas per-sample L2-normalisatie toe over de verborgen dimensie om vergelijkbaarheid te garanderen en bias door outlier-schaal activaties te voorkomen.
     3. Gemiddelde de genormaliseerde waarden over de batch om een definitieve saliency vector $s$ te genereren.
   • Dit proces identificeert neuronen die consistent structurele kenmerken vastleggen over diverse upstream-taken heen.

2. Constrained Fine-tuning:

   • Op basis van de saliency scores wordt een retentieratio $\rho$ (bijv. 30%) gebruikt om de top-$\rho$ fractie van de meest saliente output-neuronen globaal over de doel-lagen te identificeren.
   • Een binaire gradiënt-masker $M_{grad}$ wordt geconstrueerd waarbij rijen die overeenkomen met high-saliency neuronen op 0 worden gezet (bevroren), en anderen op 1 (trainbaar).
   • Tijdens downstream optimalisatie worden parameters geassocieerd met saliente regio's constant gehouden via gemaskeerde gradiënt-updates: $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$.
   • Target Selectie: AWARe past deze strategie specifiek toe op de lineaire projectielaag binnen de self-attention mechanismen ($q\_proj, k\_proj, v\_proj$) en de multimodale projector ($mm\_projector$). Andere componenten, zoals MLP-blokken en de output-projectie, blijven volledig bevroren. Deze selectie is gebaseerd op bevindingen dat het updaten van self-attention projecties minder vergetelheid van bestaande kennis veroorzaakt vergeleken met MLP-blokken.

Belangrijkste Bijdragen

1. AWARe Framework: De introductie van een eenvoudige, activatie-gebaseerde methode voor het behoud van kritieke upstream-kennis tijdens downstream adaptatie in MLLM's. Het hergebruikt activation saliency uit compressie- en merging-contexten voor het mitigeren van vergetelheid.
2. Efficiëntie en Eenvoud: De aanpak vereist geen architecturale wijzigingen, introduceert geen extra adapter-modules en update slechts een klein deel van de parameters (ongeveer 17,5% in de optimale setting). Het vermijdt de noodzaak van replay buffers of second-order statistieken.
3. Uitgebreide Validatie: De auteurs demonstreren via ablatie-studies en benchmarks dat activatie-gebaseerde saliency een effectief criterium is voor parameterselectie, wat beter presteert dan statische gewicht-magnitude of willekeurige selectie.

Experimentele Resultaten

De auteurs evalueerden AWARe op de LLaVA-v1.5-7B backbone en valideerden de overdraagbaarheid naar Qwen2.5-VL-7B.

• Single-Task Downstream Adaptatie: Op IconQA (VQA) en COCO-Caption (Image Captioning) bereikte AWARe een superieur evenwicht tussen Knowledge Retention (R) (stabiliteit van upstream-taken) en Learning Efficiency (E) (prestaties op de nieuwe taak).
  • Vergeleken met state-of-the-art baselines (inclusief LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt en SPIDER), behield AWARe hoge retentiegroottes (bijv. $R \approx 98,4$ op IconQA) terwijl het concurrerende downstream-prestaties behaalde.
  • Opvallend genoeg leverde het gebruik van een algemene kalibratieset (MMMU) in plaats van specifieke upstream-data resultaten op die vergelijkbaar waren met het gebruik van de volledige upstream-dataset, wat de robuustheid aantoont.
• Continual Instruction Tuning: Op de MLLM-DCL benchmark (een sequentie van vijf taken: Remote Sensing, Medical, Autonomous Driving, Science, Finance) behaalde AWARe de hoogste gemiddelde prestatie over alle taken en de beste finale prestatie na de laatste taak. Het verbeterde de gemiddelden met respectievelijk 3,18 en 1,77 punten over de sterkste baseline (DISCO) in de gemiddelde en de laatste-taak metrieken.
• Ablatie-studies:
  • Selectiestrategie: Activatie-gebaseerde selectie presteerde significant beter dan willekeurige selectie en gewicht-norm-gebaseerde selectie.
  • Retentieratio: Een retentieratio van 30% (het bevriezen van de top 30% meest saliente neuronen) bood de optimale stabiliteit-plasticiteit trade-off.
  • Trainingsdoelen: Het toepassen van AWARe op zowel de self-attention projecties als de multimodale projector leverde de beste resultaten op. Het volledig bevriezen van de MLP-blokken was cruciaal, aange het finetunen van deze blokken leidde tot een ernstige prestatie-instorting op upstream-taken.

Betekenis en Claims

Het artikel claimt dat AWARe een praktische en effectieve oplossing biedt voor catastrofale vergetelheid in MLLM's door gebruik te maken van dynamische, data-afhankelijke activatiepatronen in plaats van statische gewicht-priors. De betekenis van het werk ligt in:

• Architectuur-agnostisch: Het werkt zonder de modelarchitecturen te wijzigen, wat compatibiliteit met bestaande inference engines garandeert.
• Kosteneffectiviteit: Door high-saliency parameters te bevriezen en slechts een klein deel van de parameters te updaten, vermindert het de computationele overhead aanzienlijk vergeleken met full fine-tuning of replay-gebaseerde methoden.
• Robuustheid: De methode blijft effectief, zelfs wanneer upstream-data beperkt is, door te vertrouren op algemene kalibratiesets.
• Stabiliteit-Plasticiteit Trade-off: AWARe balanceert succesvol het behoud van kernalgemene capaciteiten met de flexibiliteit die vereist is voor gespecialiseerde taakanpassing, waarmee een kritieke bottleneck in de praktische implementatie van MLLM's wordt aangepakt.

De auteurs erkennen beperkingen, waarbij zij opmerken dat de kwaliteit van de kalibratiedata de selectie van de bevroren regio's kan beïnvloeden en dat extreem grote distributieverschuivingen mogelijk aanpassing van de retentieratio vereisen. Desalniettemin legt het voorgestelde framework een nieuwe baseline vast voor efficiënte en stabiele multimodale fine-tuning.