LinguDistill: Recovering Linguistic Ability in Vision- Language Models via Selective Cross-Modal Distillation

1. Het Probleem

Het aanpassen van vooraf getrainde taalkundige modellen (LM's) tot Vision-Language Models (VLM's) leidt vaak tot een significante verslechtering van de native taalvaardigheid. Dit fenomeen, vaak toegeschreven aan catastrophic forgetting of modale interferentie, treedt op doordat het model wordt getraind op multimodale data (beeld + tekst).

• Representatieverschuiving: De fine-tuning op visuele taken verstoort de linguïstische priors die in de oorspronkelijke LM zijn gecodeerd.
• Beperkingen van bestaande oplossingen:
  • Eenvoudige fine-tuning op taalkundige taken is vaak onvoldoende om de verloren vaardigheden volledig te herstellen.
  • Bestaande methoden om dit op te lossen (zoals bridging approaches of subspace methods) introduceren vaak extra modules (bijv. adapters, Q-Formers) of vereisen complexe parametermanipulatie. Dit verhoogt de architecturale complexiteit, voegt parameters toe tijdens inferentie en beperkt de flexibiliteit.

2. Methodologie: LINGUDISTILL

LINGUDISTILL is een adapter-vrije kennisdistillatie-methode die de oorspronkelijke, bevroren taalkundige backbone gebruikt als "leraar" om de VLM (de "student") te herstellen, zonder extra inferentie-kosten.

A. Architectuur: Layer-wise KV-Cache Sharing

De kernuitdaging is dat de leraar (de bevroren LM) alleen tekst ziet, terwijl de student (VLM) multimodale input (beeld + tekst) verwerkt. Om dit op te lossen zonder de architectuur van de leraar te wijzigen, introduceert het paper een KV-cache sharing mechanisme:

1. Student (VLM): Verwerkt de volledige multimodale sequentie (beeld + tekst) en genereert Key-Value (KV) caches voor elke decoderlaag.
2. Leraar (Bevroren LM): Verwerkt alleen de tekst-prompt om zijn Query (Q) states te genereren.
3. Deelproces: De leraar hergebruikt direct de KV-caches van de student voor elke laag. Hierdoor kan de leraar "kijken" naar de multimodale context van de student en visueel bewust toezichtsignalen genereren, terwijl zijn eigen parameters bevroren blijven.
4. Resultaat: Na training wordt de leraar verwijderd. Het resultaat is een standaard VLM zonder extra modules.

B. Selectieve Distillatie Doelstelling (Objective)

In plaats van uniforme distillatie over alle data, gebruikt LINGUDISTILL een data-afhankelijke weging:

• Taakgebonden Weegfactor ($\alpha$): Voor taalkundig intensieve datasets (bijv. redenering, kennisvragen) wordt een hoge distillatie-sterkte toegepast ($\alpha > 0$). Voor visueel zware taken (bijv. OCR, documentanalyse) wordt de distillatie onderdrukt ($\alpha = 0$) en vertrouwt het model op harde label-supervisie.
• Formule: De totale loss is een combinatie van de zachte distillatie-loss (van de leraar) en de harde cross-entropy loss (van de ground truth), gewogen op basis van de data-bron.
  $$L = \sum \alpha(d_b) L_{soft} + (1 - \alpha(d_b)) L_{hard}$$
  Dit zorgt ervoor dat de sterke linguïstische signalen van de leraar alleen worden gebruikt om taalvaardigheid te herstellen, terwijl de visuele gronding van de student intact blijft.

3. Belangrijkste Bijdragen

1. Adapter-vrije Herstel: Een methode om taalvaardigheid in VLM's te herstellen zonder extra inferentie-parameters of complexe architecturale wijzigingen.
2. KV-Sharing Mechanisme: Een innovatieve trainingstechniek die een bevroren LM in staat stelt multimodale context te verwerken via gedeelde KV-caches, waardoor visueel bewust toezicht mogelijk wordt.
3. Selectieve Distillatie: Een strategie die de trade-off tussen taalherstel en visuele prestaties optimaliseert door distillatie alleen toe te passen op taalkundig relevante data.

4. Resultaten

De methode werd getest op een nanoVLM (460M parameters) met een dataset van 17 bronnen (The Cauldron).

• Herstel Taalvaardigheid: LINGUDISTILL herstelt ongeveer 10% van de verloren prestaties op taalkundige en kennisgerichte benchmarks (zoals ScienceQA, ARC Challenge, HellaSwag) vergeleken met standaard fine-tuning.
  • Voorbeeld: Op ScienceQA steeg de score van 0.592 (standaard fine-tuning) naar 0.676 (LINGUDISTILL).
• Behoud Visuele Vaardigheden: In tegenstelling tot uniforme distillatie (die OCR-taken ernstig schaadt), behoudt LINGUDISTILL de prestaties op visueel zware taken.
  • Voorbeeld: Bij OCRBench daalt de score slechts met 21.1% (vs. 40.5% bij uniforme distillatie) en blijft dicht bij de baseline.
• Vergelijking:
  • Standaard Fine-tuning: Verliest aanzienlijk taalvermogen.
  • Uniforme Distillatie: Herstelt taal, maar vernietigt visuele gronding (catastrophic forgetting op visuele taken).
  • LINGUDISTILL: Bereikt de beste balans: sterk taalherstel met minimale schade aan visuele taken.

5. Betekenis en Conclusie

LINGUDISTILL demonstreert dat het verlies van linguïstische capaciteit in multimodale modellen effectief kan worden hersteld zonder de complexiteit van het model te vergroten.

• Efficiëntie: Het biedt een praktische oplossing voor modale degradatie zonder extra inferentiekosten.
• Inzicht: Het paper toont aan dat de "vergeten" kennis nog steeds aanwezig is in de oorspronkelijke backbone en dat deze via slimme distillatiestrategieën (selectief en via KV-sharing) kan worden teruggehaald.
• Toekomst: De methode biedt een schaalbare route voor het onderhouden van robuuste taalvaardigheden in toekomstige, grotere multimodale systemen.

Kortom, LINGUDISTILL lost het dilemma op tussen het aanpassen van een model aan beelden en het behoud van zijn oorspronkelijke taalintelligentie, door de leraar slim in te zetten als toezichthouder die alleen ingrijpt waar hij het meest waardevol is.