Technische Samenvatting: HEED - Drukgewogen Residuale Uitlijning voor Distillatie van Hybride Visueel-Taalmodellen

1. Probleemstelling

De distillatie van grote Visueel-Taalmodellen (VLM's) naar efficiënte hybride architecturen (bijvoorbeeld het mengen van Mamba-2 lineaire lagen met attention-lagen) is een standaardaanpak om inferentiekosten te verlagen. Echter, bestaande geaggregeerde benchmarks verbergen een kritieke faalmodus: terwijl hybride studenten vaak brede redeneercapaciteiten behouden, lijden ze aan significante prestatiedalingen bij taken die fijnmazige visuele perceptie vereisen, zoals Optische Karakterherkenning (OCR), documentbegrip en grafiekanalyse.

De auteurs identificeren dat standaard kennisdistillatie (KD) alle visuele tokens uniform behandelt. Bij hoge-resolutie afbeeldingen bestaan de meeste patches uit gladde achtergronden (lucht, muren) met een lage informatiedichtheid, terwijl een klein fractie kritieke details bevat (tekst, randen, objectgrenzen). Standaard KD wijst overmatige verlies termen toe aan informatiearme achtergrondpatches, waardoor het de schaarse, hoogdichte patches die essentieel zijn voor het beantwoorden van specifieke vragen, niet beschermt. Dit resulteert in een "fijnmazige perceptie-inzakking" waarbij de student een scène algemeen kan beschrijven, maar faalt bij het lezen van specifieke cijfers of labels binnen die scène.

2. Methodologie: HEED

De voorgestelde methode, HEED (Density-Weighted Residual Alignment), adresseert dit onbalans door de distillatieverlies te herwegen op basis van de lokale informatiedichtheid van visuele patches.

2.1 Diagnostisch Inzicht

Door middel van token-niveau diagnostiek lokaliseren de auteurs het falen naar specifieke posities:

• Residuale Drijverij: De top 10% van patches met de hoogste lokale kenmerkdichtheid (gedefinieerd door ViT-kenmerkdisimilariteit ten opzichte van buren) vertonen 3,6× grotere residuale drijverij ten opzichte van de leraar vergeleken met de onderste 10%.
• Antwoordgevoeligheid: Het maskeren van deze hoogdichte patches veroorzaakt een 3,5× grotere daling in de antwoordscore van de leraar vergeleken met laagdichte patches.
• Voorspellende Kracht: Lokale visuele dichtheid is de sterkste voorspeller van residuale drijverij, en presteert beter dan token-type (tekst versus visueel), laagdiepte en attention-concentratie van de leraar.

2.2 Het HEED-algoritme

HEED implementeert een trainingsvrije, drukgewogen residuale uitlijnstrategie zonder de modelarchitectuur te wijzigen of parameters toe te voegen:

1. Dichtheidsschatting: Voor elke visuele patch $p$ wordt een dichtheidsscore $\rho(p)$ berekend met behulp van de zelfdisimilariteit van bevroren ViT-kenmerken binnen een $3\times3$-buur:
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   Een hoge $\rho(p)$ duidt op een lokaal onderscheidende patch (bijvoorbeeld tekst, randen); een lage $\rho(p)$ duidt op een gladde achtergrond.
2. Gewichten: Deze scores worden genormaliseerd en omgezet in verliesgewichten $w(p)$ met behulp van een exponentiële mapping met een temperatuurparameter $\tau$. Teksttokens ontvangen een constante boost gebaseerd op de gemiddelde visuele dichtheid van de afbeelding.
3. Residuale Uitlijning: In plaats van uitlijning per-laag blokoutput (standaard verborgen-toestand uitlijning) of het gebruik van uniforme gewichten, lijnt HEED de residustromen van de leraar en de student uit. Het uitlijnverlies wordt gewogen door de dichtheidsscores:
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   Dit zorgt ervoor dat de hybride student prioriteit geeft aan het behouden van informatie op hoogdichte posities tijdens het distillatieproces.

2.3 Trainingspijplijn

De methode volgt een drie-fasen distillatieschema:

• Fase 1 (Warm-up): Lijnt residustromen uit met bevroren attention-gewichten.
• Fase 2 (Volledig Blok): Traint volledige Mamba-2-blokken met drukgewogen residuale uitlijning.
• Fase 3 (End-to-End): Standaard logit-gebaseerde KD (KL-divergentie + Cross-Entropy).
  HEED verschilt van basismethoden uitsluitend in het uitlijnverlies dat in Fase 1 en 2 wordt gebruikt.

3. Belangrijkste Bijdragen

1. Diagnose: Het artikel toont aan dat hybride VLM-distillatie selectief faalt bij fijnmazige perceptietaken (OCR, documenten) terwijl redeneren behouden blijft, en schrijft dit toe aan de uniforme behandeling van tokens in standaard KD.
2. Mechanisme: Het stelt vast dat hoogdichte visuele posities (lokaal onderscheidende kenmerken) de primaire bron van drijverij zijn en het meest kritiek zijn voor het antwoord van de leraar. Willekeurige herweging van willekeurige patches levert niet hetzelfde voordeel op; het gewicht moet specifiek gericht zijn op hoogdichte posities.
3. Methode (HEED): Een lichtgewicht, parameter-vrije interventie die patch-zelfdisimilariteit gebruikt als proxy voor belangrijkheid. Het verbetert de prestaties zonder de inferentiearchitectuur te wijzigen of inferentiekosten toe te voegen.

4. Experimentele Resultaten

Experimenten werden uitgevoerd door Qwen3-VL-8B-Instruct te distilleren naar een 3:1 Mamba-2/Attention-hybride.

• Prestatiewinst:
  • Vergelijken met standaard end-to-end KD, verbetert HEED OCRBench v2 met 8,7 punten.
  • Het bereikt een gemiddelde winst van 5,13 punten over 10 benchmarks.
  • In een gecontroleerde vergelijking (alleen het uitlijngewicht veranderend van uniform naar drukgewogen) herstelt HEED 4,7 punten op OCRBench v2 en 2,24 punten op het 10-benchmark gemiddelde.
• Selectiviteit: De winsten zijn geconcentreerd in fijnmazige perceptie-benchmarks (OCR, DocVQA, ChartQA), terwijl redeneerbenchmarks (MMMU-Pro, MMStar) stabiel blijven of licht verbeteren.
• Na-training: Na standaard SFT en DPO bereikt de HEED-student leraar-niveau prestaties op het 10-benchmark gemiddelde (78,79 versus 78,41) terwijl het het efficiencyprofiel van de hybride architectuur behoudt.
• Efficiëntie: De student behoudt het efficiencyprofiel van het hybride model: 4,12× doorvoer en 68% geheugenbesparing bij een contextlengte van 128k vergeleken met de leraar, zonder extra inferentiekosten.
• Robuustheid: De resultaten houden stand over verschillende random seeds, verschillende leraarmodellen (InternVL-3.5, MiniCPM-V 4.5, GLM-4.6V) en verschillende hybride architecturen (Gated DeltaNet).

5. Betekenis en Claims

Het artikel claimt dat HEED een fundamentele beperking adresseert bij het comprimeren van heterogene multimodale inputs naar vaste-capaciteit hybride sequentiemodellen. Het kernprincipe is dat distillatieverliezen niet alle tokens uniform moeten behandelen; in plaats daarvan moeten ze de variërende belangrijkheid van tokens reflecteren op basis van hun lokale informatiedichtheid.

De auteurs positioneren HEED als complementair aan inferentie-tijd tokenreductiemethoden (bijvoorbeeld VisionZip, FastV). Waar die methoden het aantal tokens tijdens inferentie verminderen, optimaliseert HEED het trainingssein om ervoor te zorgen dat het model leert de meest kritieke tokens te behouden tijdens de conversie van een full-attention leraar naar een hybride student. De methode wordt gepresenteerd als een praktische, laagkostbare interventie die verloren fijnmazige capaciteiten herstelt zonder de efficiencywinsten van hybride architecturen te compromitteren.

Erkende Beperkingen:

• Dichtheid is een proxy voor belangrijkheid, geen universele semantische salientiemaatstaf. Het bevoordeelt tekst en randen, maar kan minder effectief zijn voor globaal gedefinieerde of adversariaal gepatroneerde taken.
• De methode vertrouwt op bevroren ViT-kenmerken; het claimt geen causaal bewijs van drijverij te zijn, maar eerder een zeer effectieve empirische interventie.
• De resultaten zijn specifiek voor de geteste hybride VLM-conversiesetting; de auteurs claimen geen Pareto-dominantie over full-attention modellen in het algemeen.