Technische Samenvatting: Verstop om te Zien: Reasoning-prefix Maskering voor Visueel-verankerd Denken in VLM-Distillatie

Probleemstelling

Recente "think-answer"-benaderingen in Vision-Language Models (VLM's), zoals Qwen3-VL-Thinking, verbeteren het redeneervermogen aanzienlijk door tussenstappen in het redeneren te genereren voordat het uiteindelijke antwoord wordt gegeven. Deze lange redeneersporen brengen echter aanzienlijke rekenkosten met zich mee, wat hun inzet beperkt in scenario's met beperkte middelen. Kennisdistillatie (KD) biedt een oplossing door capaciteiten over te dragen van grote leraar-modellen naar compacte student-modellen.

Een kritieke uitdaging bij het distilleren van think-answer VLM's is visueel vergeten. Naarmate het student-model een lange redeneerspoor genereert, neigt het sterk te vertrouwen op de opgebouwde tekstuele redeneer-prefixen (de eerder gegenereerde tokens) om volgende tokens te voorspellen. Deze prefixen bevatten vaak voldoende informatie om de trajecten van de leraar na te bootsen zonder dat het student-model het visuele invoermateriaal opnieuw hoeft te onderzoeken. Bijgevolg leert het student-model visueel bewijs te negeren, wat leidt tot een achteruitgang in de capaciteiten voor visueel-verankerd redeneren. Bestaande distillatiemethoden die visuele attentiekarten of token-relaties overdragen, slagen er vaak niet in om deze specifieke neiging om te kortsluiten via tekstuele aanwijzingen aan te pakken.

Methodologie: Masking-KD

De auteurs stellen Masking-KD voor, een nieuw distillatiekader dat is ontworpen om het student-model te dwingen zijn redenering te verankeren in visueel bewijs door de meest invloedrijke tekstuele aanwijzingen bewust te verbergen.

Kernmechanisme

In plaats van de standaard causale masker (die het student-model toestaat alle vorige tokens te zien), hanteert Masking-KD een salient reasoning-prefix masker. Dit masker blokkeert de toegang tot zowel toekomstige tokens (standaard causaliteit) als specifieke salient reasoning-prefixen waarop het student-model anders zou vertrouwen om de leraar na te bootsen. Door deze hoog-influënte tekstuele aanwijzingen te verwijderen, wordt het student-model gedwongen visueel bewijs te gebruiken om het ontbrekende informatie te compenseren.

Het kader bestaat uit twee adaptieve componenten:

1. Token-gebaseerde Salient Reasoning-prefix Maskering:

   • Identificatie: Voordat de hoofddistillatiestap plaatsvindt, wordt een auxiliaire forward pass van het student-model uitgevoerd (onder een standaard causale masker). Dit genereert een response-to-response attentiekarte ($A^{resp}$), die aangeeft op welke vorige tokens het student-model het sterkst let bij het voorspellen van de huidige token.
   • Selectie: Voor elke volgende-token-voorspelling identificeert de methode de top-$\rho$ meest salient prefixen op basis van hun attentiewaarden. Dit zijn de tokens die de sterkste "kortsluiting" naar het antwoord bieden.
   • Maskering: Deze geïdentificeerde salient prefixen worden gemaskeerd (op $-\infty$ gezet in de attentielogits) tijdens de daadwerkelijke distillatiestap, waardoor het student-model wordt verhinderd erop te letten.

2. Zelf-paced Maskering Budget Planning:

   • De moeilijkheidsgraad van het distilleren van elke token varieert. Tokens die gemakkelijk worden nagebootst (lage discrepantie tussen leraar en student) bieden zwakke leersignalen als het student-model de prefix simpelweg kan kopiëren.
   • De methode berekent de token-gebaseerde reverse KL-divergentie tussen de verdelingen van leraar en student tijdens de auxiliaire forward pass.
   • Een cumulatieve ratio-drempel ($\rho_n$) wordt adaptief toegewezen aan elke token op basis van deze moeilijkheid. Tokens die gemakkelijk worden nagebootst (lage KL-divergentie) krijgen een hoger maskering-budget (meer prefixen worden gemaskeerd) om het student-model te dwingen te vertrouwen op visuele aanwijzingen. Tokens die moeilijker te leren zijn, krijgen minder masking om stabiele training te garanderen.

Trainingsdoel

Het student-model wordt getraind om de reverse KL-divergentie te minimaliseren tussen zijn voorspellende verdeling (onder de gemaskeerde context) en de verdeling van de leraar (onder de volledige context). De verliesfunctie is gedefinieerd als:
$$\mathcal{L}_{Distill} = \frac{1}{N} \sum_{n=1}^{N} \sum_{y \in \mathcal{V}} p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}}) \log \frac{p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}})}{p_t(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \mathbf{M})}$$
Waarbij $\tilde{\mathbf{M}}$ de salient reasoning-prefix masker is en $\mathbf{M}$ de standaard causale masker.

Belangrijkste Bijdragen

1. Masking-KD Kader: Een nieuw distillatieparadigma dat visueel-verankerd denken verbetert door salient reasoning-prefixen te maskeren, waardoor het student-model wordt gedwongen visueel bewijs te gebruiken in plaats van te vertrouwen op tekstuele kortsluitingen.
2. Token-gebaseerde Adaptieve Maskering: Een mechanisme dat dynamisch de meest invloedrijke reasoning-prefixen identificeert en maskeert voor elke specifieke token-voorspelling, met erkenning dat de kritieke context varieert tussen decoderingsstappen.
3. Zelf-paced Budget Planning: Een adaptieve strategie die de maskeringintensiteit aanpast op basis van de distillatiemoeilijkheid (KL-divergentie) van elke token, waardoor leersignalen worden versterkt voor gemakkelijk na te bootsen tokens.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat deze benadering betere resultaten oplevert dan bestaande VLM-distillatiemethoden en self-distillatie-baselines.

Experimentele Resultaten

De auteurs hebben Masking-KD geëvalueerd op multimodale redeneringsbenchmarks, waaronder Geometry-3K, MathVista, We-Math, MMK12, MathVerse, LogicVista en MMMU-Pro.

• Prestatiewinsten: Masking-KD behaalde state-of-the-art resultaten voor alle modelgroottes (2B, 4B en 8B). Opmerkelijk is dat het gedistilleerde 4B-model de undistilled 8B-leraar overtrof, en dat het 2B-model de undistilled 4B-leraar overtrof.
• Vergelijking met Baselines: De methode presteerde significant beter dan standaard response-level distillatie, evenals methoden die expliciet visuele patronen overdragen (bijvoorbeeld LLaVA-KD, CompoDistill, Align-TI).
• Self-Distillatie: Het kader was effectief in self-distillatie-instellingen (waarbij het student-model als zijn eigen leraar fungeert) en presteerde beter dan andere self-distillatiemethoden zoals OPSD.
• Visuele Attentie-analyse: Kwalitatieve en kwantitatieve analyses bevestigden dat Masking-KD-modellen gedurende het generatieproces een hoger visueel attentiepercentage behouden dan baselines, wat het fenomeen "visueel vergeten" effectief mitigeert. Er werd waargenomen dat de modellen relevante beeldregio's sterker activeerden wanneer tekstuele aanwijzingen werden gemaskeerd.

Betekenis en Claims

Het artikel stelt dat de primaire bottleneck bij het distilleren van think-answer VLM's de neiging van het student-model is om tekstuele kortsluitingen te exploiteren die worden geboden door opgebouwde reasoning-prefixen, waardoor visuele invoer wordt verwaarloosd.

De betekenis van Masking-KD ligt in de verschuiving van het expliciet overdragen van de visuele kennis van de leraar (bijvoorbeeld via attentiekarten) naar het leiden van het student-model om zijn eigen visueel-verankerde redeneerproces te ontwikkelen. Door de meest voor de hand liggende tekstuele aanwijzingen te "verstoppen", dwingt de methode het student-model om het beeld te "zien" om het probleem op te lossen. De auteurs concluderen dat deze benadering effectiever is voor VLM-redeneerdistillatie dan eerdere methoden die zich uitsluitend richten op het nabootsen van interne visuele patronen, omdat het direct de oorzaak van visueel vergeten in lange-ketting redeneertaken aanpakt.