Technisch Overzicht: Visual Attribution Distillation (VAD) voor Multimodale On-Policy Distillatie

1. Probleemstelling

Multimodale Large Language Models (MLLM's) falen vaak door kleine perceptuele fouten (bijv. het over het hoofd zien van een woord of het verkeerd lezen van een ruimtelijke relatie), wat de gehele generatie-trajectorie kan ontsporen. On-Policy Distillation (OPD) pakt dit aan door de gegenereerde trajecten van de student te superviseren met behulp van een "privileged-view" docent (een model met toegang tot beter visueel bewijs, zoals hoge-resolutie crops).

Huidige privileged-view OPD-methoden lijden echter onder source-mixed corrections. Wanneer een docent een correctie toepast op een student-token, is die correctie een mengsel van:

1. Visuele signalen: Bewijs afgeleid van de privileged view.
2. Linguïstische priors: Algemene taalpatronen.
3. Docent-specifieke effecten: Idiosyncrasieën van het docentmodel.

Bestaande benaderingen slagen er niet in te onderscheiden welk deel van de correctie van de docent daadwerkelijk wordt ondersteund door het visuele bewijs.

• Vision-OPD distilleert direct de volledige distributie van de docent, waardoor source-mixed ruis wordt overgedragen.
• VA-OPD en V-Zero gebruiken "visual advantage" om tokens of trajecten te wegen, maar falen in het expliciet reconstrueren van het doel op basis van wat het bewijs ondersteunt. Cruciaal is dat positieve visual advantage-metrieken weerlegging (refutation) kunnen missen: het onthullen van bewijs kan een foutief token onderdrukken zonder noodzakelijkerwijs een correct token te stimuleren, een dynamiek die standaard advantage-metrieken niet effectief kunnen vangen.

De kernuitdaging is het schatten van welk component van een correctie van een docent toe te schrijven is aan een gecontroleerde visuele interventie, in plaats van enkel te bepalen waar of hoe sterk er gedistilleerd moet worden.

2. Methodologie: Visual Attribution Distillation (VAD)

VAD introduceert een counterfactual target-reconstruction algoritme dat het visueel toe te schrijven deel van een docent-correctie isoleert. De methode werkt tijdens de training met een vaste docent en een student-policy, maar vereist geen hulp-views tijdens de inferentie.

2.1 On-Policy Counterfactual Views

Voor elke door de student gegenereerde prefix $y_{<t}$ bevraagt VAD dezelfde vaste docent onder drie condities:

1. Student View ($p^0_S$): De distributie van de student gegeven de volledige afbeelding $x^0$.
2. Evidence-Present View ($p^+_T$): De distributie van de docent gegeven een uitvergrote, bewijsrijke view $x^+$.
3. Evidence-Removed View ($p^-_T$): De distributie van de docent gegeven een gedegradeerde of verwijderde view $x^-$.

2.2 Attributie via Interventie-Proxy

VAD definieert twee vectoren in de ruimte van gecentreerde log-waarschijnlijkheden:

• Docent-correctie ($r_t$): Het verschil tussen de privileged docent ($p^+_T$) en de student ($p^0_S$).
• Visueel Bewijs Proxy ($u_t$): Het verschil tussen de bewijs-aanwezige en de bewijs-verwijderde docent-views ($p^+_T - p^-_T$).

De vector $u_t$ dient als een getekende proxy voor de richting van het visuele bewijs. Een positieve waarde geeft aan dat het bewijs een token ondersteunt; een negatieve waarde geeft aan dat het bewijs een token weerlegt.

2.3 Target Reconstruction

In plaats van de volledige docent-distributie te matchen, reconstrueert VAD een nieuw doel door de oorspronkelijke correctie $r_t$ te projecteren op de visuele proxy $u_t$:

1. Decompositie: De correctie wordt gesplitst in een visueel toegeschreven component ($r^{vis}_t$) en een residue ($r^{res}_t$).
   • $r^{vis}_t = \beta_t u_t$, waarbij $\beta_t$ een niet-negatieve coëfficiënt is die ervoor zorgt dat alleen overeenstemming met de visuele richting behouden blijft.
   • $r^{res}_t = r_t - r^{vis}_t$ (behandeld als een gemengd residue, niet puur linguïstisch).
2. Support en Refutation Branching: De methode scheidt de ondersteuning (positieve $u_t$) en de weerlegging (negatieve $u_t$) takken. Het wijst een "visueel correctiebudget" toe aan deze takken, waarbij het aandeel van de ondersteuning wordt begrensd om te voorkomen dat onzeker bewijs domineert.
3. Student-geankerd Doel: Het uiteindelijke doel $q^{VAD}_{T,t}$ wordt geconstrueerd door de verfijnde, getekende visuele verschuiving toe te passen op de huidige distributie van de student ($p^0_S$), in plaats van op die van de docent. Dit zorgt ervoor dat het doel verankerd blijft aan de staat van de student, terwijl alleen de door bewijs ondersteunde tokens worden gecorrigeerd.

2.4 Trainingsdoel

Het primaire supervisiesignaal is de Jensen-Shannon Divergentie (JSD) tussen de student en het gereconstrueerde doel ($q^{VAD}_{T,t}$).

• Zwakke Regularisator: Om taaldrift (bijv. instabiele formattering of lengte) te voorkomen die wordt veroorzaakt door de focus op enkel visuele correcties, wordt een zwakke regularisator toegevoegd die afgeleid is van de oorspronkelijke privileged docent-distributie. Dit verankert de semantiek en formattering zonder de visuele reconstructie te overschrijven.

3. Belangrijkste Bijdragen

1. Identificatie van de beperkingen van Source-Mixed informatie: Het artikel identificeert dat direct docent-matching en positieve visual-advantage weging falen in het expliciet schatten van welke componenten van een correctie worden ondersteund door gecontroleerde visuele interventies.
2. VAD Algoritme: Introductie van een methode die gebruikmaakt van counterfactual visuele interventies om:
   • Een proxy-richting voor visueel bewijs te construeren.
   • De docent-correctie te decomponeren in visueel toegeschreven en residuele componenten.
   • Een student-geankerd doel te reconstrueren dat ondersteuning en weerlegging scheidt.
3. Empirische Validatie: Demonstratie van consistente winst over zes fijnmazige visuele benchmarks op 4B en 9B parameterschaal, waarbij superieure prestaties worden geleverd ten opzien van directe distillatie en visual-advantage weging.

4. Experimentele Resultaten

De auteurs evalueerden VAD op Qwen3.5-4B en Qwen3.5-9B modellen over zes benchmarks (V*, ZoomBench, HR-Bench 4K/8K, MME-RealWorld EN/CN).

• Prestatiewinst: VAD behaalde de hoogste gemiddelde nauwkeurigheid (Avg6) op beide schalen, waarbij het de beste schaal-gematchte baselines versloeg met 2.40 punten (4B) en 2.80 punten (9B).
• Vergelijking met SOTA: De 4B VAD checkpoint presteerde significant beter dan veel grotere modellen, inclusief Gemini 3 Flash, Gemini 3.1 Pro, en de 397B Qwen3.5.
• Semantische Analyse: De decompositie-analyse bevestigde dat de toegeschreven component ($r^{vis}_t$) rijker is aan visuele attributen, objecten en beslissingstokens (bijv. "verticaal", "metaal", "A/B/C/D"), terwijl de residuele component ($r^{res}_t$) linguïstische structuren en meta-content bevat.
• Generalisatie: In tegen tegenstelling tot andere post-training methoden die soms de algemene generalisatie verslechteren, behield VAD de prestaties op held-out taken (MMVP, CV-Bench, MMStar, POPE) of verbeterde deze zelfs licht, wat aantoont dat visuele specialisatie de bredere capaciteiten niet opofferde.
• Ablatie Studies:
  • Target Reconstruction: De branch-aware reconstructie leverde de grootste winst (+1.00 punt over een-zijdige projectie zonder regularisatie).
  • Regularisatie: De zwakke docent-anker was cruciaal voor het stabiliseren van de output-format en lengte.
  • Divergentie: JSD werd gevonden te worden de meest gebalanceerde standaard divergentie vergeleken met Forward of Reverse KL.

5. Betekenis en Claims

Het artikel claimt dat counterfactual target reconstruction een effectiever alternatief is voor source-mixed supervisie in multimodale OPD. Door de correcties expliciet toe te schrijven aan visueel bewijs en het leerdoel rond de distributie van de student te reconstrueren, zorgt VAD ervoor dat het model leert wat de afbeelding ondersteunt in plaats van blindelings de gemengde signalen van een docent na te bootsen.

De auteurs positioneren VAD als een methie die de parameter-efficiëntie verbetert (kleine modellen die veel grotere modellen verslaan) en perceptuele gronding zonder dat complexe inference-time zoekopdrachten of tool-gebruik nodig zijn. De methode wordt gepresenteerd als een robuuste oplossing voor het "visuele-correctie attributieprobleem", een principiële manier om ruis uit geprivilegieerde supervisie te filteren.

Beperkingen erkend door de auteurs:

• Het visuele bewijs wordt gerepresenteerd door een enkele contrastieve vector van één view-paar, wat de compositionele bewijsvoering kan beïnvloeden.
• De huidige projectie levert semantische verrijking op in plaats van een perfect identificeerbare scheiding; de toegeschreven component kan nog steeds enige niet-visuele docent-effecten bevatten.