Technische Samenvatting: µCRASP

Probleemstelling

Vision-Language Models (VLM's) hebben aanzienlijk succes geboekt in complexe multimodale taken door gebruik te maken van Chain-of-Thought (CoT) redenering, waarbij expliciete tussenstappen worden gegenereerd voordat een definitief antwoord wordt gegeven. De grote parameteraantallen van deze modellen maken de implementatie echter rekenkundig duur. Hoewel gestructureerde modelpruning een weg biedt naar efficiëntie, slagen bestaande methoden er niet in de nauwkeurigheid van CoT-redenering te behouden wanneer ze op VLM's worden toegepast.

De auteurs identificeren twee hoofdredenen voor dit falen:

1. CoT-agnostische pruning: De consistentie van CoT-redenering wordt bepaald door verspreide "pivot tokens" (overgangspunten tussen redeneerstappen). Conventionele pruning-methoden behandelen alle tokens gelijk, waardoor het signaal van deze kritieke overgangstokens wordt verwaterd onder geaggregeerde verliesberekeningen, wat leidt tot een onevenwicht tussen signaal en ruis.
2. Cross-modale dispariteit: Traditionele pruning-methoden, ontworpen voor unimodale Large Language Models (LLM's), houden geen rekening met de verschillende activatieverdelingen tussen visuele en tekstuele modaliteiten. VLM's vertonen architecturale heterogeniteit en cross-modale verstrengeling, wat pruning aanzienlijk complexer maakt dan bij puur tekstuele modellen.

Methodologie: µCRASP

De auteurs stellen µCRASP (Multimodal Chain-of-thought Reasoning aware Structured Pruning) voor, een trainingsvrij, gestructureerd pruning-raamwerk dat is ontworpen om redeneercoherentie en cross-modale uitlijning te behouden binnen een globaal parameterbudget. De methode werkt via vier hoofdstappen:

1. Globale attributie: Berekening van een standaard globale belangrijkheidsscore ($I_{global}$) voor structurele eenheden (neuronen, attention heads, GQA-groepen) met behulp van een Taylor-expansie van de eerste orde over alle tokenposities.
2. Traject-pivot attributie: Identificatie van "pivot tokens" die overgangen tussen redeneerstappen markeren (bijvoorbeeld structurele scheidingstekens zoals "Stap 1:" of logische voegwoorden zoals "Daarom"). Er wordt een specifieke attributiescore ($A_{pivot}$) berekend die beperkt is tot lokale vensters rond deze gedetecteerde overgangsgebieden. Hierdoor prioriteert het pruning-proces eenheden die cruciaal zijn voor logische continuïteit in plaats van alleen oppervlakkige vlotheid.
3. Cross-modale afhankelijkheidsscore (CMDS): Kwantificering van de afhankelijkheid tussen visuele en tekstuele modaliteiten voor elke decoderlaag met behulp van een score die is geïnspireerd op Maximum Mean Discrepancy (MMD). Dit identificeert lagen waar de integratie van visie en taal het sterkst is (meestal de middelste lagen), waardoor de methode deze "bottleneck"-lagen kan beschermen tegen agressieve pruning.
4. Globale knapzakoptimalisatie: Fusie van de globale en pivot-attributiescores met een compressie-geconditioneerde mengcoëfficiënt ($\gamma_{dyn}$) en laag-specifieke beschermingsfactoren die zijn afgeleid van CMDS en activatiegevoeligheid. De methode lost vervolgens een globaal knapzakprobleem op om de optimale set structurele eenheden te selecteren die behouden moeten blijven, waarbij de redeneringbehoudende belangrijkheid wordt gemaximaliseerd binnen de beperkingen van het parameterbudget en de minimale behoudseisen.

Belangrijkste bijdragen

1. Diagnose van falen: Het artikel toont aan dat bestaande gestructureerde pruning-methoden (zoals FLAP, LLM-Pruner, Attribution Pruning) er niet in slagen CoT-redenering in VLM's te behouden; vaak collapseert de redeneerketen onder matige compressie, ondanks het behoud van een aanvaardbare perplexiteit.
2. µCRASP-raamwerk: Introductie van een nieuwe, trainingsvrije pruning-methode die expliciet gericht is op componenten die cruciaal zijn voor redenering. Deze integreert redeneringsbewuste attributie om overgangskritieke tokens te vangen, cross-modale afhankelijkheidsmodellering om visie-taaluitlijning te behouden, en laag-voor-laag gevoeligheid om gestructureerde pruning te sturen.
3. Uitgebreide benchmarking: Uitgebreide evaluatie over vier VLM's (Llama 3.2-11B, Qwen2.5-VL-7B/3B, Gemma-3-4B) en drie redeneringsdomeinen (Fysiek, Kwantitatief, Alledaags). De studie maakt gebruik van een LLM-as-Judge-metriek om de logische geldigheid van CoT-sporen te evalueren, verder gaand dan standaard token-niveau nauwkeurigheidsmetrieken.

Experimentele resultaten

Experimenten tonen aan dat µCRASP consistent redeneringskwaliteit behoudt bij toenemende compressieniveaus waar basismethoden falen:

• Redeneringscoherentie versus Exacte Match: µCRASP vertoont een ontkoppeling tussen redeneringscoherentie en exacte match-nauwkeurigheid. Hoewel de exacte match (EMa) verslechtert, blijft de logische geldigheid van het CoT-spoor (gemeten door LLM-Judge) hoog. Bijvoorbeeld, op Qwen2.5-VL-7B bij 30% pruning behoudt µCRASP een LLM-Judge-score van 8,87 (tegenover 9,02 voor het dichte model) bij fysieke redenering, terwijl de beste basismethode (LLM-Pruner) daalt naar 7,32.
• Weerstand tegen hoge compressie: µCRASP behoudt hoge redeneerconsistentie (LLM-J > 7,0) tot 50% pruning, een verbetering van 20–25 procentpunten ten opzichte van bestaande methoden. Bestaande methoden lijden daarentegen vaak aan abrupte prestatiecrashes boven de 25–30% pruning.
• Cross-modale bescherming: Ablatiestudies bevestigen dat het CMDS-component essentieel is voor het behoud van visie-taaluitlijning; het verwijderen ervan veroorzaakt ernstige degradatie in semantische gelijkenis en opmaakscores.
• Distributionele fideliteit: µCRASP handhaaft een lage KL-divergentie tussen de output-logitverdelingen van het gepreunde en het dichte model, wat aangeeft dat het gepreunde model de onderliggende redeneringsgeometrie behoudt in plaats van alleen oppervlakkige tekst.

Betekenis en claims

Het artikel claimt dat µCRASP een kritieke kloof in VLM-compressie aanpakt door expliciet de structurele integriteit van redeneerketens en cross-modale interacties te modelleren. De auteurs benadrukken dat:

• Redeneringscoherentie uniek is: De logische ketenstructuur kan behouden blijven zelfs wanneer de letterlijke antwoordnauwkeurigheid verslechtert, een fenomeen dat niet wordt vastgelegd door traditionele metrieken zoals perplexiteit of exacte match.
• VLM's gespecialiseerde pruning vereisen: Het pruning van VLM's is fundamenteel moeilijker dan het pruning van unimodale LLM's vanwege cross-modale koppeling; methoden die hier geen rekening mee houden, leiden tot catastrofale uitval in multimodale redeneertaken.
• Praktische implementatie: De methode maakt de implementatie van capabele multimodale redeneringsmodellen op hardware met beperkte middelen mogelijk zonder fine-tuning, hoewel de auteurs opmerken dat herstel na pruning (bijvoorbeeld via kennisdistillatie) een potentiële toekomstrichting blijft.

De auteurs houden een bescheiden reikwijdte aan en wijzen op beperkingen zoals de afhankelijkheid van heuristische pivot-detectie, handmatige hyperparameter-tuning voor beschermingsfactoren en evaluatie die beperkt is tot Engelstalige benchmarks. Zij claimen geen nieuwe redeneercapaciteiten te introduceren, maar eerder bestaande capaciteiten onder compressie te behouden.