Technische Samenvatting: Prior-Corrected Token Reduction voor MLLM's

Probleemstelling

Multimodale Large Language Models (MLLM's) zetten afbeeldingen om in lange sequenties van visuele tokens, wat leidt tot aanzienlijke inferentiekosten, met name voor hoge-resolutie afbeeldingen en video's. Hoewel bestaande training-vrije methoden de inferentie versnellen door redundante visuele tokens te verwijderen op basis van tekst–visuele aandachtsscores, identificeert dit artikel een kritiek gebrek in hun onderliggende aanname: dat de grootte van de aandacht betrouwbaar de instructie-geconditioneerde semantische relevantie weerspiegelt.

De auteurs tonen aan dat MLLM's een sterke model-geïnduceerde prior vertonen. Zelfs in afwezigheid van tekstuele instructies hebben modellen de neiging om hoge aandacht toe te wijzen aan bepaalde taak-agnostische, visueel prominente regio's (bijv. hoog-contrast achtergronden of texturele gebieden). Wanneer pruning (het snoeien van tokens) afhankelijk is van absolute aandachtsscores, domineert deze prior de rangschikking. Bijgevolg kunnen tokens die cruciale instructie-specifieke bewijslast bevatten worden onderdrukt en weggegooid, terwijl irrelevante achtergrondtokens worden behouden. Dit probleem is bijzonder ernstig onder agressieve token-budgetten, waarbij foutieve selecties onomkeerbaar het visuele bewijs kunnen verwijderen dat vereist is voor correct redeneren.

Methodologie: PriorTR

Om dit aan te pakken, stellen de auteurs PriorTR (Prior-Corrected Token Reduction) voor, een training-vrije methode die de taak-geconditioneerde aandacht expliciet scheidt van de model-geïnduceerde prior.

Kernconcept: V-Bruikbare Informatie

PriorTR herformuleert tokenselectie als een probleem van het identificeren van tokens die additionele bruikbare informatie bijdragen bovenop de intrinsieke bias van het model. Het deelt de geobserveerde posterieure aandacht $P_\theta(v | X)$ (geconditioneerd op instructie $X$) op in twee componenten:

1. Model-Geïnduceerde Prior ($Q_\theta(v)$): De aandachtsverdeling wanneer er geen instructie aanwezig is (of een null-instructie wordt gebruikt).
2. Semantische Lift ($L(v, X)$): De multiplicatieve toename in belang die specifiek door de instructie wordt geïnduceerd.

De methode scoort tokens op basis van Pointwise V-Information (PVI), gedefinieerd als:
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
Om ervoor te zorgen dat tokens met een verwaarloosbare waarschijnlijkheid niet worden geselecteerd, combineert de uiteindelijke belangrijkheidsscore ($S_{\text{PriorTR}}$) de posterieure massa met de log-ratio:
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
Tokens worden gerangschikt op basis van deze score, en de top-$K$ worden behouden.

Efficiënte Single-Pass Implementatie

Een belangrijke innovatie van PriorTR is het vermogen om zowel de prior als de posterieur te schatten binnen een enkele forward pass, waardoor de computationele overhead van het twee keer draaien van het model wordt vermeden.

• Null Token als Probe: De methode maakt gebruik van de causale aandachtsstructuur van autoregressieve decoders. Een "null token" (bijv. een separator zoals \n) wordt direct na de visuele tokens maar vóór de instructie-tokens geplaatst.
• Causale Maskering: Vanwege de causale mask kan de null token niet attenderen op daaropvolgende instructie-tokens. Daarom vertegenwoordigt de aandachtsverdeling van de null token over de visuele sequentie van nature de instructie-agnostische prior ($Q_\theta$).
• Gelijktijdige Extractie: In hetzelfde aandachtsblok levert de aandacht van de werkelijke instructie-tokens naar de visuele sequentie de taak-geconditioneerde posterieur ($P_\theta$) op.
• Fysieke Pruning: In tegenstelling tot methoden die enkel tokens maskeren, verwijdert PriorTR fysiek de niet-geselecteerde hidden states en KV-cache-entries. Dit zorgt ervoor dat opeenvolgende lagen opereren op een werkelijk verkorte sequentie, wat reële reducties in geheugen en berekening oplevert.

Belangrijkste Bijdragen

1. Identificatie van de Model-Geïnduceerde Prior: De auteurs formaliseren de observatie dat aandacht-gebaseerde pruning vaak wordt gedomineerd door instructie-agnostische prominentiepatronen, wat leidt tot de onderdrukking van taak-relevante tokens onder strikte budgetten.
2. PriorTR Algoritme: Een training-vrije token-reductiemethode die visuele tokens rangschikt op basis van "V-bruikbare informatie" (de semantische lift over de prior) in plaats van ruwe aandachtsgrootte.
3. Efficiënt Single-Pass Ontwerp: Een implementatie die de prior schat met behulp van een null-token probe binnen een enkele forward pass, wat fysieke pruning en echte inferentie-acceleratie mogelijk maakt zonder dubbele propagatie.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat PriorTR de nauwkeurigheid-efficiëntie-verhouding consistent verbetert over meerdere MLLM's (LLaVA-1.5, Qwen3-VL) en benchmarks (afbeelding- en video-begrip).

Experimentele Resultaten

Het artikel evalueert PriorTR op 12 multimodale benchmarks (inclusief GQA, MME, MMB, POPE en video QA-taken) met behulp van LLaVA-1.5-7B, LLaVA-1.5-13B en Qwen3-VL-8B.

• Nauwkeurigheid vs. Efficiëntie: PriorTR presteert consistent beter dan sterke training-vrije baselines (FastV, PDrop, SparseVLM, VisPruner, PruMerge).
  • Op LLaVA-1.5-7B met 64 behouden tokens (88,9% reductie), bereikt PriorTR een gemiddelde nauwkeurigheid van 94,5%, aanzienlijk hoger dan FastV (70,7%) en VisPruner (91,7%).
  • Op Qwen3-VL-8B met een token-ratio van 11,1%, bereikt PriorTR 87,8% relatieve prestatie, waarmee het de baseline FastV (75,5%) overtreft.
• Video Begrip: Op Video-LLaVA bereikt PriorTR, gecombineerd met token merging, bijna de baseline-nauwkeurigheid (38,7% vs. 38,7% ongecomprimeerd) onder GPT-evaluatie en overtreft het de baseline onder Gemini-evaluatie, waarmee het SparseVLM overtreft.
• Efficiëntiewinsten: PriorTR behaalt substantiële versnellingen (tot 2,21× op LLaVA-1.5-7B) en vermindert het KV-cache geheugengebruik evenredig aan de token-reductie, wat bevestigt dat fysieke pruning de computationele last effectief verlaagt.
• Ablatie Studies: Vergelijkingen van scoringfuncties laten zien dat de voorgestelde $P \cdot \log(P/Q)$ formulering beter presteert dan alternatieven zoals eenvoudige verschil ($P-Q$), log-ratio ($\log(P/Q)$), of ruwe posterieur ($P$), wat de noodzaak valideert om zowel de relevantiegrootte als de relatieve lift gezamenlijk te overwegen.

Betekenis

Het artikel stelt dat PriorTR een principieel pad biedt voor efficiënte multimodale inferentie door intrinsieke prominentie te ontkoppelen van taakgestuurde relevantie. Door de model-geïnduceerde prior te corrigeren, zorgt de methode ervoor dat tokenselectie wordt gedreven door instructie-geconditioneerde semantiek in plaats van visuele dominantie. Deze aanpak biedt een robuuste, plug-and-play oplossing die een hoge nauwkeurigheid behoudt, zelfs onder agressieve token-compressie, en adresseert een fundamentele beperking in huidige aandacht-gebaseerde pruning-strategieën. De auteurs benadrukken dat hun methode orthogonaal is aan bestaande benaderingen en naadloos ermee geïntegreerd kan worden.