Technische Samenvatting: Reroute, Niet Verwijderen

1. Probleemstelling

Vision-Language Models (VLM's) projecteren afbeeldingen naar honderden of duizenden visuele tokens, wat de kosten van decoder-inferentie doet schalen met een kwadratische factor voor aandacht en een lineaire factor voor de KV-cache-geheugencapaciteit. Om dit te beperken, volgen bestaande methoden voor visuele token-reductie (bijv. FastV, PDrop, Nüwa) grotendeels een "rank-and-remove"-paradigma. In deze aanpak worden visuele tokens gescoord (meestal via tekst-naar-visie aandacht), een compacte subset wordt behouden, en de rest wordt permanent verwijderd uit de sequentie.

De auteurs identificeren een kritiek gebrek in dit paradigma: token-belang is niet stabiel over de diepte van de decoder.

• Dynamische Belangrijkheid: Ondiepe decoderlagen besteden vaak diffuse aandacht uit, terwijl doelrelevantie pas in middelste of diepe lagen kan opkomen.
• Onomkeerbaarheid: Een token die in een vroeg stadium van pruning (bijv. Laag 3) laag wordt gerankt, kan essentieel zijn voor een specifieke query in een diepere laag (bijv. Laag 25). Zodra het is verwijderd, kan het niet meer bijdragen aan latere berekeningen.
• Gevolg: Onder agressieve token-reductie (bijv. 88,9% reductie) leidt deze onomkeerbaarheid tot een instorting van de grounding-prestaties (bijv. IoU daalt onder 0,4), zelfs wanneer de algemene VQA-prestaties gedeeltelijk behouden blijven.

2. Methodologie: Reroute

Het artikel stelt Reroute voor, een training-vrije plug-in die onomkeerbare verwijdering vervangt door herstelbare routing.

Kernmechanisme

Reroute herformuleert visuele token-reductie aan de decoderzijde als een reeks fasegewijze routing-beslissingen in plaats van een enkelvoudige pruning-gebeurtenis.

1. Fasegewijze Selectie: De decoder wordt verdeeld in $S$ fasen. Bij elke routinglaag $\ell_i$ rangschikt een scorer (die de bestaande tekst-naar-visie aandachtsscores hergebruikt) de huidige kandidaatset van visuele tokens.
2. Routing versus Uitstel (Deferral):
   • Geselecteerde Tokens ($V_{sel}$): Een top-$r_i$ fractie van de tokens wordt door de volledige decoderblok (Attn + FFN) van de huidige fase gerouteerd.
   • Uitgestelde Tokens ($V_{def}$): De resterende tokens omzeilen de Attn+FFN-berekening van de huidige fase via een residu-pad. Cruciaal is dat ze niet worden verwijderd.
3. Herintreding: Bij de volgende routinglaag wordt de kandidaatset hersteld door alle uitgestelde tokens toe te voegen ($C_{i+1} = V$). Uitgestelde tokens worden opnieuw geëvalueerd tegen de volledige visuele set. Als hun aandachtsscore in diepere lagen verbetert, kunnen ze opnieuw worden geselecteerd en door opeenvolgende blokken worden gerouteerd.

Theoretische Efficiëntie

• Gematched Budget: Reroute behoudt de theoretische FLOPs en KV-cache-budgetten van de pruning-baseline die het aanvult. Alleen de geselecteerde tokens ($V_{sel}$) verbruiken de zware rekenkracht (Attn+FFN) in elke fase.
• Geen Training: De methode hergebruikt de aandachtsscores die al door de decoder zijn berekend voor de originele pruning-methoden. Er worden geen nieuwe router-parameters getraind.
• Relatie tot MoD: Het wordt geframed als een training-vrije instantie van Mixture-of-Depth (MoD) voor VLM visuele tokens, waarbij de "router" het reeds bestaande aandachtsmechanisme is.

3. Belangrijkste Bijdragen

1. Herstelbare Routing-formulering: De auteurs hebben visuele token-pruning geherformuleerd als fasegewijze routing met een bypass voor uitgestelde tokens. Dit maakt de conventionele onomkeerbare pruning een gedegenereerd geval waarbij herintreding verboden is.
2. Plug-in Mechanisme: Reroute is een "drop-in" augmentatie die geen hertraining vereist, bestaande scoringregels en schema's hergebruikt, en de theoretische efficiëntieklasse (TFLOPs en KV-cache) van de onderliggende pruning-methode behoudt.
3. Empirische Validatie: De methode wordt gevalideerd over drie backbones (LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid) en drie pruning-baselines (FastV, PDrop, Nüwa).

4. Experimentele Resultaten

Het artikel evalueert Reroute op visuele grounding (RefCOCO-serie) en algemene VQA-benchmarks.

• Visuele Grounding (RefCOCO):

  • Agressieve Reductie: Onder een 88,9% token-reductie (576 $\to$ 64 tokens) veroorzaakt standaard pruning (bijv. FastV) een instorting van de grounding-nauwkeurigheid (bijv. IoU < 0,4). Reroute herstelt deze prestaties aanzienlijk.
  • Kwantitatieve Winsten: Op LLaVA-1.5 (HuggingFace-formaat) verbetert PDrop+Reroute de gemiddelde grounding-ratio van 22,2% naar 34,0% bij 64 tokens. Op Qwen3.5-9B-Hybrid verbetert PDrop+Reroute de ratio van 19,3% naar 37,4% bij 88,9% reductie.
  • Cross-Backbone: De verbeteringen vertalen zich effectief naar de Qwen-familie modellen, inclusief hybride architecturen (Mamba-Transformer).

• Algemene VQA:

  • Reroute behoudt of verbetert licht de algemene VQA-prestaties (GQA, MME, TextVQA) vergeleken met de pruning-baselines, wat aangeeft dat de herstelbare routing de algemene multimodale capaciteiten niet opoffert.

• Efficiëntie:

  • Reroute bereikt vergelijkbare TFLOPs en KV-cache reducties als de pruning-baselines (bijv. ~80% reductie in TFLOPs en ~86% in KV-cache bij 64 tokens).
  • Er is een kleine TFLOPs-overhead door de extra routingfasen vergeleken met one-shot pruning, maar de theoretische klasse blijft gelijk.

• Ablatieonderzoeken:

  • Frequentie: Het verhogen van het aantal reroute-fasen verbetert de prestaties over het algemeen tot een bepaald punt, wat suggereert dat herhaalde evaluatie gunstig is.
  • Locatie: De plaatsing van de routinglagen is van belang; de vroege-tot-middelste decoderlagen zijn optimaal voor beslissingen over herintreding.

5. Betekenis en Claims

Het artikel betoogt dat visuele token-reductie niet uitsluitend moet worden gezien als onomkeerbare pruning, maar ook als herstelbare routing.

• Paradigmaverschuiving: De beperking van bestaande methoden ligt niet in het scoring-mechanisme, maar in de "verwijder"-actie. Door verwijdering te vervangen door uitstel, kan het model zich aanpassen aan de verschuivende belangrijkheid van visuele tokens over de diepte van de decoder.
• Grounding Gevoeligheid: De voordelen zijn het meest uitgesproken bij grounding-intensieve taken en onder agressieve token-reductie, waar het risico op het weggooien van essentieel visueel bewijs het grootst is.
• Bescheiden Omvang: De auteurs erkennen dat Reroute de beperkingen van aandachtsscore-routers overneemt (slechte ranking kan nog steeds leiden tot inactieve tokens) en dat praktische latentie afhangt van geoptimaliseerde gather/scatter kernels. Ze merken ook op dat in hybride architecturen (zoals Qwen3.5), routing momenteel alleen wordt toegepast op softmax-attention blokken, wat de interactie met lineaire-attentie staat-dynamiek een onderwerp voor toekomstig werk maakt.

Concluderend toont Reroute aan dat het behouden van de optie om uitgestelde bewijslast te herstellen, VLMs in staat stelt om een hoge grounding-nauwkeurigheid te behouden, zelfs wanneer de computationele budgetten strikt beperkt zijn, zonder dat hiervoor extra training nodig is of de theoretische computekosten stijgen.