Why and When Visual Token Pruning Fails? A Study on Relevant Visual Information Shift in MLLMs Decoding

1. Het Probleem: Falen van Visual Token Pruning bij Redenering

Multimodale Large Language Models (MLLMs) genereren een enorm aantal visuele tokens via hun visuele encoder, wat leidt tot hoge rekenkosten en geheugenvraag. Om dit te beperken, wordt Visual Token Pruning (het verwijderen van overbodige visuele tokens) vaak toegepast.

• Huidige aanpak: Bestaande methoden (zoals FastV, DivPrune) selecteren de meest relevante visuele tokens tijdens de prefill-fase (het moment waarop het model de input sequence verwerkt) en verwijderen de rest permanent voordat de decoding (het genereren van het antwoord) begint.
• De observatie: Deze methoden werken goed voor eenvoudige visuele taken (zoals Visual Question Answering of VQA), maar falen dramatisch bij complexe visuele redeneertaken (zoals wiskundige problemen of logische puzzels).
• De oorzaak: De auteurs identificeren dat bestaande methoden uitgaan van een statisch beeld van relevantie. Ze veronderstellen dat de visuele informatie die nodig is om een vraag te beantwoorden, al in de prefill-fase vaststaat. Bij complexe redenering is dit echter niet het geval; de focus van het model verschuift dynamisch tijdens het genereren van het antwoord.

2. Kernconcept: Relevant Visual Information Shift (RVIS)

De auteurs introduceren het concept Relevant Visual Information Shift (RVIS) als de primaire oorzaak van het falen van statische pruning.

• Definitie: RVIS is het fenomeen waarbij de visuele aandacht van het model tijdens de decoding-fase verschuift naar andere gebieden in de afbeelding naarmate de redeneerstappen vorderen.
• Vergelijking VQA vs. VMR:
  • Bij VQA (Visuele Vraagbeantwoording) blijft de visuele focus stabiel op één gebied (bijv. een object of tekst) gedurende de hele generatie.
  • Bij VMR (Visuele Wiskundige Redenering) moet het model stap voor stap verschillende delen van een diagram analyseren. De visuele aandacht "springt" continu naar nieuwe gebieden om nieuwe logische stappen te ondersteunen.
• Gevolg: Omdat statische pruning tokens verwijdert die niet relevant leken in de prefill-fase, mist het model cruciale visuele aanwijzingen die pas later tijdens het redeneren nodig blijken te zijn.

3. Methodologie: DSTP (Decoding-stage Shift-aware Token Pruning)

Om dit probleem op te lossen, stellen de auteurs DSTP voor. Dit is een training-vrije (no-training) toevoeging aan bestaande pruning-methoden die dynamisch reageert op RVIS tijdens de decoding.

Het framework bestaat uit twee geïntegreerde modules:

1. RISD (Relevant Visual Information Shift Detect):

   • Deze module bewaakt de visuele aandacht van het model tijdens elke decoding-stap.
   • Het berekent de cosinus-ähnelijkheid tussen de initiële visuele focus (uit de prefill-fase) en de huidige visuele focus.
   • Als de similariteit onder een bepaalde drempelwaarde ($\tau$) zakt, wordt een RVIS-gebeurtenis gedetecteerd. Dit betekent dat het model nu naar een ander visueel gebied moet kijken dan oorspronkelijk gepland.

2. CPTS (Context-Preserving Visual Token Swap):

   • Zodra RVIS wordt gedetecteerd, activeert CPTS een mechanisme om eerder verwijderde tokens (die in een "reserveringsset" bewaard zijn) tijdelijk weer in te schakelen.
   • Dynamische herbeoordeling: Het model berekent opnieuw de relevantie van alle visuele tokens (inclusief de eerder verwijderde) op basis van de huidige tekstuele context.
   • Contextbehoud: In plaats van de oorspronkelijke tokens volledig te vervangen (wat de context zou verstoren), voegt CPTS de nieuw relevante tokens toe aan de bestaande set (union-operatie).
   • Tijdelijke uitbreiding: Deze uitgebreide set van tokens wordt gedurende een vast aantal decoding-stappen ($L$) behouden om de logica te voltooien, waarna het systeem terugkeert naar de oorspronkelijke, efficiënte set.

4. Belangrijkste Resultaten

De auteurs hebben hun methode getest op state-of-the-art MLLMs (Qwen3-VL en InternVL3.5) en diverse benchmarks.

• Prestaties bij Redenering (VMR):

  • Bestaande pruning-methoden lieten een drastische daling zien in prestaties op benchmarks zoals MathVerse, WeMath en MMMU-Pro (bijv. FastV zakte van ~61% naar ~32% op MathVerse).
  • Met DSTP werd deze prestatiedaling aanzienlijk gecompenseerd. FastV + DSTP behaalde ~52% op MathVerse (een enorme verbetering) en naderde de prestaties van het volledige model, terwijl het toch tokens pruneerde.
  • De verbetering was het grootst bij taken met hoge visuele complexiteit en veelstapsredenering.

• Prestaties bij Visueel Begrip (VQA):

  • Op eenvoudige VQA-benchmarks (zoals GQA, SQA) behielden de methoden met DSTP hun hoge prestaties en vertoonden ze zelfs een lichte verbetering ten opzichte van statische pruning, zonder de efficiëntie te verliezen.

• Efficiëntie:

  • Geen training nodig: DSTP is een plug-and-play module.
  • Berekeningskosten: De extra kosten voor het detecteren van RVIS en het tijdelijk herladen van tokens zijn verwaarloosbaar. De paper toont aan dat DSTP zelfs een lagere latentie per voorbeeld kan hebben dan statische pruning, omdat het model minder "redundante" redeneringen maakt door de juiste visuele context op het juiste moment te hebben.
  • TFLOPs: De totale rekenkosten blijven laag en vergelijkbaar met de basis-pruning methoden.

5. Significantie en Bijdragen

De paper levert drie belangrijke bijdragen aan het veld van multimodale AI:

1. Identificatie van RVIS: Het is de eerste studie die systematisch aantoont dat de dynamische verschuiving van visuele relevantie tijdens het redeneren (RVIS) de hoofdoorzaak is van het falen van bestaande token-pruning methoden.
2. DSTP Framework: Het introduceert een eenvoudige, training-vrije oplossing die de beperkingen van statische pruning overbrugt door adaptief te reageren op de veranderende behoeften van het model tijdens de decoding.
3. Paradigmaverschuiving: De resultaten onderstrepen dat voor complexe redeneertaken visuele token-pruning niet langer een eenmalige beslissing in de prefill-fase mag zijn. Efficiënte MLLMs moeten in staat zijn om visuele context dynamisch te heroverwegen tijdens het generatieproces.

Conclusie:
DSTP bewijst dat het mogelijk is om de rekenkosten van multimodale modellen drastisch te verlagen (door tokens te verwijderen) zonder in te leveren op complexe redeneercapaciteiten, zolang het systeem maar dynamisch kan reageren op verschuivingen in visuele aandacht. Dit maakt MLLMs veel praktischer inzetbaar voor real-world toepassingen die zowel snelheid als diep inzicht vereisen.