When Do Fewer Visual Tokens Accelerate Multimodal Inference? A Break-Even Study Across Decision Locations and Hardware

Technische Samenvatting: Wanneer versnelt een lager aantal visuele tokens de multimodale inferentie?

Probleemstelling
De heersende aanname bij de optimalisatie van Multimodale Large Language Models (MLLM's) is dat het verminderen van het aantal visuele tokens direct leidt tot een lagere end-to-end latentie. Dit artikel betoogt echter dat minder tokens niet noodzakelijkerwijs een lagere wandkloktijd garanderen. De relatie is niet equivalent omdat:

1. Beslissingsoverhead: Adaptieve beleidsregels (gates, routers, probes) brengen hun eigen computationele kosten met zich mee (bijv. extra forward passes, decoderen van probes).
2. Locatie van de beslissing: Het punt waarop de beslissing wordt genomen, bepaalt welke operatoren vermeden kunnen worden. Post-visuele pruning kan geen werk herstellen dat al door de vision encoder of beeldvoorverwerking is verbruikt.
3. Hardwarevariabiliteit: De balans tussen operatoren (voorverwerking, encoding, LLM prefill/decode) varieert per hardware, wat betekent dat een beleid dat tokens bespaart op de ene GPU, mogelijk geen tijd bespaart op een andere.

De studie onderzoekt wanneer adaptieve visuele budgettering een meetbare vermindering van de end-to-end latentie produceert, waarbij specifiek wordt gefocust op "break-even"-punten waar de kosten van het beslissingsmechanisme worden overtroffen door de bespaarde berekening.

Methodologie
De auteurs stellen een reproduceerbaar break-even boekhoudprotocol voor dat latentie deelt op in wederzijds uitsluitende componenten:

• $T_{shared}$: Berekening die één keer wordt uitgevoerd voor zowel de beslissing als de inferentie (bijv. beeldvoorverwerking en visuele kenmerken die hergebruikt worden door een post-visueel beleid).
• $T_{decision-only}$: Overhead specifiek voor het beleid (bijv. feature aggregatie, policy inferentie, routing logica).
• $T_{execution-only}$: Het resterende werk (voorverwerking, vision encoding, LLM prefill/decode) dat wordt vermeden of verminderd.

De studie evalueert beleidsregels over drie beslissingslocaties:

1. Pre-vision: De inputresolutie beslissen vóór de vision encoder (bijv. Image-Size Rule).
2. Post-vision/Pre-generation: Beslissen over het behoud van tokens na de encoding maar vóór de LLM-generatie (bijv. Static Predictor).
3. Autoregressief/Online: Beslissen tijdens de generatie met behulp van probes (bijv. Confidence Gate, Counterfactual Gate).

Experimentele Opzet:

• Model: Qwen2.5-VL-3B-Instruct.
• Datasets: VQAv2, TextVQA, en ChartQA (2.600 voorbeelden voor budgetprofilering; 120 voor gebalanceerde latentietests; 403 voor conditionele kwaliteitsevaluatie).
• Hardware: RTX 3090 en NVIDIA A100.
• Statistische Rigor: Verschillen in latentie worden geanalyseerd met behulp van gepaarde bootstrap resampling (10.000 resamples) en gepaarde sign-flip tests. Significantie wordt beoordeeld met behulp van een conservatieve all-pairs Holm correctie.
• Kwaliteitsmetriek: "Full-correct" conditionering, waarbij wordt gemeten of een gereduceerd budget het antwoord-scoreniveau van het full-resolution model behoudt voor voorbeelden die het volledige model correct heeft beantwoord.

Belangrijkste Resultaten

1. Autoregressieve Probes falen bij de Break-Even:
   In een pilot van 30 voorbeelden waren twee geteste autoregressieve probes (Confidence Gate en Counterfactual Gate) trager dan het Full model. De decoderingsoverhead en de extra forward passes overstegen de besparingen van het verwerken van minder tokens, zelfs met state reuse.

2. Statische Post-Vision Pruning (Static-0.900):

   • Latentie: Bereikte statistisch significante reducties in latentie op beide GPU's (RTX 3090: -27,12 ms; A100: -4,02 ms). Deze resultaten bleven significant na de Holm-correctie.
   • Tokens vs. Tijd: Op de A100 verwijderde Static-0.900 bijna acht keer meer visuele tokens dan de pre-vision Rule, maar bespaarde minder latentie. Dit komt doordat Static werkt nadat de dure vision encoding en voorverwerking al hebben plaatsgevonden.
   • Kwaliteit: Behaalde een relatieve 3-task macro score van 0,9833 (vs. 1,0000 voor Full).

3. Pre-Vision Image-Size Rule:

   • Latentie: Toonde latentiereducties op beide GPU's (RTX 3090: -13,99 ms; A100: -8,92 ms). Echter, deze vergelijkingen bleven niet significant na de conservatieve Holm-correctie.
   • Mechanisme: De Rule vermijdt preprocessing en vision encoding volledig voor geselecteerde afbeeldingen. Op de A100 woog dit structurele voordeel (het vermijden van dure operatoren) zwaarder dan de grotere downstream token-reductie die door het Static beleid werd bereikt.
   • Workload Concentratie: De latentiewinsten waren sterk geconcentreerd in een kleine subset van hoog-resolutie TextVQA voorbeelden (6 van de 120 in de timing workload). Het verwijderen van deze voorbeelden bracht de gemiddelde besparing terug naar bijna nul.

4. Oracle vs. Fixed Budget:
   Een post-hoc "Oracle" analyse toonde aan dat voor voorbeelden die correct werden beantwoord door het Full model, een veilig token budget gemiddeld slechts 23,92% kon zijn. Echter, het kleinste vaste budget dat voldeed aan de empirische validatie-set preservatie-eis (98,5% monotone-safe) bleef op 100%. Dit benadrukt de moeilijkheid van het toepassen van een enkel vast budget over diverse inputs zonder kwaliteitsverlies.

5. Hardware Interactie:
   Er was een significante Full-genormaliseerde interactie tussen het Static beleid en de Image-Size Rule over de twee GPU-omgevingen heen. De relatieve prestatie van token-reductie versus tijdwinst hing af van de specifieke hardware/software operator-mix, wat bevestigt dat token-aantallen alleen de wall-clock behavior niet kunnen voorspellen.

Significantie en Claims
Het artikel claimt bescheiden een reproduceerbaar break-even protocol te bieden in plaats van een universeel superieure router of een nieuwe token-belangrijkheidsscore. De primaire bijdragen zijn:

• Ontkoppeling van Beslissingskosten van Locatie: Het aantonen dat de locatie van de beslissing (pre- vs. post-vision) bepaalt welke operatoren vermijdbaar zijn, en dat "minder tokens" niet gelijk staat aan "minder tijd" als het beslissingsmechanisme kostbaar is of als dure upstream operatoren niet overgeslagen kunnen worden.
• Structurele Opportuniteit van Pre-Vision Routing: Het vaststellen dat pre-vision routing een uniek voordeel heeft (het vermijden van preprocessing en encoding) dat post-vision pruning niet kan bereiken, en dat dit de grotere downstream token-reductie kan overtreffen.
• Empirische Reality Check: Het aantonen dat geleerde autoregressieve probes vaak niet het break-even punt bereiken vanwege de overhead, en dat vaste beleidsregels niet goed generaliseren over diverse hardware-omgevingen zonder specifieke accounting op operator-niveau.

De auteurs benadrukken dat hun bevindingen voorwaardelijk zijn aan voorbeelden die correct zijn beantwoord door het Full model en niet representatief zijn voor de algemene nauwkeurigheid op alle inputs. De studie dient als een mechanistische casestudy voor hoe men latentiewinsten in multimodale systemen kan meten en interpreteren, waarbij gewaarschuwd wordt voor het blind vertrouwen op louter token-ratio's of FLOPs als proxy voor snelheid.