ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning

Titel: ResAdapt: Adaptieve Resolutie voor Efficiënte Multimodale Redenering

1. Het Probleem

Multimodale Grootte Taalmodellen (MLLM's) bereiken een sterkere visuele begrijping door de invoer-fideliteit (resolutie) te verhogen. Dit creëert echter een fundamenteel conflict:

• Token-explosie: Hogere resolutie en langere video's leiden tot een exponentiële toename van visuele tokens, wat de rekencapaciteit en het geheugen overbelast.
• De Trade-off: Bestaande methoden om dit op te lossen, vallen vaak in twee categorieën die beide te laat ingrijpen:
  1. Model-side compressie: Tokens worden samengevoegd of verwijderd na de visuele encoding. Dit gooit fijne details weg die onherstelbaar zijn en kan geoptimaliseerde inferentie-kernels verstoren.
  2. Output-side agentische redenering: Het model vraagt iteratief om inzoomen of het ophalen van frames. Dit introduceert hoge latentie (vertraging) en is afhankelijk van een initiële, vaak te grove weergave.
• De Kern: De bottleneck ligt niet in hoe representaties na encoding worden gecomprimeerd, maar in het aantal pixels dat de encoder in eerste instantie ontvangt.

2. Methodologie: ResAdapt

ResAdapt introduceert een invoerzijde adaptatieframework (Input-side adaptation) dat het visuele budget voor de encoding dynamisch toewijst. Het systeem bestaat uit drie hoofdblokken:

A. De Allocator (Lightweight Policy)

In plaats van alle frames met volledige resolutie in te voeren, gebruikt ResAdapt een lichte "Allocator" (gebaseerd op SmolVLM-architectuur) die:

• Kijkt naar ruwe visuele kenmerken en de tekstuele vraag.
• Voorspelt hoeveel visueel budget (resolutie) elke individuele frame nodig heeft.
• Deze toewijzing wordt vertaald naar een operator, zoals het herschalen van de resolutie (resize) of het selecteren van frames.
• Het MLLM-backbone (bijv. Qwen2.5-VL) ontvangt vervolgens een gestandaardiseerde tokenreeks in één enkele doorloop, behoudt zijn native interface en is compatibel met bestaande geoptimaliseerde inferentie-engines (zoals FlashAttention).

B. Cost-Aware Policy Optimization (CAPO)

Het trainen van een beleid dat continu actie uitvoert (resolutiefactoren) met een niet-differentieerbare operator is uitdagend. CAPO lost dit op door:

• Contextual Bandit Formulering: Het probleem wordt gezien als het toewijzen van een budget per frame op basis van de context.
• Asymmetrische Beloning: In plaats van een simpele boete voor kosten (wat leidt tot extreem lage resolutie overal), gebruikt CAPO een "gevormd" signaal. Correcte antwoorden met lage kosten krijgen een bonus, terwijl dure, foutieve antwoorden zwaar worden gestraft.
• Dynamische Kosten-Pivot: De drempel voor wat "te duur" is, past zich dynamisch aan op basis van de huidige prestaties van het beleid, wat instabiliteit voorkomt.

C. Temporal Similarity Regularizer

Om te voorkomen dat het beleid redundante, vergelijkbare frames (bijv. een statische scène) allemaal een hoog budget toewijst, introduceert het paper een regularisatieterm. Deze straft hoge budgettoewijzingen op opeenvolgende frames die visueel zeer op elkaar lijken, waardoor het beleid gedifferentieerd en inhoudsgericht wordt.

3. Belangrijkste Bijdragen

1. ResAdapt Framework: Een nieuw paradigma dat visuele budgettering als een leerbaar probleem behandelt vóór encoding, waardoor de native architectuur van MLLM's intact blijft.
2. CAPO + Regularisatie: Een stabiele trainingsmethode die nauwkeurigheid en kosten simultaan optimaliseert zonder handgemaakte heuristieken, en redundantie in tijdrijen onderdrukt.
3. Empirisch Bewijs: Uitgebreide experimenten tonen aan dat ResAdapt de Pareto-grens van efficiëntie-nauwkeurigheid verbetert, vooral bij intensieve redeneringstaken.

4. Resultaten

ResAdapt werd getest op diverse benchmarks (VideoMME, LongVideoBench, MMVU, VideoMMMU) met backbones zoals Qwen2.5-VL-7B en Qwen3-VL-8B.

• Efficiëntie vs. Nauwkeurigheid: ResAdapt presteert beter dan bestaande methoden (zoals ToMe, VisionZip, Random Drop) bij lage visuele token-begrotingen (bijv. ~10-12% retentie).
• Redenering: De winst is het grootst op benchmarks die zwaar zijn op redenering (zoals VideoMMMU), waar ResAdapt tot 15% betere prestaties levert vergeleken met andere compressiemethoden bij dezelfde budgetten.
• Temporale Dekking: Door ruimte te besparen op de resolutie van minder belangrijke frames, kan ResAdapt onder hetzelfde rekenbudget 16x meer frames verwerken dan een standaard model.
• Latentie: Bij lange video's (64-128 frames) compenseert de besparing in token-berekening de overhead van de Allocator, wat leidt tot aanzienlijke snelheidswinsten (tot -59% E2E-tijd bij 128 frames).
• Generalisatie: Het beleid dat op video is getraind, toont "open-loop actieve perceptie": het concentreert zich automatisch op informatieve momenten (tekstoverlays, scèneveranderingen) zonder expliciete supervisie.

5. Betekenis en Conclusie

ResAdapt positioneert invoerzijde adaptatie als een praktische en effectieve route voor lang-context video-redenering onder strikte visuele budgetten.

• Verschuiving van Paradigma: Het paper beweert dat het optimaliseren van wat er wordt ingevoerd (pixels), effectiever is dan het optimaliseren van hoe het wordt verwerkt (token-compressie na encoding).
• Praktische Toepasbaarheid: Omdat het de backbone niet hoeft te wijzigen, is het direct inzetbaar met bestaande, geoptimaliseerde inferentie-stacks.
• Toekomst: Hoewel het momenteel vooral werkt voor video, suggereert het dat het principe van "leerbaar visueel budget" een fundamentele stap is naar schaalbare multimodale modellen voor lange video's.

Kortom, ResAdapt leert het model om "slimmer te kijken" door de resolutie dynamisch aan te passen aan de inhoud van het verhaal, in plaats van blindelings te comprimeren of te vertragen.