Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben hoge resolutie visuele invoer nodig voor taken zoals documentbegrip en gedetailleerde scèneperceptie. Echter, huidige methoden voor het schalen van de globale resolutie leiden tot twee fundamentele inefficiënties:

1. Query-niveau redundantie: Bestaande systemen behandelen elke vraag alsof maximale visuele precisie nodig is, wat leidt tot verspilling van rekenkracht bij eenvoudige vragen die met grove kenmerken kunnen worden beantwoord.
2. Ruimtelijke redundantie: Het globaal schalen van een afbeelding vult het kwadratische zelf-attentie-mechanisme van de LLM met duizenden visueel overbodige achtergrond-tokens. Dit vormt een zware bottleneck voor de inferentie-snelheid (throughput) en negeert de ruimtelijke schaarsheid van de relevante informatie.

Bestaande oplossingen, zoals trainingsvrije heuristieken of Reinforcement Learning (RL)-gebaseerde "Think-with-Image" modellen, hebben hun eigen nadelen: ze vereisen vaak meerdere redundante voorvul-passes (prefilling), vertraagde autoregressieve decoding, of zijn extreem duur en instabiel om te trainen.

Methodologie: Q-Zoom

Q-Zoom is een query-bewust, adaptief framework dat werkt in een efficiënte "grof-naar-fijn" (coarse-to-fine) modus binnen de tussenliggende feature-ruimte van het model. Het lost het probleem op in twee fasen tijdens één enkele voorvul-pass (single prefilling pass):

1. Dynamische Gating Network (Query-aware Routing)

• Doel: Bepalen of een specifieke vraag überhaupt hoge resolutie verwerking nodig heeft.
• Werking: Een lichtgewicht netwerk analyseert de tussenliggende hidden states van de MLLM (na de eerste $B$ lagen) om te voorspellen of de grove, lage-resolutie context voldoende is.
• Training: Het gebruikt een Consistency-Aware Sample Generation strategie. In plaats van menselijke annotaties, worden trainingslabels gegenereerd door te evalueren of het model een vraag correct beantwoordt op verschillende resoluties. Alleen gevallen waarin het model faalt bij lage resolutie maar slaagt bij hoge resolutie, worden gebruikt als "Refine"-labels. Dit elimineert ruis en hallucinaties.
• Inferentie: Als de gate voorspelt dat de vraag simpel is, wordt het hogeresolutie-pad genegeerd, wat de inferentie versnelt.

2. Self-Distilled Region Proposal Network (SD-RPN)

• Doel: Voor complexe vragen die verwerking vereisen, wordt alleen het relevante deel van de afbeelding (Region-of-Interest of RoI) geïdentificeerd en verwerkt.
• Werking: Het SD-RPN werkt direct op de tussenliggende features van de bevroren backbone. Het voorspelt een dichte heatmap van de RoI door de interne cross-attention mechanismen van het model te distilleren.
• Training (Self-Supervised): Het gebruikt een Self-Distillation paradigma. Het filtert "sink tokens" (visuele tokens zonder semantische relevantie) en past een selectieve drie-toestand label toewijzing toe (foreground, background, of genegeerd) op basis van de interne attention maps. Dit elimineert de noodzaak voor externe annotaties of dure RL-training.
• Inferentie: De geïdentificeerde RoI wordt uit de hoge-resolutie bronafbeelding geknipt, opnieuw gecodeerd en samengevoegd met de globale context.

3. Spatio-Temporal Alignment & Post-SFT

• Uitdaging: Het verwerken van een geknipte lokale RoI en de globale afbeelding als twee aparte sequenties kan leiden tot ruimtelijke misalignement (het model weet niet waar de RoI zich in de oorspronkelijke afbeelding bevindt).
• Oplossing: Q-Zoom introduceert een continu spatio-temporele positionele codering die de broncoördinaten van de RoI injecteert in de tokens. Daarnaast wordt een Targeted Post-Supervised Fine-Tuning (Post-SFT) toegepast op een set van "harde" foutgevallen (waar het basismodel wel goed was, maar het RoI-model faalde) om het model te leren de lokale details en globale context naadloos te integreren.

Belangrijkste Bijdragen

1. Q-Zoom Framework: Een volledig geïntegreerd, twee-staps adaptief systeem dat query-redundantie en ruimtelijke redundantie tegelijkertijd oplost binnen één inferentiecyclus.
2. Data-efficiënte optimalisatie: Introductie van een consistentie-bewuste generatiestrategie voor het trainen van de gate en een volledig zelf-superviserend distillatieparadigma voor de SD-RPN, wat menselijke annotatie en RL-pipelines overbodig maakt.
3. Ruimtelijke Integratie: Een nieuwe methode voor spatio-temporele alignering en gerichte fine-tuning die de ruimtelijke redenering van het model herstelt zonder de algemene intelligentie te verliezen.

Resultaten

Experimenten zijn uitgevoerd op diverse state-of-the-art modellen (Qwen2.5-VL, Qwen3-VL, LLaVA) en benchmarks (Document & OCR, High-Resolution).

• Efficiëntie: Q-Zoom versnelt de inferentie aanzienlijk. Op Qwen2.5-VL-7B wordt een 2.52x versnelling behaald op Document & OCR-taken en 4.39x op High-Resolution scenario's vergeleken met brute-force baselines.
• Token Kosten: Er is een reductie in visuele tokenkosten van 53.0% (Document) en 73.2% (High-Res) ten opzichte van een baseline met 4.096 tokens.
• Nauwkeurigheid: Q-Zoom bereikt de pieknauwkeurigheid van de brute-force baseline (die alle tokens gebruikt) terwijl het slechts een fractie van de tokens gebruikt. In configuraties voor maximale perceptuele fideliteit overtreft het de baseline zelfs met 1.1% tot 8.1% op specifieke benchmarks.
• Pareto Frontier: Q-Zoom vestigt een nieuwe dominante Pareto-grens tussen nauwkeurigheid en efficiëntie, presterend beter dan training-vrije methoden (zoals ViCrop) en RL-gebaseerde methoden (zoals Thyme) in zowel snelheid als nauwkeurigheid.
• Generalisatie: De methode werkt plug-and-play op verschillende architecturen, inclusief nieuwe RL-gebaseerde "thinking" modellen, en verbetert deren prestaties zonder de inferentielatentie te verhogen.

Significantie

Q-Zoom biedt een fundamentele doorbraak in de efficiëntie van multimodale modellen. Het bewijst dat hoge resolutie perceptie niet noodzakelijkerwijs betekent dat je de hele afbeelding met hoge precisie moet verwerken. Door slim te routeren en alleen relevante delen te verwerken, kan men de rekenkosten drastisch verlagen zonder in te leveren op de kwaliteit van het antwoord. Dit maakt geavanceerde visuele redenering haalbaar op minder krachtige hardware en opent de weg voor snellere, real-time toepassingen van MLLM's in complexe visuele omgevingen.