Q-Zoom: Query-Aware Adaptive Perception for Efficient Multimodal Large Language Models

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) richiedono input visivi ad alta risoluzione per compiti fini come la comprensione di documenti e la percezione di scene dense. Tuttavia, le attuali strategie di scalatura globale della risoluzione presentano due gravi inefficienze:

• Ridondanza a livello di query: Le strategie attuali applicano forzatamente una risoluzione massima a tutte le immagini, ignorando il fatto che molte domande semplici possono essere risposte con caratteristiche visive "grossolane" (bassa risoluzione). Questo spreca risorse computazionali.
• Ridondanza spaziale: Scalare l'intera immagine genera migliaia di token visivi ridondanti (sfondi inutili) che intasano il meccanismo di self-attention quadratico del LLM, creando un collo di bottiglia nell'efficienza dell'inferenza.
• Limiti delle soluzioni esistenti: I metodi training-free basati su euristiche richiedono passaggi di prefilling ridondanti, mentre i metodi basati sul Reinforcement Learning (RL) spostano il carico computazionale sul modello linguistico, aumentando drasticamente la latenza a causa di lunghe catene di pensiero (Chain-of-Thought).

2. Metodologia: Q-Zoom

Q-Zoom è un framework adattivo a due stadi che opera nello spazio delle caratteristiche intermedie del modello, decoupling la fedeltà percettiva dai costi computazionali quadratici. Funziona in un'unica fase di prefilling.

A. Dinamic Gating Network (Rete di Gate Dinamica)

• Funzione: Valuta se una specifica query richiede una risoluzione elevata o se le caratteristiche globali a bassa risoluzione sono sufficienti.
• Meccanismo: È una rete leggera attaccata agli strati intermedi del backbone MLLM congelato.
• Addestramento Innovativo: Utilizza una strategia di Generazione di Campioni Consapevoli della Coerenza (Consistency-aware Sample Generation). Invece di usare etichette umane, genera etichette di routing deterministiche valutando la coerenza delle risposte del modello su una traiettoria di risoluzioni crescenti. Se il modello fallisce a bassa risoluzione ma riesce ad alta, l'etichetta è "necessita raffinamento". Questo elimina la necessità di annotazioni umane.

B. Self-Distilled Region Proposal Network (SD-RPN)

• Funzione: Se il gate attiva la raffinazione, l'SD-RPN localizza con precisione la Region of Interest (RoI) direttamente dagli spazi delle caratteristiche intermedie, senza bisogno di modelli esterni.
• Meccanismo: Sfrutta le capacità di grounding visivo degli strati intermedi del MLLM. Predice una mappa di calore densa per ritagliare e re-codificare solo la parte rilevante dell'immagine ad alta risoluzione.
• Addestramento Self-Distilled: Non richiede dati etichettati. Utilizza una paradigma di distillazione totalmente auto-supervisionata:
  1. Estrae mappe di attenzione incrociata dal modello base.
  2. Rimuove i "token sink" (token di sfondo con attenzione spuria).
  3. Applica un'assegnazione di etichette tri-stato (Foreground, Background, Ignorato) per creare pseudo-etichette robuste.

C. Allineamento Spazio-Temporale e Post-SFT

• Problema: Ritagliare una RoI ad alta risoluzione rompe l'allineamento spaziale con il contesto globale.
• Soluzione: Viene introdotto uno schema di codifica posizionale spazio-temporale continua che assegna agli token della RoI indici temporali e spaziali interpolati, mantenendoli ancorati alla loro posizione originale nell'immagine sorgente.
• Post-SFT (Fine-Tuning Post-supervisionato): Viene eseguito un fine-tuning mirato solo sul backbone LLM (congelando encoder e projector) su un dataset di "casi difficili" estratti tramite LLM-as-a-Judge. Questo insegna al modello a fondere seamless le dettagli locali con il layout globale senza dimenticare le capacità generali.

3. Contributi Chiave

1. Framework Adattivo Query-Aware: Q-Zoom è il primo framework che combina un gate dinamico e un RPN auto-distillato in un'unica passata di inferenza, eliminando sia la ridondanza delle query che quella spaziale.
2. Ottimizzazione Efficiente dei Dati:
   • Strategia di generazione etichette consistency-aware per il gate (nessuna annotazione umana).
   • Paradigma di distillazione tri-stato per l'SD-RPN (nessun modello esterno di detection, nessun RL costoso).
3. Risoluzione del Disallineamento Spaziale: Un nuovo schema di encoding posizionale e un fine-tuning mirato che permettono di recuperare il ragionamento spaziale globale dopo il ritaglio della RoI.

4. Risultati Sperimentali

I test sono stati condotti su modelli come Qwen2.5-VL, Qwen3-VL, LLaVA e modelli basati su RL (ZwZ).

• Efficienza e Velocità:
  • Su benchmark Document & OCR, Q-Zoom accelera l'inferenza di 2.52× rispetto alla baseline.
  • Su scenari High-Resolution, l'accelerazione raggiunge 4.39×.
  • Riduce il costo dei token visivi fino al 73.2% mantenendo o superando le prestazioni.
• Accuratezza:
  • Mantiene la massima accuratezza della baseline (che usa 4096 token) utilizzando solo 1024 token massimi.
  • In configurazioni di massima fedeltà percettiva, supera le prestazioni di picco della baseline del 1.1% (Document) e 8.1% (High-Res).
  • Stabilisce un nuovo stato dell'arte (SOTA) su benchmark come DocVQA, OCRBench, V* Bench e HR-Bench.
• Versatilità: Funziona come modulo "plug-and-play" su architetture diverse e si integra positivamente anche con modelli che usano il ragionamento RL, migliorandone ulteriormente le prestazioni.

5. Significato

Q-Zoom rappresenta un cambiamento di paradigma nell'adattamento delle risoluzioni per gli MLLM. Dimostra che non è necessario processare l'intera immagine ad alta risoluzione per ogni query. Spostando l'intelligenza dalla "forza bruta" (scalatura globale) all'adattività (routing intelligente e localizzazione precisa), Q-Zoom risolve il compromesso fondamentale tra accuratezza percettiva ed efficienza computazionale. Il lavoro apre la strada a modelli multimodali più veloci, economici e capaci di ragionamento visivo fine-grained senza i costi proibitivi del Reinforcement Learning o delle annotazioni massive.