Riepilogo Tecnico: Morire di Fame per Percepire

Problema: Il Fenomeno della Percezione Pigra

I Modelli Linguaggio-Visione (VLM) implementati come agenti situati in ambienti ad alta risoluzione richiedono una percezione attiva—la capacità di decidere dinamicamente dove guardare tramite operazioni come zoom, ritaglio e spostamento. Tuttavia, i paradigmi di addestramento attuali (Fine-Tuning Supervisionato e Apprendimento per Rinforzo) spesso producono modelli che manifestano una percezione pigra. Questi modelli imitano la forma sintattica delle azioni percettive (ad esempio, generando comandi di zoom corretti) senza dipendere funzionalmente dai loro output.

La causa radice è un'asimmetria fondamentale nell'apprendimento: quando una vista globale grezza combinata con forti prior linguistiche è sufficiente per una accuratezza moderata, il modello non ha alcun incentivo basato sul gradiente per investire nella strategia computazionalmente più complessa della ricerca visiva multi-step. Se un modello può avere successo senza guardare attivamente, non imparerà mai a guardare. Le prove diagnostiche mostrano che sostituire le osservazioni visive intermedie con input vuoti o corrompere le chiamate agli strumenti spesso lascia invariata l'accuratezza del modello, indicando una dipendenza dalle prior linguistiche piuttosto che dalle evidenze visive.

Metodologia: Morire di Fame per Percepire

Per affrontare ciò, gli autori propongono Morire di Fame per Percepire, un paradigma di addestramento che impone una banda visiva vincolata. Il meccanismo centrale limita l'osservazione visiva a ogni passo di ragionamento a un budget di token stretto ($B$), assicurando che nessuna singola vista (incluso il primo sguardo globale iniziale) contenga informazioni sufficienti per completare l'affidabilmente il compito. Questo costringe la percezione attiva a diventare l'unica strategia praticabile per il successo.

Il framework opera in due fasi all'interno delle pipeline standard di post-addestramento (SFT seguito da RL):

1. Instruction Tuning Visivo Consapevole del Budget (SFT):

   • Obiettivo: Avviare la politica con un prior comportamentale per la percezione attiva sotto vincoli di token.
   • Costruzione dei Dati: Le traiettorie sono generate tramite Distillazione del Modello Insegnante (utilizzando un insegnante forte in un ambiente vincolato con campionamento per rifiuto) e Riscrittura delle Traiettorie (convertendo dataset esistenti di alta qualità sull'uso degli strumenti in formati consapevoli del budget mediante sottocampionamento delle viste e riallineamento delle coordinate spaziali).
   • Vincolo: L'osservazione visiva $v_t$ è generata da un operatore di sottocampionamento deterministico $D(\cdot, B)$ applicato alla regione ritagliata dell'immagine originale, assicurando che il conteggio dei token non superi mai $B$.

2. Apprendimento per Rinforzo tramite Fame Percettiva:

   • Obiettivo: Sviluppare una dipendenza funzionale genuina dalle osservazioni visive attraverso l'esplorazione autonoma.
   • Budget Condizionato alla Risoluzione: Il budget di token $B$ scala dinamicamente con la risoluzione nativa dell'immagine di input ($B(X) = \text{clip}(\lfloor |X|/\gamma \rfloor, B_{\min}, B_{\max})$) per mantenere una pressione di fame percettiva coerente attraverso input diversi.
   • Segnale di Ricompensa: Il framework utilizza una ricompensa minimalista e sparsa ($R=1$ per risposta corretta, $0$ altrimenti). Poiché il budget visivo vieta strutturalmente di risolvere i dettagli fini dalla sola vista globale, il modello deve eseguire azioni di messa a fuoco intermedie per ottenere la ricompensa. Non sono necessarie funzioni di perdita ausiliarie o modellazione della ricompensa.
   • Ottimizzazione: La politica è ottimizzata utilizzando GRPO (Group Relative Policy Optimization) su traiettorie raccolte all'interno dell'ambiente vincolato.

Contributi Chiave

• Identificazione della Percezione Pigra: Il documento identifica e risale al fallimento dei VLM attuali nel fare affidamento genuino sulle operazioni visive attive a un'asimmetria nell'apprendimento in cui scorciatoie passive dominano.
• Paradigma Morire di Fame per Percepire: Un meccanismo di addestramento innovativo che si integra nelle pipeline standard SFT-seguito-da-RL come componente plug-in. Non richiede modifiche architetturali, perdite ausiliarie o modellazione complessa della ricompensa.
• Trasferibilità delle Abilità: Gli autori forniscono la prima evidenza che le abilità di percezione attiva apprese sotto addestramento vincolato si trasferiscono robustamente a impostazioni di test senza vincoli.
• Guadagni di Efficienza: L'approccio produce significativi dividendi di efficienza, riducendo il tempo di addestramento di circa il 50% e la latenza di inferenza di 2,7–5,1 volte a causa del numero ridotto di token visivi elaborati per passo.

Risultati

Gli autori hanno valutato il loro modello (basato su Qwen2.5-VL-7B) rispetto a baseline solide (ad esempio DeepEyes, Chain-of-Focus, PixelReasoner) attraverso benchmark diversificati inclusi HR-Bench, V* Bench e compiti di ragionamento intensivi sulla percezione (MME-RealWorld-Lite, RealWorldQA).

• Prestazioni Senza Vincoli: Nonostante sia stato addestrato esclusivamente sotto vincoli di banda visiva, il modello ha raggiunto un punteggio complessivo di 64,59 sui benchmark senza vincoli, superando la baseline più forte su scala 7B potenziata da strumenti (DeepEyes a 61,77) con un margine netto.
• Robustezza Vincolata: Sotto budget di token rigorosi ($B=256$), il modello proposto è degradato di soli 0,18 punti rispetto alle sue prestazioni senza vincoli. Al contrario, le baseline addestrate senza vincoli visivi hanno subito cali di prestazioni da 6,96 a 7,29 punti, dimostrando che la loro "percezione attiva" era superficiale e collassava quando la ricchezza visiva veniva rimossa.
• Studi di Ablazione:
  • SFT vs RL: L'SFT consapevole del budget da solo ha migliorato le prestazioni rispetto all'SFT standard, ma la combinazione con RL vincolato ha prodotto i migliori risultati.
  • Necessità dell'SFT: Iniziare il RL da un modello base senza SFT ha causato il collasso della politica in comportamenti "pigi" (affidamento sulle prior linguistiche), confermando che l'SFT fornisce un prior comportamentale necessario.
  • Necessità del Vincolo: Il RL addestrato senza vincoli visivi (anche con inizializzazione SFT) ha portato a rapporti di percezione attiva più bassi e accuratezza finale inferiore rispetto alla pipeline completamente vincolata.

Significato

Il documento sostiene che il ragionamento visivo superiore non emerge dalla densità di input ma dalla pressione di ottimizzazione per estrarre informazioni in modo efficiente. Rendendo l'osservazione passiva strutturalmente indisponibile durante l'addestramento, il modello è costretto a interiorizzare la dipendenza funzionale tra indizi visivi locali e il successo del compito. Questo paradigma sposta la percezione attiva da un miglioramento opzionale a una capacità fondamentale, consentendo il dispiegamento di agenti visivi robusti ed efficienti in ambienti con vincoli computazionali (ad esempio, applicazioni su dispositivo) senza sacrificare le prestazioni in ambienti ad alta risoluzione. Il lavoro suggerisce che la banda visiva dovrebbe essere trattata come una variabile di progettazione deliberata per la costruzione di agenti linguaggio-visione radicati nella percezione.