Riepilogo Tecnico: FOCUS – Forcing In-Context Object Localization through Visual Support Constraints and Policy Optimization

1. Definizione del Problema e Motivazione

In-Context Object Localization (ICOL) è il compito di identificare e localizzare un oggetto target specifico in un'immagine di query basandosi esclusivamente su un piccolo set di esempi visivi di supporto (immagini con bounding box) forniti al momento dell'inferenza, senza alcun aggiornamento dei parametri o addestramento sul target specifico.

Sebbene i Vision-Language Models (VLM) abbiano fatto progressi significativi, essi faticano con l'ICOL in contesti realistici e agnostici rispetto alle categorie. I metodi esistenti, come IPLoc, spesso si affidano a prior semantici (ad esempio, nomi di categorie o pseudo-label) piuttosto che alla pura evidenza visiva. Ciò porta a due modalità critiche di fallimento:

1. Bias di Categoria: I modelli tendono a localizzare l'istanza più prototipica o visivamente saliente di una categoria piuttosto che la specifica istanza definita dall'esempio di supporto (ad esempio, localizzando un qualsiasi "ciotto" invece del "ciotto" specifico mostrato nel supporto).
2. Debole Grounding Visivo: I meccanismi di attenzione nei modelli attuali spesso distribuiscono il focus in modo diffuso attraverso l'immagine di query o si affidano pesantemente ai token di categoria, fallendo nel concentrarsi sui segnali geometrici e spaziali forniti dai bounding box di supporto.

Il documento sostiene che per applicazioni come la ricerca visiva personalizzata e l'editing di immagini specifico per istanza, i modelli devono inferire il target basandosi esclusivamente sulla corrispondenza visiva e sul ragionamento spaziale, completamente scollegati dai label testuali delle categorie.

2. Metodologia: Il Framework FOCUS

Gli autori propongono FOCUS, un framework di addestramento a due stadi progettato per imporre il grounding visivo ed eliminare il bias di categoria. L'approccio opera su una premessa agnostica rispetto alla categoria: il modello riceve solo input visivi (immagini di supporto e i relativi bounding box) e l'immagine di query, senza nomi di categoria nel prompt.

Stadio 1: Ottimizzazione del Bounding Box basata sull'Attenzione (Supervised Fine-Tuning)

Il primo stadio affronta il problema della "debole attenzione" ottimizzando esplicitamente le mappe di attenzione latente del modello per dare priorità alle annotazioni spaziali.

• Specificazione del Prompt: L'input è una sequenza intercalata di un'istruzione in linguaggio naturale, immagini di supporto con i loro bounding box (serializzati come token di testo) e l'immagine di query. Fondamentalmente, non sono inclusi nomi di categoria.
• Perdita di Attenzione ($L_{bbox}$): Gli autori introducono una funzione di perdita che forza i pesi di attenzione dalle token dell'immagine di query a concentrarsi sui token di annotazione del bounding box delle immagini di supporto.
  • Una maschera binaria distingue tra token BBOX e token non-BBOX.
  • La perdita minimizza una hinge loss basata su margine, incoraggiando il modello ad assegnare una massa di attenzione maggiore ai token BBOX ($p^+$) rispetto ai token non-BBOX ($p^-$).
  • Ciò assicura che il modello impari a "guardare" i vincoli geometrici forniti dagli esempi di supporto piuttosto che fare affidamento su scorciatoie semantiche.
• Implementazione: Questo stadio utilizza il Supervised Fine-Tuning (SFT) con LoRA (Low-Rank Adaptation) su un VLM di base (ad esempio, Qwen2-VL-7B).

Stadio 2: Reinforcement Learning con Group Relative Policy Optimization (GRPO)

Il secondo stadio affina la precisione dei bounding box predetti.

• Obiettivo: Minimizzare l'errore di localizzazione (IoU) e garantire la correttezza sintattica dell'output.
• Funzione di Ricompensa: Viene utilizzata una ricompensa combinata $R$:
  1. Ricompensa IoU ($r_{iou}$): L'Intersection-over-Union tra il box predetto e il ground truth.
  2. Ricompensa di Formattazione ($r_{fmt}$): Una ricompensa binaria che assicura che l'output segua il formato richiesto (ad esempio, <answer>[x_min, y_min, x_max, y_max]</answer>).
• Ottimizzazione: Viene impiegato GRPO per aggiornare la policy. A differenza di PPO, GRPO non richiede un critic appreso; invece, calcola i vantaggi confrontando gli output campionati all'interno di un gruppo rispetto alla media del gruppo. Questo stabilizza l'addestramento in contesti few-shot e ottimizza direttamente per un allineamento di alta qualità.

3. Contributi Chiave

1. Framework Agnostico rispetto alla Categoria: Il documento introduce un setting di localizzazione in-context puramente visivo che rimuove tutti i nomi di categoria dai prompt, costringendo il modello a fare affidamento esclusivamente sull'aspetto visivo e sulla geometria.
2. Ottimizzazione della Mappa di Attenzione: Viene proposta una nuova funzione di perdita per allineare esplicitamente l'attenzione del modello con i token del bounding box di supporto, correggendo la tendenza dei VLM a ignorare i vincoli spaziali a favore dei prior semantici.
3. Raffinamento tramite GRPO: L'integrazione di Group Relative Policy Optimization permette di minimizzare direttamente l'errore di localizzazione (IoU) e impone una rigorosa formattazione dell'output, migliorando la precisione a livello di istanza.
4. Efficienza e Scalabilità: Gli autori dimostrano che un modello con 7 miliardi di parametri addestrato con questi obiettivi supera significativamente modelli molto più grandi (fino a 72 miliardi di parametri), provando che gli obiettivi di localizzazione consapevole del contesto sono più critici del semplice scaling del modello.

4. Risultati Sperimentali

Gli autori hanno valutato FOCUS su un set diversificato di benchmark, tra cui TAO, GOT-10k, LaSOT, PerSeg e PerMIRS.

• Performance vs Baselines: FOCUS (basato su Qwen2-VL-7B) ha ottenuto risultati state-of-the-art, superando significativamente baselines forti come IPLoc (7B), Qwen2-VL-72B e InternVL2-76B.
  • Su GOT-10k (generalizzazione zero-shot della categoria), FOCUS ha raggiunto l'82.6% (4-shot), superando il modello Qwen2-VL a 72B parametri (59.9%) con un ampio margine.
  • Su TAO (open-world, multi-oggetto), FOCUS ha raggiunto il 68.5% (4-shot), rispetto al 55.6% di Qwen2-VL-72B.
• Generalizzazione: Il modello ha mostrato una robusta generalizzazione a categorie non viste e shift di dominio (ad esempio, dati sintetici in PerSeg), mantenendo alte prestazioni dove i modelli dipendenti dalla categoria fallivano nel disambiguare le istanze.
• Studi di Ablazione:
  • Rimuovendo la perdita di attenzione si è verificato un calo significativo delle prestazioni, confermando la necessità di forzare l'attenzione sui token BBOX.
  • L'aggiunta di GRPO sopra SFT + Attention Loss ha fornito un ulteriore guadagno dell'11.4% nel setting 4-shot su TAO.
  • L'applicazione della perdita di attenzione ai primi cinque strati del transformer si è rivelata la più efficace per il grounding, suggerendo che gli strati iniziali siano cruciali per stabilire la corrispondenza spaziale.

5. Significato e Rivendicazioni

Il documento afferma che FOCUS riesce a riformulare la localizzazione in-context come un compito di ragionamento visivo piuttosto che come un compito di recupero semantico. Eliminando la supervisione della categoria e imponendo una rigorosa corrispondenza visiva attraverso vincoli di attenzione e ottimizzazione della policy, il metodo raggiunge un robusto grounding a livello di istanza.

Gli autori sottolineano che il loro approccio dimostra che obiettivi di addestramento specializzati possono produrre prestazioni superiori rispetto al semplice aumento delle dimensioni del modello. Un modello da 7B con FOCUS supera modelli da 72B, evidenziando che gli "obiettivi di localizzazione consapevole del contesto" sono una via più efficiente per risolvere il problema della localizzazione di oggetti agnostici rispetto alla categoria rispetto al semplice affidarsi a conteggi massicci di parametri. Il lavoro suggerisce che, per applicazioni guidate dall'utente e specifiche per istanza, i modelli devono essere addestrati per ignorare i prior semantici e concentrarsi strettamente sull'evidenza visiva.