Riepilogo Tecnico: PERIA – Costruire Strumenti per Agenti Visivi Potenziati per il Ragionamento Spaziale

Definizione del Problema

I recenti Modelli Visivo-Linguistici (VLM) hanno dimostrato una forte comprensione multimodale, ma rimangono limitati nei compiti di ragionamento spaziale che richiedono l'acquisizione attiva di prove e un'interazione visiva multi-step. Questi compiti — come il ragionamento su mappe della metropolitana, il probing visivo e la ricostruzione visiva — richiedono più del semplice ragionamento su rappresentazioni visive statiche. Richiedono che i modelli fondino prove granulari, estraggano dettagli rilevanti per il compito ed eseguano il ragionamento sulle relazioni spaziali attraverso passaggi intermedi.

I VLM esistenti potenziati da strumenti mostrano promesse in compiti strutturati (ad es. comprensione di grafici) dove le risposte derivano da prove esplicite. Tuttavia, spesso falliscono in compiti spaziali complessi perché:

1. Mancanza di Percezione Globale: Perdono dettagli visivi locali o non riescono a recuperare la struttura spaziale globale.
2. Gap nell'Uso degli Strumenti: Fornire semplicemente l'accesso a strumenti visivi non garantisce un uso competente. I VLM open-source spesso degradano nelle prestazioni quando ricevono l'accesso grezzo agli strumenti senza un addestramento dedicato, fallendo nel selezionare gli strumenti corretti, nell'invocarli correttamente o nell'integrare efficacemente il feedback.
3. Limitazioni dell'Addestramento: I metodi esistenti utilizzano spesso spazi di strumenti limitati o dati specifici per dominio, mancando di una policy unificata per comporre strumenti di percezione e interazione per il ragionamento spaziale generale.

Metodologia: PERIA

Gli autori introducono PERception-Interaction-reason Agent (PERIA), un agente visivo potenziato da strumenti progettato per colmare il divario tra l'avere strumenti e l'utilizzarli efficacemente. PERIA organizza la risoluzione di problemi visivi in un processo unificato in tre fasi: Perceive (percepire: raccogliere prove spaziali globali), Interact (interagire: eseguire un'analisi locale fine e la verifica) e Reason (ragionare: sintetizzare le osservazioni per produrre una risposta).

1. Tool Sandbox (Ambiente di Strumenti)

PERIA opera all'interno di una sandbox di strumenti modulare contenente 18 strumenti divisi in due famiglie complementari:

• Vision Perception Tools (Strumenti di Percezione Visiva): Progettati per esporre prove testuali, simboliche e spaziali. Esempi includono text_spotting, map_text_ocr, grounding_dino (per il rilevamento di oggetti) e auto_segment. Questi strumenti trasformano le immagini in osservazioni strutturate (coordinate, testo, bounding box).
• Vision Interaction Tools (Strumenti di Interazione Visiva): Progettati per manipolare il contesto visivo, tracciare percorsi e verificare le relazioni spaziali. Esempi includono image_crop, draw_path, bounding_box e image_highlight. Questi strumenti permettono all'agente di ingrandire, annotare o tracciare rotte sull'immagine.

2. Pipeline di Addestramento

L'addestramento di PERIA prevede tre fasi distinte:

• Fase A: Costruzione della Tool Sandbox: L'ambiente è costruito con utility basate su funzioni e agenti di strumenti leggeri (ad es. PaddleOCR-VL, Grounding DINO, SAM3) per supportare un'invocazione flessibile degli strumenti.
• Fase B: Sintesi delle Traiettorie di Supervised Fine-Tuning (SFT):
  • Un modello proprietario (GPT-5) viene utilizzato per generare traiettorie di uso degli strumenti di alta qualità ed eseguibili tramite una strategia explore-and-exploit (esplora e sfrutta).
  • Il processo prevede l'espansione dei prefissi di ragionamento-azione finché non viene trovata una risposta corretta o non viene raggiunto un budget di turni.
  • Un modello open-weight esperto (Qwen3-VL-235B) diversifica gli stili di ragionamento intermedi (pensieri) mantenendo fissi le chiamate agli strumenti e le osservazioni, creando un dataset diversificato per l'SFT.
• Fase C: Reinforcement Learning con OR-GIGPO:
  • Per ottimizzare l'uso degli strumenti multi-step, gli autori propongono Observation-Relaxed Group-in-Group Policy Optimization (OR-GIGPO).
  • Motivazione: La standard Group-in-Group Policy Optimization (GIGPO) si basa sul matching esatto dello stato. Nell'uso di strumenti visivi, chiamate agli strumenti semanticamente equivalenti possono restituire osservazioni leggermente diverse (ad es. variazioni nel testo OCR), rendendo il matching esatto troppo restrittivo.
  • Meccanismo: OR-GIGPO sostituisce il matching esatto con un matching rilassato sulle osservazioni. Raggruppa i rollout per input del compito e utilizza un gruppo ancora rilassato per il calcolo dell'advantage a livello di step, accoppiando osservazioni che sono semanticamente simili (usando metriche di somiglianza tra stringhe) anziché identiche.
  • Assegnazione del Credito (Credit Assignment): L'algoritmo combina advantage a livello di episodio (qualità della traiettoria) e advantage a livello di step (qualità della decisione locale dello strumento) per assegnare il credito attraverso le traiettorie multi-step.
  • Design della Ricompensa: Una funzione di ricompensa composita include penalità per la ripetizione, ricompense di formato per i tag di uso degli strumenti validi e ricompense di correttezza (binaria per QA, continua basata su NDTW per il tracciamento del percorso).

Contributi Chiave

1. Framework Unificato: Introduzione di PERIA, un framework generale per agenti visivi potenziati da strumenti che integra strumenti di percezione e interazione per il ragionamento, la pianificazione e la verifica attraverso diversi compiti spaziali.
2. Toolset Diversificato e Sintesi delle Traiettorie: Sviluppo di un set specializzato di strumenti di percezione-interazione e la sintesi di un dataset di traiettorie ad alta qualità e diversificato per il fine-tuning supervisionato, abilitando un'invocazione affidabile degli strumenti.
3. Algoritmo OR-GIGPO: Proposta di Observation-Relaxed Group-in-Group Policy Optimization, un nuovo metodo di reinforcement learning che gestisce la variabilità delle osservazioni degli strumenti visivi, consentendo un efficace assegnamento del credito fine-grained per l'uso degli strumenti multi-step.
4. Validazione Empirica: Dimostrazione che PERIA-8B supera significativamente i baseline forti e si avvicina alle prestazioni di modelli proprietari molto più grandi.

Risultati Sperimentali

Gli autori hanno valutato PERIA-8B su 13 benchmark che coprono 8 dataset, includendo compiti in-distribution (MapTrace, ReasonMap, Visual Probing) e out-of-distribution (Ball Tracking, Paper Folding, Cube 3-View, ecc.).

• Guadagni di Prestazione: PERIA-8B migliora rispetto al backbone Qwen3-8B del 10,0% sui benchmark in-distribution e del 4,4% sui benchmark out-of-distribution.
• Confronto con lo Stato dell'Arte (SOTA): Supera i precedenti baseline allo stato dell'arte di dimensioni simili (ad es. VTool-R1, Mini-o3) del 7,0%–14,8%.
• Scaling: PERIA-8B raggiunge prestazioni comparabili a modelli significativamente più grandi, come Qwen3-VL-235B-A22B-Thinking e GPT-5.
• Studi di Ablazione:
  • OR-GIGPO: Rimuovere il RL (w/o RL) causa un calo sostanziale (media -7,2% in-distribution), e OR-GIGPO supera altri algoritmi di RL (GRPO, DAPO) per margini significativi.
  • Accesso agli Strumenti: Rimuovere gli strumenti (w/o Tool) porta a prestazioni sbilanciate e a un dimenticanza catastrofica in determinati domini spaziali.
  • SFT: L'addestramento diretto con RL senza SFT (w/o SFT) produce scarse prestazioni, evidenziando la necessità della sintesi delle traiettorie supervisionate.
  • Tipi di Strumenti: Sia gli strumenti di percezione che quelli di interazione sono necessari; rimuovere una qualsiasi delle due famiglie degrada le prestazioni.

Significato e Rivendicazioni

Il paper sostiene che l'uso degli strumenti visivi addestrato sia una direzione critica per costruire agenti capaci di ragionamento spaziale. L'intuizione chiave è che il divario tra "avere strumenti" e "usare strumenti" è un problema di apprendimento della policy. Combinando un set diversificato di strumenti con una ricetta di addestramento unificata (SFT + OR-GIGPO), PERIA consente agli agenti di:

• Acquisire prove spaziali globali.
• Eseguire una verifica locale fine-grained.
• Ragionare sulle osservazioni accumulate per risolvere compiti spaziali complessi.

Gli autori sottolineano che il loro approccio permette a modelli piccoli (8B) di competere con modelli proprietari molto più grandi, suggerendo che l'addestramento efficace all'uso degli strumenti può fornire guadagni che vanno oltre il semplice scaling del backbone. Riconoscono limitazioni, come il focus sui modelli 8B dovuto a vincoli computazionali e l'attuale limite di 10 turni di interazione, e suggeriscono lavori futuri nell'estensione al ragionamento 3D, ai compiti embodied e a dataset di traiettorie più ampi.