Sintesi Tecnica: OpenVisTool

Definizione del Problema

L'uso di strumenti visivi è diventato una capacità critica per gli agenti multimodali per acquisire prove dettagliate oltre le codifiche d'immagine fisse. Gli attuali metodi prevalenti per l'addestramento di questi agenti si basano sul rejection sampling basato sull'esito (outcome-based rejection sampling), in cui le traiettorie generate dal docente vengono mantenute se sono eseguibili e portano a una risposta finale corretta.

Gli autori sostengono che questo approccio sia fondamentalmente errato perché confonde la validità dell'esito con l'utilità causale. Un modello docente forte può possedere una conoscenza parametrica sufficiente o scorciatoie di ragionamento per rispondere correttamente a una query senza effettivamente necessitare delle osservazioni degli strumenti che genera. Di conseguenza, imitare tali traiettorie insegna a un modello studente che le chiamate agli strumenti co-occorrono con risposte corrette, piuttosto che insegnare che le osservazioni degli strumenti fondano la risposta. Ciò produce una "supervisione spuria", dove il modello apprende la correlazione invece della necessità causale di acquisire evidenza visiva.

Metodologia: Framework OpenVisTool

Per affrontare questo problema, gli autori propongono OpenVisTool, un framework in tre fasi progettato per sintetizzare traiettorie di uso di strumenti visivi istruttive. L'intuizione centrale è che una traiettoria è utile per l'apprendimento solo se soddisfa due condizioni congiunte:

1. Validità dell'Esito: La traiettoria deve portare a una risposta finale corretta.
2. Utilità Causale: Le osservazioni degli strumenti devono contribuire causalmente alla risposta; nello specifico, fornire queste osservazioni a un modello "sonda" (probe) fisso deve migliorare l'affidabilità della sua risposta rispetto a un baseline senza strumenti.

Il framework opera attraverso le seguenti fasi:

1. Screening della Difficoltà

La pipeline filtra prima il pool di origine (coprendo cinque domini: Grafici, Tabelle, Grounding GUI, Ricerca Visiva e Web-to-HTML) per trattenere solo le query che un modello sonda capace (Qwen3.5-9B) non può risolvere in modo affidabile senza strumenti.

• Meccanismo: Un modello sonda esegue $K$ prove indipendenti senza strumenti. Se il tasso di successo empirico è inferiore a una soglia ($\gamma = 0.5$), la query viene trattenuta.
• Obiettivo: Garantisce che i problemi selezionati richiedano realmente evidenza visiva esterna, evitando chiamate agli strumenti ridondanti.

2. Sintesi delle Traiettorie Specifiche per Dominio

Per le query trattenute, un modello docente più forte (Qwen3.5-Plus) sintetizza le traiettorie utilizzando un set di strumenti visivi condiviso.

• Meccanismo: Inveve di prompt generici, il docente è guidato da pattern di uso degli strumenti specifici per dominio ($P_d$) adattati ai colli di bottiglia visivi di ciascun dominio (ad esempio, isolamento delle serie per i Grafici, localizzazione progressiva per la GUI).
• Obiettivo: Elicita comportamenti di acquisizione delle evidenze coerenti piuttosto che chiamate agli strumenti arbitrarie o decorative.

3. Verifica della Supervisione

La fase finale valida rigorosamente ogni traiettoria candidata rispetto al criterio a due parti.

• Controllo della Validità dell'Esito: Verifica che la risposta finale sia corretta utilizzando valutatori specifici per il dominio.
• Controllo dell'Utilità Causale: Le chiamate agli strumenti e le osservazioni della traiettoria vengono fornite allo stesso modello sonda utilizzato nello screening (escludendo il ragionamento e la risposta finale del docente per evitare perdite di informazioni/leakage). Il tasso di successo del modello sonda con gli strumenti ($\bar{p}_{tool}$) viene confrontato con il tasso di successo senza strumenti ($\bar{p}_0$).
• Regola di Ritenzione: Una traiettoria viene mantenuta solo se è valida per l'esito E $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ (dove $\delta = 0.25$).

Contributi Chiave

1. Framework OpenVisTool: Un nuovo pipeline in tre fasi che operazionalizza il concetto di "supervisione istruttiva" imponendo congiuntamente la validità dell'esito e l'utilità causale.
2. OpenVisTool-42K: Un dataset su larga scala, open-source, contenente 42.000 traiettorie verificate che spaziano in cinque domini di ragionamento visivo sotto un set di strumenti unificato.
3. OpenVisTool-Bench: Un benchmark costruito per isolare il valore incrementale dell'acquisizione attiva di evidenza visiva, concentrandosi su istanze in cui l'accesso agli strumenti migliora materialmente le prestazioni.
4. Validazione Empirica: Dimostrazione che l'addestramento su questo dataset migliora le prestazioni nell'uso di strumenti visivi attraverso quattro modelli backbone (da 4B a 27B parametri), con risultati che si avvicinano o superano i sistemi leader a codice chiuso.

Risultati Sperimentali

Gli autori hanno valutato il framework utilizzando varianti di Qwen3.5 (4B, 9B, 27B) e Qwen3-VL-8B su OpenVisTool-Bench e benchmark out-of-distribution (OOD) (Agentic-MME, VTC-Bench).

• Guadagni di Prestazione: L'addestramento (fine-tuning) su OpenVisTool-42K ha prodotto miglioramenti costanti in tutti i modelli e i domini. Il guadagno medio su OpenVisTool-Bench è stato di 10.7 punti. Il miglioramento più significativo è stato osservato nella Ricerca Visiva (+23.8 punti per il modello 9B), un dominio che richiede un ragionamento spaziale fine-grained dove gli strumenti colmano il divario tra percezione e requisiti del compito.
• Confronto con SOTA: Il modello 9B addestrato con OpenVisTool-42K ha raggiunto un punteggio medio di 45.8, superando la prestazione senza strumenti di GPT-5.5 (41.9) e avvicinandosi strettamente alla prestazione aumentata dagli strumenti di GPT-5.5 (49.0).
• Generalizzazione: I modelli addestrati sul dataset multi-dominio hanno mostrato guadagni costanti sui benchmark OOD (Agentic-MME e VTC-Bench), suggerendo che la capacità appresa è una meta-abilità trasferibile piuttosto che un overfitting su specifici pattern di chiamata agli strumenti.
• Studi di Ablazione:
  • Necessità del Filtro: L'uso di entrambi i filtri (validità dell'esito e utilità causale) ha superato l'uso di uno solo di essi o del semplice SFT su traiettorie basate sulla correttezza.
  • Sinergia Cross-Dominio: L'addestramento sulla miscela completa multi-dominio ha risolto i conflitti di strategia (ad esempio, tra il cropping locale per la ricerca e il rendering globale per il web) meglio dell'addestramento su singolo dominio, che spesso portava a un degrado delle prestazioni nei domini incompatibili.
  • Replay della Traiettoria: Quando un modello sonda era condizionato sulle interazioni con gli strumenti generate dal modello addestrato con metodo istruttivo (senza vedere il ragionamento/risposta), superava le interazioni generate da un modello addestrato solo sulla correttezza. Ciò conferma che l'addestramento induce una politica di acquisizione delle evidenze più utile.

Significato

Il paper sostiene che l'uso efficace degli strumenti visivi non si impara semplicemente dai risultati di successo, ma da una supervisione causalmente fondata. Spostando il focus della valutazione da "la traiettoria termina correttamente?" a "le chiamate agli strumenti svolgono un lavoro reale?", OpenVisTool fornisce una ricetta per costruire dati di addestramento che insegnano ai modelli quando e come acquisire evidenza visiva. Questo approccio consente ai modelli open-source più piccoli di sfruttare efficacemente gli strumenti visivi, raggiungendo prestazioni competitive con i grandi sistemi a codice chiuso, ed estende l'idea che la qualità dei dati di cold-start sia il determinante primario della competenza ultima del modello nell'uso degli strumenti.