💬 NLP

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

Il documento introduce UNIBROWSE, un nuovo framework data-to-agent che genera dati di addestramento completi coprendo tutti e tre i pattern di flusso di informazioni di navigazione multimodale e impiega l'apprendimento per rinforzo consapevole dell'esplorazione per addestrare un agente di scala 35B che raggiunge prestazioni state-of-the-art sui benchmark multimodali BrowseComp, superando significativamente sia il suo modello base che i principali agenti closed-source.

Autori originali: Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

Pubblicato 2026-07-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di limitarti a leggere pochi indizi su un taccuino, devi saltare tra una biblioteca, un album fotografico e un feed di notizie in diretta per trovare la soluzione. Ecco cos'è un compito "Multimodal BrowseComp": un puzzle super difficile in cui un agente IA deve leggere testo, guardare immagini e usare strumenti di ricerca per comporre una soluzione che non si trova semplicemente su una singola pagina web.

Per molto tempo, i detective IA che abbiamo addestrato sono stati un po' sbilanciati. Erano bravi a leggere indizi testuali o a guardare una foto e poi leggere il testo per trovare una risposta (come vedere la foto di un cane e cercare "di che razza è?"), ma erano terribili nel fare l'opposto: leggere un testo per capire cosa cercare in un'immagine (come leggere la descrizione di un edificio strano e poi cercare una foto per confermarne la forma).

La Grande Scoperta: Il Detective "UniBrowse"
I ricercatori dietro questo articolo, un team dell'Università di Pechino, hanno costruito un nuovo sistema di addestramento chiamato UNIBROWSE. Immaginalo come un super-intelligente campo d'addestramento che finalmente insegna agli agenti IA a gestire tutti e tre i tipi di indizi:

Solo testo: Leggere e connettere fatti.
Da immagine a testo: Partire da una foto e trovare la storia.
Da testo a immagine: Leggere prima una storia, poi dare la caccia alla foto corrispondente per confermarne la forma.

Prima di allora, la maggior parte dei campi d'addestramento copriva solo i primi due tipi. Gli autori sostengono che ignorare il terzo tipo (Testo-a-Immagine) lasci l'IA "sotto-addestrata" per gli scenari del mondo reale, dove è necessario verificare un fatto visivamente dopo averlo letto. Hanno anche notato che i metodi precedenti erano come cercare di imparare vagando casualmente per una città (il che porta a molti rumori e giri a vuoto) o guardando solo una mappa perfetta e finta (che non corrisponde al mondo reale disordinato). UNIBROWSE risolve questo problema partendo da una "mappa" solida (un grafo di conoscenza) ma poi inviando l'IA a raccogliere prove vive e in tempo reale dal vero internet per assicurarsi che gli indizi siano reali.

Il Filtro di "Esplorazione": Tagliare il superfluo
Ecco la parte intelligente: i ricercatori si sono resi conto che non tutti i problemi di pratica sono uguali. Alcuni problemi hanno un solo modo noioso per essere risolti, mentre altri costringono l'agente a provare diversi percorsi, tornare indietro e riprovare.

Per risolvere questo, hanno inventato una nuova metrica chiamata "grado di esplorazione". Immagina di correggere i compiti di uno studente. Se ogni studente risolve il problema di matematica esattamente nello stesso modo facile, non si impara molto. Ma se alcuni studenti provano una scorciatoia, altri rimangono bloccati e tornano sui propri passi, e alcuni trovano un nuovo percorso intelligente, è lì che avviene il vero apprendimento.

Il team ha usato questo "grado di esplorazione" per filtrare i loro dati. Hanno scartato i problemi noiosi a percorso singolo e hanno tenuto solo il 30% delle domande più "esplorative". Questo ha reso il loro Reinforcement Learning (la parte in cui l'IA impara per tentativi ed errori) molto più efficiente, concentrandosi solo sui puzzle che insegnano davvero all'agente come pensare profondamente.

I Risultati: Un Nuovo Campione
Utilizzando questa pipeline, hanno costruito un agente IA da 35 miliardi di parametri (un cervello molto grande). Non hanno solo ipotizzato che avrebbe funzionato; lo hanno misurato contro cinque diversi benchmark impegnativi.

I risultati sono stati impressionanti. Il loro nuovo agente, UniBrowse, ha ottenuto un'accuratezza media di 54,4 in questi test.

Questo è un salto di 10,5 punti rispetto al suo modello base (Qwen3.5-35B-A3B), che partiva da 43,9.
Ha battuto diversi giganti famosi "closed-source" (come GPT-5 e Gemini-2.5 Pro) che hanno ottenuto rispettivamente 42,9 e 44,8.
Ha persino superato altri modelli open-source come Kimi K2.5 (50,8).

Cosa Non Affermano
È importante sapere cosa questo articolo non dice. Gli autori sottolineano con cautela che, sebbene UniBrowse sia l'agente open-source migliore che abbiano visto, non ha ancora battuto i sistemi proprietari più forti (come Gemini-3.1 Pro, che ha raggiunto 63,2). Ammettono anche che il loro agente è limitato alla navigazione web pubblica con testo e immagini; non può ancora gestire siti web interattivi, video o mappe. Suggeriscono che potrebbero essere necessari modelli più grandi e strumenti migliori per colmare il divario rimanente, ma non pretendono di aver risolto l'intero problema della navigazione dell'IA.

In Sintesi
Costruendo un sistema di addestramento che copre tutti e tre i tipi di indizi (testo, immagine-a-testo e testo-a-immagine) e filtrando i problemi di pratica noiosi, il team di UNIBROWSE ha creato un agente IA significativamente migliore nel risolvere misteri complessi e multi-step su internet. È un passo avanti fondamentale, che dimostra come il modo in cui si addestra un agente conti tanto quanto la dimensione del suo cervello.

Sintesi Tecnica: UNIBROWSE

Definizione del Problema

I compiti di BrowseComp multimodali richiedono che gli agenti risolvano quesiti in cui le risposte non sono direttamente disponibili, ma devono essere composte da molteplici frammenti di evidenza web dinamica. A differenza dei normali compiti di ricerca di fatti, questi problemi richiedono un ragionamento a lungo termine, l'uso di strumenti e l'integrazione delle modalità testuale e visiva. La navigazione nel mondo reale comporta tre distinti schemi di flusso informativo:

Solo testo: Le risposte sono composte esclusivamente da evidenze testuali.
Da immagine a testo: Un indizio iniziale basato su un'immagine deve essere risolto per avviare la navigazione testuale.
Da testo a immagine: La navigazione testuale restringe il campo verso un bersaglio, richiedendo il recupero visivo per la verifica finale.

Le metodologie esistenti per la costruzione di dati per l'addestramento di tali agenti soffrono di tre critiche limitazioni:

Copertura incompleta dei pattern: I dataset precedenti (ad es. WebWatcher, Vision-DeepResearch) coprono prevalentemente il pattern immagine-testo, trascurando il pattern altrettanto importante testo-immagine, in cui il ragionamento testuale precede la verifica visiva.
Compromessi di paradigma: I metodi che si affidano a grafi di conoscenza curati mancano di diversità web, mentre quelli che utilizzano passeggiate web casuali introduiscono un enorme rumore ed evidenze false.
Addestramento inefficiente: I lavori precedenti applicano l'apprendimento per rinforzo (RL) direttamente a dati sintetici non filtrati, sprecando risorse computazionali su traiettorie a basso segnale che mancano di percorsi di ragionamento diversificati.

Metodologia

Gli autori propongono UNIBROWSE, un framework unificato "data-to-agent" composto da una nuova pipeline di costruzione dati e una strategia di addestramento per un agente di navigazione multimodale su scala 35B.

1. Pipeline di Costruzione dei Dati

La pipeline genera dati di addestramento di alta qualità collegando la conoscenza strutturata con il recupero web in tempo reale:

KG Testuale con Espansione Web: Il processo inizia con un grafo di conoscenza testuale ( $G_{KG}$ ) per definire percorsi di ragionamento strutturati. Per ogni entità seme, viene costruito un sottografo connesso. Per garantire il realismo, la pipeline aumenta i nodi del grafo con attributi estratti dal recupero web live, mantenendo solo quelli corroborati da molteplici risultati di ricerca.
Espansione dei Pattern Multimodali Unificati: La pipeline valuta i sottografi di evidenza generati per supportare tutti e tre gli schemi di flusso informativo:
- Da immagine a testo: Collega nodi immagine recuperabili alle entità seme iniziali.
- Da testo a immagine: Aggiunge nodi immagine all'entità risposta finale se l'entità possiede un attributo distintivo e verificabile visivamente non presente nel testo.
- Solo testo: Genera domande basate puramente sulla struttura dell'evidenza stratificata.
  Questi pattern possono essere combinati all'interno di una singola domanda (ad es. partendo da un'immagine e terminando con una verifica visiva).
Selezione Guidata dall'Esplorazione: Per migliorare l'efficienza del RL, la pipeline introduce una metrica di Grado di Esplorazione ( $E(q)$ ). Questa metrica misura la varianza nella lunghezza delle traiettorie di navigazione di successo attraverso molteplici simulazioni (rollout). Un alto grado di esplorazione indica che le risposte corrette possono essere raggiunte tramite percorsi diversificati (ad es. diretto vs. backtracking), fornendo segnali contrastivi più ricchi per l'apprendimento della policy. Gli istanze a basso segnale vengono filtrate.

2. Addestramento dell'Agente

Il framework addestra un agente su scala 35B (basato su Qwen3.5-35B-A3B) in due fasi:

Supervised Fine-Tuning (SFT) Cold-Start: Utilizza circa 8.000 traiettorie di uso degli strumenti per stabilire una grammatica d'azione stabile e un prior consapevole dei pattern.
Reinforcement Learning (RL) Consapevole dell'Esplorazione: Ottimizza il modello SFT utilizzando circa 10.000 coppie QA selezionate dal top 30% delle istanze basate sulla metrica del grado di esplorazione. L'agente interagisce con gli strumenti SEARCH (testo, immagine-testo, testo-immagine) e LINKSUMMARY utilizzando un processo decisionale sequenziale in stile ReAct. La funzione di reward combina la correttezza della risposta e la conformità del formato, ottimizzata tramite Group Relative Policy Optimization (GRPO).

Contributi Chiave

Pipeline di Dati Unificata: UNIBROWSE è il primo framework in grado di generare simultaneamente dati di addestramento che coprono i pattern testo-solo, immagine-testo e testo-immagine, aumentando al contempo i grafi di conoscenza con il recupero web live per una maggiore fedeltà.
Filtraggio Consapevole dell'Esplorazione: L'introduzione della metrica del grado di esplorazione consente la selezione di istanze RL ad alto valore, migliorando significativamente l'efficienza dell'addestramento concentrandosi su problemi con segnali di ragionamento ricchi e diversificati.
Agente State-of-the-Art: L'agente UNIBROWSE risultante raggiunge prestazioni superiori nei benchmark di navigazione multimodale, dimostrando l'efficacia dell'approccio data-to-agent.

Risultati Sperimentali

L'agente UNIBROWSE è stato valutato su cinque diversi benchmark: BrowseComp-VL (BC-VL), MM-BrowseComp (MM-BC), MMSearch+, MMSearch e FVQA.

Performance: Il modello finale (SFT + RL) ha raggiunto un'accuratezza media del 54,4% sui cinque benchmark.
Miglioramento: Ciò rappresenta un incremento di 10,5 punti percentuali rispetto al modello base (Qwen3.5-35B-A3B, 43,9%).
Confronto: L'agente supera diversi workflow a codice chiuso, tra cui GPT-5 (42,9%), Gemini-2.5 Pro (44,8%) e Gemini-2.5 Flash (41,3%). Supera inoltre i precedenti baseline open-source come WebWatcher-32B (31,7%) e Vision-DeepResearch-30B-A3B.
Studi di Ablazione:
- Copertura dei Pattern: L'addestramento su tutti e tre i pattern ha prodotto risultati significativamente migliori rispetto all'addestramento solo su testo o solo su immagine-testo, in particolare sul complesso benchmark MM-BC.
- Strategia di Selezione: Il filtraggio dei dati RL al top 30% per grado di esplorazione ha prodotto le migliori prestazioni; un filtraggio troppo stretto (top 10%) o troppo blando (top 100%) ha portato a punteggi inferiori.

Significato

Il paper sostiene che la costruzione controllabile di dati multimodali e il post-training consapevole dell'esplorazione siano essenziali per costruire agenti di navigazione efficaci. Affrontando il divario nella copertura dei pattern (specificamente la modalità testo-immagine) e ottimizzando il segnale di addestramento RL attraverso la diversità dell'esplorazione, UNIBROWSE dimostra che i modelli open-source possono raggiungere prestazioni competitive e allo stato dell'arte in compiti complessi di ragionamento web multimodale. Il framework riduce di oltre la metà il divario di performance tra gli agenti open-source e i più forti workflow proprietari, convalidando il paradigma "data-to-agent" come percorso scalabile per il futuro.