MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline

Il paper presenta MM-DeepResearch, un agente di ricerca multimodale che supera le sfide attuali nella generazione di dati e nel costo di addestramento grazie a tre innovazioni chiave: Hyper-Search per la creazione di dati QA, DR-TTS per l'ottimizzazione di esperti di strumenti di ricerca tramite tree search, e un motore di ricerca offline che abilita l'apprendimento per rinforzo senza API online costose.

L'essenziale

Immagina di avere un investigatore privato digitale molto intelligente, ma con un grande problema: sa tutto ciò che è stato scritto nei suoi libri di testo fino a una certa data, ma non sa cosa sta succedendo oggi nel mondo, né sa come cercare informazioni su immagini strane o documenti complessi. Se gli chiedi "Chi ha dipinto questo quadro sconosciuto?", lui potrebbe indovinare o inventare una risposta, perché non ha gli strumenti per andare a controllare.

Gli autori di questo paper hanno creato MM-DeepResearch, un "super-agente" capace di fare ricerche profonde, combinando immagini e testo, proprio come un detective umano che usa sia la lente d'ingrandimento che i database online.

Ecco come hanno fatto, spiegato con tre metafore semplici:

1. Il Problema: Costruire un allenatore senza campo da gioco

Per addestrare questo investigatore, servivano tre cose, ma mancavano tutte:

• Mancavano i casi da risolvere: Non c'erano abbastanza domande difficili che richiedessero di cercare su internet (sia immagini che testi) per essere risposte.
• Mancavano le "tracce" giuste: Non sapevano come insegnargli a cercare in modo intelligente (prima cerco un'immagine, poi leggo un articolo, poi cerco un altro dato).
• Costava troppo: Usare i motori di ricerca reali (come Google) per addestrare il modello costerebbe migliaia di dollari ogni volta, come pagare un abbonamento a un club esclusivo ogni giorno.

2. La Soluzione: Tre Strumenti Magici

Per risolvere questi problemi, hanno inventato tre strumenti creativi:

A. Hyper-Search: Il "Giocattolo da Costruzione" per creare casi di studio

Immagina di voler insegnare a un bambino a cucinare, ma non hai ricette. Invece di inventarle a caso, prendi un ingrediente (un'immagine), poi aggiungi un libro di cucina (un testo), poi un altro ingrediente (un'altra immagine) e così via, creando una catena logica.

• Cosa fanno: Usano una struttura chiamata "ipergrafo" (immagina una ragnatela dove i fili collegano non solo due punti, ma interi gruppi di informazioni). Partono da un'immagine, cercano cose correlate, trovano testi, e collegano tutto insieme.
• Il risultato: Creano automaticamente migliaia di "casi di studio" (domande e risposte) che obbligano l'IA a fare ricerche incrociate per trovare la soluzione. È come creare un labirinto perfetto per allenare il cane a cercare.

B. DR-TTS: Il "Capo d'Orchestra" che divide e comanda

Immagina di dover formare un'orchestra. Se chiedi a un solo musicista di suonare tutti gli strumenti (violino, batteria, flauto) contemporaneamente, il risultato sarà un disastro.

• Cosa fanno: Dividono il lavoro. Prima addestrano un "esperto" solo per cercare immagini, un altro solo per cercare testi, un altro solo per analizzare dati. Ognuno diventa un virtuoso del suo strumento.
• Il risultato: Poi, li fanno lavorare insieme come un'orchestra. Usano un metodo chiamato "ricerca ad albero" (come esplorare tutti i sentieri di una foresta) per vedere quale combinazione di musicisti (strumenti di ricerca) porta alla risposta corretta. Questo crea le "tracce" perfette per insegnare all'IA come ragionare passo dopo passo.

C. Il Motore di Ricerca Offline: La "Biblioteca Privata"

Invece di pagare Google ogni volta che l'IA fa una domanda (che costerebbe una fortuna), hanno costruito una biblioteca privata.

• Cosa fanno: Hanno scaricato e organizzato milioni di pagine web e immagini in un database locale.
• Il risultato: Quando l'IA deve allenarsi, va nella sua biblioteca privata invece che su internet. È gratis, velocissimo (nessun tempo di attesa) e sicuro. È come se l'investigatore avesse accesso a un archivio segreto invece di dover chiamare ogni volta un contatto esterno a pagamento.

3. Il Risultato: L'Investigatore Perfetto

Mettendo insieme questi tre pezzi, hanno creato MM-DeepResearch.

• Cosa sa fare: Riceve un'immagine (es. una foto di un edificio strano), pensa: "Non so cos'è", cerca immagini simili, legge articoli su quell'edificio, incrocia i dati e arriva alla risposta: "È il Castello di Zbarazh, costruito da Vincenzo Scamozzi".
• Perché è speciale: Non si limita a "indovinare" basandosi su ciò che ha imparato a scuola. Sa andare a cercare le informazioni, unire i puntini tra immagini e testi, e dare una risposta verificata.

In sintesi

Gli autori hanno detto: "Non possiamo permetterci di pagare Google per addestrare l'IA, e non abbiamo abbastanza esercizi difficili. Quindi, costruiamo i nostri esercizi con un metodo intelligente, addestriamo specialisti separati che lavorano insieme, e diamo loro una biblioteca privata gratuita."

Il risultato è un agente che fa ricerche profonde, capisce il mondo visivo e testuale, e lo fa in modo economico ed efficiente, battendo molti modelli esistenti che costano molto di più o sono meno precisi. È come passare da un investigatore che legge solo i giornali vecchi a un detective moderno con accesso a tutti i database del mondo, ma pagando solo il prezzo di un caffè.

Sommario tecnico

1. Il Problema

L'obiettivo della ricerca è sviluppare agenti di ricerca multimodale in grado di eseguire compiti di "ricerca profonda" (deep research), che richiedono ragionamento esplicito, pianificazione, invocazione di multipli strumenti di ricerca e sintesi di informazioni cross-modali (testo e immagine). Tuttavia, lo sviluppo di tali agenti è ostacolato da tre sfide fondamentali:

1. Scarsità di dati QA multimodali intensivi nella ricerca: Mancano dataset pubblici che richiedano ricerche multi-turno e l'uso di diversi strumenti per rispondere a domande complesse.
2. Mancanza di traiettorie di ricerca efficaci: I metodi tradizionali basati su prompt sono spesso progettati per ricerche a turno singolo e non riescono a gestire scenari multi-turno complessi che richiedono interazioni iterative con vari strumenti.
3. Costi proibitivi delle API di ricerca online: L'addestramento di agenti che utilizzano API di ricerca reali (come SerpAPI o Jina) durante il ciclo di Reinforcement Learning (RL) comporta costi elevati (migliaia di dollari per esecuzione), limitando la sperimentazione sistematica.

2. Metodologia

Per superare queste sfide, gli autori propongono MM-DeepResearch, un agente multimodale basato su tre componenti chiave:

A. Hyper-Search (Generazione Dati)

È un metodo basato su ipergrafi per generare coppie Domanda-Risposta (QA) intensive nella ricerca.

• Costruzione dell'Ipergrafo: Modella le informazioni web come nodi (immagini e testo) e le loro relazioni come iperarchi.
• Espansione dei Nodi: Parte da un'immagine o un testo e utilizza operazioni di espansione (ricerca inversa di immagini, ricerca visiva, estrazione di URL da pagine web) per costruire un grafo profondo di informazioni correlate.
• Generazione QA: Crea domande che richiedono necessariamente l'invocazione di più strumenti di ricerca (sia intra-iperarco che inter-iperarco) per essere risolte, garantendo che le risposte non siano deducibili solo dall'immagine di partenza.
• Filtraggio: Utilizza modelli LLM avanzati per rimuovere dati di bassa qualità o risposte non verificabili. Il dataset risultante è chiamato Hyper-Search-3K.

B. DR-TTS (Sintesi delle Traiettorie)

Decompose–Recompose Tool Tree Search è un metodo per sintetizzare traiettorie di ragionamento efficaci.

• Decomposizione: Suddivide i compiti di ricerca in categorie in base agli strumenti necessari e addestra esperti specializzati per ciascun strumento (es. un esperto per la ricerca testo-testo, uno per immagine-immagine, ecc.) tramite Reinforcement Learning. Questo riduce la complessità dell'apprendimento.
• Ricompattamento: Ricompone gli esperti specializzati per esplorare congiuntamente lo spazio delle soluzioni tramite Tree Search (ricerca ad albero).
• Risultato: Genera traiettorie di alta qualità (10K esempi, DR-TTS-10K) che combinano l'uso corretto di diversi strumenti, mitigando i bias nell'uso degli strumenti e aumentando la diversità delle esplorazioni.

C. Motore di Ricerca Offline

Per evitare i costi delle API online durante l'addestramento RL:

• Viene costruito un motore di ricerca offline che utilizza un corpus multimodale pre-collezionato (immagini e testi da web e Wikipedia).
• Supporta sia la ricerca basata su informazioni (retrieval da corpus) che quella basata su conoscenza (query a modelli esperti).
• Questo permette di addestrare l'agente tramite RL senza costi esterni, simulando un ambiente di ricerca realistico ma controllato.

Pipeline di Addestramento

1. SFT (Supervised Fine-Tuning): Addestramento iniziale sulle traiettorie generate da DR-TTS per insegnare al modello i pattern di chiamata degli strumenti.
2. RL (Reinforcement Learning): Ottimizzazione tramite GRPO (Group Relative Policy Optimization) utilizzando il motore di ricerca offline. La ricompensa è basata sulla correttezza della risposta finale e sul rispetto del formato di interazione.

3. Risultati Chiave

Il modello MM-DeepResearch è stato valutato su sei benchmark intensivi nella ricerca (SimpleVQA, MMSearch, LiveVQA, FVQA, InfoSeek, Browsecomp-VL).

• Prestazioni Superiori: MM-DeepResearch-8B supera significativamente i modelli di base (Qwen3-VL-8B) e gli agenti di ricerca esistenti (come MMSearch-R1 e WebWatcher), ottenendo un punteggio medio del 63.0 contro il 46.2 del baseline Qwen3-VL-8B.
• Scalabilità: La versione 32B raggiunge un punteggio medio di 65.3, dimostrando che l'approccio scala efficacemente con la dimensione del modello.
• Efficienza dei Costi: L'uso del motore di ricerca offline ha permesso di addestrare l'agente con costi vicini allo zero rispetto alle migliaia di dollari richiesti dalle API online, mantenendo prestazioni competitive (anche se leggermente inferiori alla ricerca online in fase di test, l'offline è sufficiente per l'apprendimento).
• Ablation Study: Gli esperimenti dimostrano che la combinazione di Hyper-Search (per i dati) e DR-TTS (per le traiettorie) è cruciale: l'uso combinato porta a un miglioramento del 17% rispetto al solo baseline.

4. Contributi Principali

1. Hyper-Search: Prima introduzione del concetto di ipergrafo per la sintesi di dati QA multimodali intensivi nella ricerca, permettendo di generare domande che richiedono ricerche multi-turno e multi-strumento.
2. DR-TTS: Un metodo innovativo che scompone e ricompone esperti di strumenti tramite ricerca ad albero per generare traiettorie di ricerca robuste e diversificate.
3. Motore di Ricerca Offline: Una soluzione pratica ed economica che abilita l'addestramento RL su larga scala per agenti di ricerca senza dipendere da costose API esterne.
4. Baseline Efficace: MM-DeepResearch stabilisce un nuovo standard (baseline) semplice ma potente per la ricerca profonda multimodale, superando agenti precedenti addestrati con costi molto più elevati.

5. Significato

Questo lavoro è significativo perché risolve il collo di bottiglia economico e dati che ha finora limitato lo sviluppo di agenti di ricerca multimodale autonomi. Dimostra che è possibile costruire agenti capaci di ragionamento complesso e uso di strumenti senza dipendere da infrastrutture di ricerca online costose, rendendo la ricerca profonda accessibile a un più ampio spettro di ricercatori e sviluppatori. Inoltre, l'approccio modulare (separazione tra generazione dati, sintesi traiettorie e motore di ricerca) offre una roadmap chiara per futuri miglioramenti negli agenti multimodali.