🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

Il documento propone MM-R2, un framework agente multimodale che migliora la generazione aumentata dal recupero ragionando esplicitamente sugli obiettivi di recupero e strutturando lo spazio di ricerca tramite una KnowledgeMap, supportato da un nuovo dataset di traiettoria e una strategia di post-training a due stadi per raggiungere una precisione e un'interpretabilità superiori sui dataset di benchmark.

Autori originali: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Pubblicato 2026-07-28

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un mistero, ma invece di un singolo indizio, hai un enorme, disordinato mucchio di libri, foto e mappe gettati in una grande scatola. Questo è il mondo della "Multimodal Retrieval-Augmented Generation" (mRAG). È un modo elegante per dire che vogliamo che i computer rispondano a domande su immagini consultando fatti in una biblioteca gigantesca. Di solito, quando un computer cerca di fare questo, si comporta un po' come un acquirente frenetico in un supermercato enorme: afferra una domanda, la urla in tutto il negozio e spera che i primi articoli che trova sugli scaffali siano quelli giusti. Il problema è che il computer spesso afferra le cose sbagliate perché non capisce davvero cosa sta cercando o dove quell'articolo possa essere nascosto nel negozio. È come chiedere "l'auto rossa" e ricevere la foto di una mela rossa perché il computer ha solo visto la parola "rossa" e ha preso la prima cosa rossa che ha trovato.

È qui che entra in gioco il nuovo articolo. I ricercatori si sono resi conto che, prima ancora di iniziare a cercare, è necessario fermarsi e riflettere. Chiamano il loro nuovo sistema MM-R2, che sta per "Reason Before You Retrieve" (Ragiona prima di recuperare). Invece di urlare ciecamente nel vuoto, MM-R2 agisce come un detective intelligente. Per prima cosa, osserva l'immagine e la domanda insieme per capire esattamente quale sia l' "indizio" (l'oggetto specifico nella foto) e che tipo di informazione è necessaria. Poi, invece di cercare in tutta la scatola disordinata, consulta una mappa speciale e organizzata della biblioteca chiamata "KnowledgeMap". Sceglie l'𝘪ｓᵒ𝗹𝗮 corretta, prende il libro giusto, lo legge e decide se ha bisogno di cercare altrove. Il documento suggerisce che, seguendo questo passaggio di "pensare prima", il computer diventa molto più bravo a trovare le risposte corrette e può persino mostrarti il suo lavoro, provando esattamente come ha risolto il mistero.

La Nuova Strategia del Detective

L'idea centrale di questo articolo è che i computer sono attualmente troppo impazienti di passare all'azione. Quando chiedi a un computer "Che tipo di uccello c'è in questa foto?" mostrandogli una foto, gli attuali sistemi spesso fondono semplicemente le parole e l'immagine e iniziano a cercare tutto insieme. Gli autori sostengono che questo sia un errore. Hanno scoperto che questi sistemi si confondono perché non sanno quale parte dell'immagine sia importante o quale specifico fatto abbiano bisogno. È come cercare una ricetta specifica in una biblioteca cercando la parola "torta" in ogni singolo libro dell'edificio, invece di andare direttamente alla sezione "Panificazione".

Per risolvere questo problema, il team ha costruito MM-R2, un sistema che costringe il computer a fermarsi e pianificare prima di cercare. Hanno suddiviso il processo in tre fasi divertenti:

Il Piano del "Cosa" e del "Dove": Prima di cercare, il sistema crea uno "stato di recupero" (retrieval state). Immagina di scrivere una lista della spesa perfetta. Identifica il Bisogno di Informazione (cosa devo sapere?), il Riferimento Radicato (di quale oggetto specifico nella foto stiamo parlando?) e i Vincoli (ho bisogno di una data? di una località? di un nome scientifico?). Questo impedisce al computer di distrarsi con dettagli irrilevanti.
La Mappa Organizzata (KnowledgeMap): I ricercatori si sono resi conto che cercare in una lista piatta e disordinata di fatti è inefficiente. Così, hanno organizzato la loro biblioteca in una KnowledgeMap. Immagina che la biblioteca non sia solo un mucchio di libri, ma un insieme di contenitori etichettati con cura: un contenitore per gli "Uccelli", uno per le "Auto", uno per la "Storia". Quando il computer ha la sua lista della spesa, non cerca in tutta la biblioteca; prima decide quale contenitore aprire. Questo è chiamato "routing" (instradamento).
Il Ciclo del Detective: Una volta che il computer sceglie il contenitore giusto (l'unità di recupero), cerca la risposta specifica dentro quel contenitore. Se trova la risposta, ottimo! Altrimenti, può decidere di scegliere un contenitore diverso o porre una domanda più specifica. Continua a farlo finché non ha abbastanza prove per risolvere il caso.

Come Hanno Insegnato al Computer a Pensare

Potreste chiedervi: "Come fa un computer a imparare a pianificare come un detective?". Gli autori non si sono limitati a dire al computer di "essere intelligente". Invece, hanno creato un enorme dataset di addestramento chiamato MM-R2-Traj. Questo dataset contiene 900.000 esempi di "processi di pensiero".

Immaginate un insegnante che mostra a uno studente come risolvere un puzzle. L'insegnante non dà solo la risposta; mostra i passaggi: "Per prima cosa, guarda i pezzi degli angoli. Poi, smistali per colore. Poi, prova a incastrare questi due insieme". I ricercatori hanno usato un'IA "insegnante" per generare queste storie passo dopoto passo per l'IA "studente". Hanno insegnato allo studente a:

Analizzare l'immagine e la domanda per fare un piano.
Scegliere il "contenitore" giusto (unità della KnowledgeMap).
Porre una domanda specifica all'interno di quel contenitore.
Riassumere ciò che ha trovato.
Decidere se ha finito o se deve guardare ancora.

Hanno addestrato il computer in due fasi. Prima, hanno usato il Fine-Tuning Supervisionato (SFT), che è come avere lo studente che copia gli appunti dell'insegnante per imparare le regole base. Successivamente, hanno usato l'Ottimizzazione della Politica Relativa al Gruppo (GRPO), che è come un gioco in cui lo studente prova diverse strategie e, se ottiene la risposta corretta, riceve un punteggio alto. Se sbaglia la risposta, impara a provare un percorso diverso la volta successiva. Questo ha aiutato il computer a diventare molto bravo a fare le scelte giuste.

I Risultati: Più Intelligente e Più Chiaro

Quando hanno testato MM-R2 su due grandi sfide — InfoSeek (un dataset con 1,3 milioni di coppie immagine-domanda) e Encyclopedic VQA (un test di conoscenza in stile enciclopedico) — i risultati sono stati impressionanti.

Nel test InfoSeek, MM-R2 ha dato la risposta corretta il 54,3% delle volte complessivamente. Si tratta di un grande salto rispetto agli altri sistemi intelligenti, che solitamente si attestavano intorno al 46-47%. Nella parte specifica "Unseen-Question" del test (dove il computer deve gestire domande che non ha mai visto prima), MM-R2 ha ottenuto il 56,0%, superando il precedente record con un margine solido. Anche nel test Encyclopedic VQA, ha raggiunto il 39,4%, dimostrando di funzionare bene anche quando le domande sono molto specifiche e difficili.

Ma il documento suggerisce qualcosa di ancora più importante di un semplice punteggio: la trasparenza. Poiché MM-R2 pianifica i suoi passaggi, possiamo effettivamente vedere come ha risolto il problema.

Migliore Instradamento (Routing): Il sistema ha scelto correttamente il "contenitore" giusto (unità della KnowledgeMap) il 74% delle volte, rispetto a solo il 23% dei sistemi precedenti. Ha smesso di perdere tempo a cercare nei posti sbagliati.
Spiegazioni più Chiare: Quando il sistema spiegava la sua risposta, era più conciso e focalizzato. Il punteggio di "Fedeltà" (che controlla se la risposta deriva realmente dalle prove trovate) era di 0,90, il che significa che la risposta era quasi interamente basata sui fatti trovati, non solo basata su supposizioni.

Cosa Significa Questo

Il documento suggerisce che il vecchio modo di "cercare ovunque" sta raggiungendo un limite. Costringendo il computer a ragionare prima di recuperare, possiamo costruire sistemi che non sono solo più intelligenti, ma anche più affidabili. Non tirano a indovinare; seguono un percorso logico, controllano il proprio lavoro e possono mostrare esattamente come hanno trovato la risposta. È la differenza tra una caotica caccia al tesaggio e una missione da detective ben pianificata. Sebbene i ricercatori notino che questo è un approccio specifico all'IA multimodale e non risolve ogni problema del mondo, i risultati suggeriscono che prendersi un momento per pensare prima di agire è una strategia potente per il futuro dei computer intelligenti.

Sintesi Tecnica: Ragionare prima di Recuperare: Pianificazione Agente per il RAG Multimodale

Definizione del Problema

La Generazione Aumentata da Recupero Multimodale (mRAG) mira a rispondere a query immagine-testo sfruttando la conoscenza esterna. Tuttavia, i sistemi esistenti impiegano tipicamente una pipeline "recupera-e-genera" che opera su uno spazio di evidenze piatto e debolmente strutturato. Gli autori identificano due limitazioni critiche in questo design prevalente:

Ambiguità dell'Intento di Recupero: Nei contesti multimodali, la domanda testuale definisce il bisogno informativo, mentre l'immagine ancora il referente visivo specifico. I sistemi esistenti spesso non riescono a ancorare esplicitamente la query al corretto istanza visiva, portando a una deriva del recupero verso prior testuali o accoppiamenti generici di tipo didascalico, piuttosto che verso evidenze specifiche per la coppia immagine-domanda.
Spazio di Ricerca Debolmente Strutturato: La maggior parte dei sistemi incorpora evidenze diverse in un unico spazio di rappresentazione e si affida a funzioni di similarità globale. Ciò costringe evidenze semanticamente distinte a competere in un singolo passaggio di ranking, favorendo spesso contenuti generici rispetto a evidenze precise e dominio-specifiche.

Il paper sostiene che il recupero multimodale debba essere riformulato come "ragionare prima di recuperare", tracciando un'analogia con la Teoria degli Schemi nella scienza cognitiva, dove framework di conoscenza strutturata guidano l'attenzione e l'accesso alla memoria.

Metodologia: Il Framework MM-R2

Gli autori propongono MM-R2 (MultiModal Reason-to-Retrieve), un framework di recupero agente che modella esplicitamente cosa recuperare e dove cercare prima di eseguire il recupero. Il framework opera attraverso i seguenti componenti:

1. Modulo di Vincolo Intento-Referente

Prima del recupero, il sistema costruisce uno stato di recupero strutturato dalla coppia immagine-domanda $(I, Q)$ . Questo modulo, denotato come $\Phi$ , produce una tripletta $z = (i, r, c)$ :

$i$ (Bisogno Informativo): La conoscenza specifica richiesta (ad es., tassonomia, posizione, funzione).
$r$ (Referente Ancorato): L'oggetto, l'entità o la regione specifica nell'immagine a cui si riferisce la query.
$c$ (Vincoli): Condizioni specifiche del task come il tipo di risposta, la granularità o l'ambito temporale.

Questo passaggio risolve l'intento di recupero prima della ricerca, riducendo la deriva della query.

2. KnowledgeMap Strutturata

Invece di un corpus piatto, la base di conoscenza esterna è pre-strutturata in una KnowledgeMap ( $K$ ), composta da unità di recupero semanticamente coerenti ( $u_1, \dots, u_N$ ).

Costruzione: I passaggi vengono codificati, raggruppati tramite HDBSCAN (per gestire densità variabili senza pre-fissare il numero di cluster) e assegnati metadati leggeri (titoli e descrizioni) tramite un LLM.
Funzione: Funge da scaffold di routing. L'agente seleziona prima le unità rilevanti ( $a_t$ ) e poi esegue query ancorate ( $q_t$ ) all'interno di tali unità, invece di cercare globalmente in tutto il corpus.

3. Ciclo di Pianificazione Agente

L'agente $A$ (un modello linguistico multimodale) esegue un processo decisionale sequenziale:

Routing: Seleziona una o più unità di recupero dalla KnowledgeMap basandosi sullo stato corrente (intento $z$ e cronologia $h_t$ ).
Generazione della Query: Formula una query ancorata specifica per l'unità selezionata.
Recupero e Aggiornamento: Recupera l'evidenza $e_t$ e aggiorna la cronologia $h_{t+1}$ .
Decisione di Terminazione: L'agente decide iterativamente se continuare il recupero o generare la risposta finale $\hat{y}$ sulla base dell'evidenza accumulata.

4. Strategia di Addestramento

Per addestrare l'agente a eseguire questa pianificazione multi-step, gli autori introducono MM-R2-Traj, un dataset su larga scala di 900.000 traiettorie di recupero multi-step ancorate sintetizzate usando un modello teacher. L'addestramento segue una pipeline di post-training a due stadi:

Stadio 1 (Supervised Fine-Tuning - SFT): L'agente apprende la struttura di base dei comportamenti di recupero (selezione dell'unità, generazione della query, riepilogo, generazione della risposta) imitando le traiettorie strutturate.
Stadio 2 (Group Relative Policy Optimization - GRPO): L'agente viene ulteriormente ottimizzato tramite apprendimento per rinforzo con una funzione di ricompensa a livello di rollout ( $R_i$ ) che valuta congiuntamente la qualità del routing ( $R_{route}$ ) e la correttezza della risposta finale ( $R_{ans}$ ). Ciò rafforza la capacità dell'agente di pianificare percorsi di recupero sotto feedback a livello di task.

Contributi Chiave

Framework Innovativo: MM-R2 è un framework agente multimodale che ragiona esplicitamente sia sul target di recupero che sullo spazio di ricerca prima del recupero, rendendo il "cosa" e il "dove" del recupero interpretabili.
Innovazioni Architetturali: Il design del Modulo di Vincolo Intento-Referente e della KnowledgeMap fornisce uno stato decisionale esplicito e uno spazio di ricerca strutturato, affrontando l'ambiguità e la piattezza dei precedenti sistemi mRAG.
Dataset e Addestramento: La costruzione di MM-R2-Traj e l'adozione di una strategia di addestramento SFT+GRPO a due stadi consentono agli agenti di apprendere una pianificazione di recupero multi-step complessa.
Analisi a Livello di Processo: Il framework consente un'analisi leggera a livello di processo, permettendo l'ispezione dell'intento inferito, delle unità selezionate e delle evidenze separatamente.

Risultati Sperimentali

Gli autori hanno valutato MM-R2 su due benchmark: InfoSeek ed Encyclopedic VQA.

Efficacia a Livello di Task: MM-R2 supera sostanzialmente i baseline forti. Su InfoSeek, ha raggiunto il 54,3% di accuratezza (All), migliorando di 7,8 punti rispetto al baseline precedente più forte (Wiki-R1-7B al 46,5%). Su Encyclopedic VQA, ha raggiunto il 39,4%. I guadagni di performance sono stati costanti attraverso diversi budget di recupero (Top-1 a Top-5), con miglioramenti che aumentano all'espandersi del budget, suggerendo un utilizzo efficace delle evidenze aggiuntive.
Verificabilità a Livello di Processo:
- Accuratezza del Routing: Il Route Recall@1 è migliorato significativamente da 0,2339 (baseline) a 0,7400, indicando che l'agente identifica con successo le regioni corrette della KnowledgeMap.
- Qualità della Traccia: I punteggi LLM-as-a-Judge per la coerenza tra traccia e risposta e la copertura delle evidenze sono migliorati.
- Fedeltà: Il modello ha raggiunto un punteggio di fedeltà di 0,9011, indicando che la predizione finale è altamente riproducibile dal riepilogo delle evidenze rivelate, a differenza dei baseline che spesso si affidano a conoscenza parametrica nascosta.

Significato e Rivendicazioni

Il paper sostiene che MM-R2 dimostri che riformulare il recupero multimodale come un compito di ragionamento ("ragionare prima di recuperare") produce benefici sostanziali. Esplicitando l'ancoraggio dell'intento di recupero e strutturando lo spazio di ricerca, il sistema ottiene:

Maggiore Accuratezza: Un recupero delle evidenze più preciso porta a una migliore generazione della risposta.
Interpretabilità: La traiettoria di recupero è trasparente, permettendo agli utenti di ispezionare il ragionamento dell'agente, le decisioni di routing e l'uso delle evidenze.
Verificabilità: I riepiloghi delle evidenze esposti sono sufficienti per giustificare la risposta finale, riducendo la dipendenza dalla conoscenza parametrica "black box".

Gli autori concludono che MM-R2 offre un approccio più robusto e affidabile per query multimodali complesse rispetto alle pipeline di recupero statiche e piatte.