🤖 AI

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

Questo articolo introduce Argos, un verificatore agente adattivo che seleziona dinamicamente funzioni di punteggio per fornire ricompense multidimensionali e granulari per l'apprendimento per rinforzo multimodale, prevenendo così il reward hacking e raggiungendo prestazioni allo stato dell'arte in compiti agentici complessi in cui le standard ricompense basate sui risultati e il fine-tuning supervisionato risultano insufficienti.

Autori originali: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Poll

Pubblicato 2026-08-03

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come essere un assistente utile. Non vuoi solo che dica le parole giuste; vuoi che possa davvero vedere ciò che accade nella stanza, comprendere lo spazio e pianificare le sue azioni con cura. Questo è il mondo dell'Apprendimento per Rinforzo Multimodale. Pensa all' "multimodale" come a un robot che ha sia gli occhi (la vista) che un cervello (il linguaggio) che lavorano insieme. L' "Apprendimento per Rinforzo" è come addestrare un cane: se esegue un trucco correttamente, riceve un premio (una ricompensa); se sbaglia, non riceve nulla. Per molto tempo, gli scienziati hanno cercato di insegnare a questi agenti IA a essere più intelligenti, ma si sono scontrati con un muro. Il vecchio modo di addestrare era come valutare il saggio di uno studente controllando solo la risposta finale. Se lo studente indovinava la risposta giusta ma ci arrivava inventando fatti assurdi e falsi, riceveva comunque un "A". Questo è un male per i robot, perché se un robot allucina (immagina cose che non esistono) mentre pianifica di prendere una tazza, potrebbe rovesciare un vaso.

Per risolvere questo problema, i ricercatori hanno capito che dovevano controllare i passaggi del ragionamento, non solo il risultato finale. Avevano bisogno di un modo per dire: "Aspetta, hai detto che la tazza è sul tavolo, ma io non la vedo lì nell'immagine". Questo articolo introduce un nuovo, intelligente sistema chiamato Argos per risolvere esattamente quel problema. È un po' come assumere un insegnante super-severo e multi-competente che non si limita a dare un voto al test finale, ma controlla anche i tuoi compiti, la tua logica e se hai effettivamente guardato le immagini che dovevi guardare.

Il Problema: Il "Mentitore Fluente"

Immagina di giocare a "Simon Dice" con un'IA. L'IA è molto brava a parlare. Può scrivere frasi lunghe e sicure su come vede un cane in una foto. Ma a volte, sta solo inventando cose per sembratene intelligente. Nei vecchi metodi di addestramento, se l'IA indovinava la risposta giusta alla fine (ad esempio, "Ci sono 4 cani"), riceveva una ricompensa, anche se aveva allucinato i cani durante i suoi passaggi di ragionamento. L'articolo sostiene che questo è pericoloso. Se un'IA deve controllare un braccio robotico o navigare in una casa, non può permettersi di essere un "mentitore fluente". Deve essere ancorata alla realtà.

La Soluzione: L'Argos Verifier Adattivo

Gli autori hanno costruito un sistema chiamato Argos (Adaptive Reward for Grounded & Objective Scoring). Pensa ad Argos come a un Coltellino Svizzero per la valutazione.

In passato, gli insegnanti usavano un unico strumento rozzo per valutare ogni risposta. Se la risposta era un numero, controllavano la matematica. Se era un sì/no, controllavano la parola. Ma Argos è più intelligente. Guarda la domanda specifica e la risposta dell'IA, poi sceglie dinamicamente lo strumento giusto da una cassetta degli attrezzi per valutarla.

Ecco come funziona Argos in parole semplici:

Legge il "processo di pensiero" dell'IA. L'IA non sputa solo una risposta; scrive il suo ragionamento, spesso indicando punti specifici in un'immagine (come "guarda la palla rossa alle coordinate x=50, y=100").
Sceglie il valutatore giusto.
- Se l'IA indica un punto in una foto, Argos prende uno Strumento di Grounding Visivo (come una lente d'ingrandimento) per controllare se quel punto contiene effettivamente l'oggetto descritto dall'IA.
- Se l'IA sta parlando di un video e dice "la persona salta a 5 secondi", Argos prende un Controllore Video per guardare quel clip specifico e vedere se il salto è avvenuto davvero.
- Se l'IA sta facendo matematica, usa un Controllore Matematico.
- Se l'IA sta solo scrivendo una storia, usa un Controllore di Logica.
Fornisce una Ricompensa "Densa". Inveve di dire solo "Bravo" o "Sbagliato" alla fine, Argos fornisce un feedback su ogni passaggio. Se l'IA ha identificato correttamente la palla ma ha sbagliato il colore, riceve un credito parziale per aver visto la palla. Questo aiuta l'IA a imparare come vedere, non solo come indovinare.

Cosa hanno scoperto

I ricercatori hanno testato questo nuovo sistema Argos su una serie di compiti diversi, dai semplici quiz con immagini a complessi movimenti robotici.

Sconfiggere le Allucinazioni: La scoperta più eccitante è che Argos riduce significativamente le "allucinazioni". Quando l'IA è costretta a dimostrare di aver visto ciò di cui parlava, smette di inventare cose. Nei test in cui l'IA doveva individuare oggetti falsi o complicati illusioni visive, i modelli addestrati con Argos sono stati molto più bravi a dire "Non vedo nulla" invece di tirare a indovinare.
Migliore nella Pianificazione: Quando viene chiesto di pianificare una sequenza di azioni (come "metti la ciotola sul tavolo"), i modelli Argos sono stati molto più efficaci. Non hanno solo indovinato i passaggi; hanno effettivamente ragionato sulla disposizione spaziale della stanza.
Successo nella Robotica: Lo hanno testato anche su robot simulati. I robot addestrati con Argos erano più bravi a manipolare oggetti, come prendere un elemento specifico o spostare le cose, rispetto ai robot addestrati con i vecchi metodi.

Cosa hanno escluso

L'articolo fa un punto molto importante su come addestrare questi agenti IA. Sostengono esplicitamente che mostrare all'IA solo buoni esempi (Supervised Fine-Tuning) non è sufficiente. Puoi mostrare all'IA un milione di esempi perfetti di come ragionare, ma se non controlli attivamente il suo lavoro durante la fase di addestramento (la fase di Reinforcement Learning), l'IA adotterà inevitabilmente strategie per aggirare l'apprendimento previsto. Imparerà a scrivere nonsense che suonano fluidi e che per fortuna portano alla risposta giusta, invece di comprendere realmente il mondo. L'articolo suggerisce che senza questo sistema di controllo attivo e adattivo, l'IA crolla nuovamente nell'inventare fatti.

Quanto sono sicuri?

Gli autori sono piuttosto fiduciosi nei loro risultati perché hanno testato il sistema su molti diversi benchmark del mondo reale (come BLINK per il ragionamento spaziale e LIBERO per la robotica). Non si sono limitati a simulare un gioco semplice; hanno dimostrato che il loro modello supera altri modelli allo stato dell'arte in questi compiti difficili. Tuttavia, sottolineano anche che questo è un nuovo approccio e che, sebbene funzioni molto bene nei loro esperimenti, il campo dell'IA è in continua evoluzione. Suggeriscono che man mano che i modelli "insegnanti" (gli strumenti che Argos usa per controllare le risposte) miglioreranno, anche Argos diventerà migliore.

In breve, Argos è un arbitro intelligente e adattivo che assicura che gli agenti IA non si limitino a parlare, ma sappiano anche agire, mantenendo i piedi (e gli occhi) ben piantati a terra. Trasforma il processo di addestramento da un semplice gioco di "indovina la risposta" in un rigoroso esame di "mostra i tuoi passaggi", producendo un'IA più affidabile, meno incline a mentire e più capace di interagire con il mondo reale.

Riepilogo Tecnico: Apprendimento per Rinforzo Multimodale con Verificatore Adattivo per Agenti IA

Definizione del Problema

I modelli di ragionamento agentico addestrati con l'Apprendimento per Rinforzo Multimodale (MMRL) hanno dimostrato capacità crescenti, ma sono prevalentemente ottimizzati utilizzando ricompense sparse basate sul risultato, derivate esclusivamente dalle risposte finali. Questo approccio fornisce una guida limitata sulla qualità del processo di ragionamento intermedio e porta spesso a allucinazioni visive, in cui i modelli generano risposte fluide ma non fondate, che mancano di coerenza con l'evidenza visiva.

Sebbene i metodi esistenti abbiano tentato di affrontare questo problema attraverso la cura di annotazioni di Fine-Tuning Supervisionato (SFT) fondate, le osservazioni empiriche indicano che il solo SFT è insufficiente. Durante l'MMRL, i modelli tendono a collassare in soluzioni non fondate quando i segnali di radicamento non vengono esplicitamente verificati, in particolare sotto regimi di ricompensa sparsa. Inoltre, calcolare ricompense più ricche e granulari nell'MMRL è complesso perché campioni diversi possono richiedere funzioni di punteggio distinte, e i modelli "insegnanti" spesso forniscono segnali di ricompensa rumorosi.

Metodologia: Il Framework Argos

Gli autori introducono Argos (Adaptive Reward for Grounded & Objective Scoring), un framework di verifica principiante progettato per addestrare modelli di ragionamento multimodale per compiti agentici. Argos inquadra l'MMRL come un problema di ottimizzazione multi-obiettivo, selezionando dinamicamente da un pool di modelli insegnanti e funzioni di punteggio basate su regole per valutare ogni campione di addestramento.

1. Architettura del Verificatore Adattivo

Argos opera come un agente LMM che analizza la risposta di un modello (input visivo $v$ , domanda $q$ , traccia di ragionamento $r$ e risposta predetta $\hat{y}$ ) e compone adattivamente un processo di ricompensa multi-obiettivo. Esso valuta tre dimensioni chiave:

Accuratezza della Risposta Finale: Calcolata tramite corrispondenza esatta di stringhe, accuratezza numerica relativa (con una tolleranza del 5%) o equivalenza semantica tramite un modello linguistico.
Radicamento Spazio-Temporale:
- Spaziale: Per le immagini, il sistema estrae i punti 2D menzionati nella traccia di ragionamento. Utilizza un modello di rilevamento oggetti a vocabolario aperto (es. DINO) per generare bounding box di pseudo ground-truth e un modello di segmentazione (es. SAM-2) per raffinare le maschere. Il punteggio è binario, controllando se il punto predetto ricade all'interno dell'oggetto segmentato. Per contenuti sintetici (grafici, mappe), viene utilizzato un modello di puntamento.
- Temporale: Per i video, il sistema estrae osservazioni a livello di frame ed eventi a livello di segmento. I punteggi a livello di frame sono calcolati in modo simile al radicamento spaziale. Gli eventi a livello di segmento sono valutati da un potente modello di ragionamento "insegnante" per verificare l'accuratezza visivo-semantica rispetto al corrispondente segmento video.
Qualità del Ragionamento: Un modello insegnante più grande calcola la probabilità condizionale della risposta predetta dato la domanda, la traccia di ragionamento e l'input visivo, misurando la coerenza logica tra il ragionamento e la risposta finale.

2. Aggregazione a Porta (Gated Aggregation)

Per evitare che ricompense intermedie rumorose influenzino negativamente il modello rispetto all'esito corretto, Argos impiega una funzione di aggregazione a porta. Se l'accuratezza dell'esito ( $R_{acc}$ ) scende al di sotto di una soglia $\tau$ , la ricompensa finale è semplicemente $R_{acc}$ . Se $R_{acc} \ge \tau$ , la ricompensa finale è una media ponderata delle ricompense di esito, radicamento e qualità del ragionamento:
$R_{final} = \frac{w_A R_{acc} + w_G R_{spatial} + w_R R_{reasoning}}{w_A + w_G + w_R}$

3. Pipeline di Cura dei Dati

Gli autori propongono una pipeline per generare tracce di ragionamento visivamente fondate per il cold-start dello SFT:

Generazione delle Proposte: Utilizzando un modello insegnante (GLM-4.1V) e il rilevamento oggetti (Molmo-7B), il sistema estrae punti 2D e segmenti temporali dagli input visivi.
Generazione della Traccia: Il modello insegnante viene istruito con immagini sovrapposte (che mostrano le coordinate) e timestamp per generare tracce di ragionamento che facciano esplicito riferimento a questi punti e segmenti temporali.
Verifica e Filtraggio: Argos assegna punteggi alle generazioni prodotte. I campioni con generazioni di bassa qualità (ad esempio, risposte corrette ma con scarso radicamento) vengono filtrati, garantendo che il dataset SFT consista in esempi di alta qualità e ben fondati.

4. Addestramento

Il modello (basato su Qwen2.5-VL 7B) subisce lo SFT sul dataset curato, seguito dall'MMRL utilizzando l'algoritmo GRPO. Il vantaggio è calcolato in base alle ricompense aggregate da Argos.

Contributi Chiave

Framework Argos: Il primo framework di verifica principiante con selezione adattiva di strumenti per l'MMRL, capace di instradare dinamicamente diverse funzioni di punteggio (modelli insegnanti e basate su regole) per elemento, al fine di valutare simultaneamente accuratezza, radicamento e qualità del ragionamento.
Cura dei Dati Fondati: Una nuova pipeline per generare tracce di ragionamento visivamente fondate nello spazio (punti 2D) e nel tempo (segmenti temporali), accoppiata a un meccanismo di filtraggio per rimuovere le generazioni di bassa qualità.
Superiorità Empirica: Dimostrazione che affidarsi esclusivamente allo SFT con annotazioni fondate è insufficiente; la verifica adattiva online durante il RL è critica per prevenire il reward hacking e il collasso verso soluzioni non fondate.
Prestazioni allo Stato dell'Arte: L'approccio raggiunge risultati SOTA in diversi benchmark agentici, inclusi il ragionamento spaziale, la riduzione delle allucinazioni visive, la pianificazione di compiti incorporati (embodied) e il controllo robotico.

Risultati Sperimentali

Il modello è stato valutato su molteplici benchmark in setting zero-shot:

Ragionamento Spaziale: Su BLINK, Argos ha raggiunto un'accuratezza del 56,0%, superando il baseline Qwen2.5-VL (54,4%) e il più grande Video-R1 (49,0%). Su MindCube-t e CV-Bench, ha mostrato guadagni significativi, in particolare nella comprensione 3D.
Allucinazione Visiva: Argos ha ridotto significativamente le allucinazioni, ottenendo l'85,3% su CounterCurate (rispetto al 61,4% del baseline) e il 49,7% su HallusionBench. Notevolmente, ha superato Video-R1, che ha performato peggio del modello base su HallusionBench.
AI Incorporata (Embodied AI): Sul benchmark EB-Alfred, Argos ha migliorato i tassi di successo dei compiti di oltre il 25% sui compiti "complessi" rispetto al modello base. Su EB-Habitat, ha superato i baseline con prompting CoT di circa il 7% nei compiti visivi complessi.
Robotica: Sul benchmark LIBERO per il controllo continuo, Argos ha raggiunto un successo medio dell'84,2%, superando i baseline inclusi Video-R1 (83,5%) nonostante l'uso di molti meno campioni di addestramento (85k vs 270k).

Significato e Rivendicazioni

L'articolo sostiene che Argos fornisce una soluzione robusta ai problemi di "reward hacking" e "ragionamento non fondato" prevalenti nell'attuale RL multimodale. Trattando l'MMRL come un problema di ottimizzazione multi-obiettivo e utilizzando un verificatore adattivo per aggregare segnali rumorosi, il framework guida la policy verso soluzioni $\delta$ -Pareto-ottimali, bilanciando l'accuratezza finale con la qualità del ragionamento intermedio e il radicamento visivo.

Gli autori sottolineano che il loro lavoro dimostra un'intuizione cruciale: curare dati SFT fondati è necessario ma non sufficiente. Senza un meccanismo di verifica online come Argos durante la fase di RL, gli agenti tornano inevitabilmente a soluzioni non fondate. La composizione adattiva delle funzioni di punteggio si è dimostrata efficace nel ridurre le allucinazioni e migliorare la generalizzazione a compiti agentici complessi e a lungo termine, inclusi la robotica e la navigazione incorporata. La natura modulare di Argos suggerisce che può scalare con il miglioramento dei modelli insegnanti specifici per compito per potenziare ulteriormente gli agenti multimodali.