💬 NLP

Agent-X: Evaluating Deep Multimodal Reasoning in Vision-Centric Agentic Tasks

Questo articolo presenta Agent-X, un benchmark su larga scala che comprende 828 compiti multimodali del mondo reale distribuiti su sei ambienti diversi e un framework di valutazione dettagliato a livello di passo per valutare il ragionamento profondo negli agenti incentrati sulla visione, rivelando che i modelli leader attuali faticano a ottenere il successo a catena completa in scenari complessi e multi-step.

Autori originali: Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tajamul Ashraf, Amal Saqib, Hanan Ghani, Muhra AlMahri, Yuhao Li, Noor Ahsan, Umair Nawaz, Jean Lahoud, Hisham Cholakkal, Mubarak Shah, Philip Torr, Fahad Shahbaz Khan, Rao Muhammad Anwer, Salman Khan

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un assistente robotico super-intelligente. Gli dai una telecamera, un cervello e una cassetta degli attrezzi piena di gadget (come una lente d'ingrandimento, una calcolatrice o un browser web). Gli chiedi di risolvere un puzzle complicato, come: "Trova il volo più economico per Parigi, controlla il meteo lì e dimmi se ho bisogno di un ombrello".

Per molto tempo, abbiamo testato questi robot con puzzle semplici e fittizi che assomigliavano a livelli di videogiochi. Ma il mondo reale è disordinato, coinvolge video e richiede al robot di pensare in più passaggi, non solo in uno.

Ecco Agent-X. Considera questo articolo come la creazione di un nuovo "Campo Ostacoli" incredibilmente difficile, progettato specificamente per testare quanto bene questi assistenti robotici possano pensare in profondità e utilizzare i loro strumenti nel mondo reale.

Ecco la spiegazione di ciò che hanno fatto, utilizzando alcune analogie quotidiane:

1. Il Problema: Il "Videogioco" contro il "Mondo Reale"

I test precedenti erano come dare a un robot un livello di videogioco in cui le regole sono scritte sul muro: "Usa la chiave rossa per aprire la porta blu". Il robot si limita a seguire l'istruzione.

Ma nella vita reale, nessuno ti dice quale strumento usare. Dici semplicemente: "Ripara il rubinetto che perde". Il robot deve capire: Ho bisogno di una chiave inglese? Devo cercare un video tutorial? Devo chiamare un idraulico?

Gli autori affermano che i robot attuali sono come studenti che sono bravi a memorizzare le risposte per un test specifico ma si bloccano quando vengono chiamati a risolvere un problema che non hanno mai visto prima. Faticano a collegare tra loro più passaggi di ragionamento.

2. La Soluzione: Il "Campo Ostacoli" Agent-X

Il team ha creato Agent-X, una vasta raccolta di 828 sfide del mondo reale.

Gli Scenari: Invece di immagini fittizie, hanno utilizzato foto reali, video e screenshot da sei diversi "quartieri" della vita:
- Guida: Guardare un video di un'auto e capire se un pedone sta per attraversare.
- Sorveglianza: Osservare riprese di videosorveglianza per individuare una persona sospetta.
- Sport: Analizzare un video di una partita per contare i giocatori o prevedere il vincitore.
- Navigazione Web: Navigare su un sito web per trovare informazioni specifiche senza che venga detto esattamente quali pulsanti cliccare.
- Matematica e Logica Generale: Risolvere equazioni trovate nelle immagini o confrontare più immagini.
La Svolta: Ai robot non viene data una lista di controllo. Devono guardare l'immagine, rendersi conto di cosa manca, scegliere lo strumento giusto dalla loro cassetta degli attrezzi, usarlo, osservare il risultato e poi decidere cosa fare dopo.

3. Il "Giudice": Come Vengono Valutati i Robot

Questa è la parte più importante. Di solito, controlliamo solo se il robot ha dato la risposta finale corretta (come un insegnante che corregge un test di matematica).

Agent-X introduce un giudice passo-passo. Immagina un insegnante che non guarda solo la risposta finale ma osserva il foglio di brutta dello studente.

Hanno scelto lo strumento giusto? (Ad esempio: Hanno usato una calcolatrice invece di una lente d'ingrandimento?)
Hanno usato lo strumento correttamente? (Ad esempio: Hanno digitato i numeri nell'ordine giusto?)
La loro logica ha senso? (Ad esempio: Hanno saltato a una conclusione senza guardare le prove?)

Se un robot indovina la risposta corretta ma ci è arrivato allucinando (inventando cose) o saltando passaggi, Agent-X gli assegna un voto insufficiente. È come uno chef che prepara una torta deliziosa ma ha usato gli ingredienti sbagliati; la torta ha un buon sapore, ma il processo era difettoso.

4. I Risultati: I Robot Stanno Ancora Imparando

Gli autori hanno testato 12 dei modelli di intelligenza artificiale più intelligenti disponibili (inclusi nomi importanti come GPT-4, Gemini e Qwen).

Il Verdetto: Anche i robot "più intelligenti" stanno faticando.

Il Punteggio: I migliori modelli hanno ottenuto meno del 50% dei compiti completamente corretti dall'inizio alla fine.
Il Collo di Bottiglia: I robot sono bravi a vedere l'immagine e a parlarne, ma sono terribili nel pianificare. Spesso:
- Dimenticano di usare uno strumento di cui hanno bisogno.
- Usano uno strumento che non hanno (allucinano uno strumento che non esiste).
- Si confondono quando devono guardare un video e tracciare ciò che accade nel tempo.
- Sbagliano la formattazione delle loro risposte (come scrivere una lettera invece di compilare un modulo).

5. La Conclusione

L'articolo conclude che, sebbene questi agenti di IA siano impressionanti, non sono ancora pronti per essere lavoratori completamente autonomi. Sono come un brillante stagista che conosce molti fatti ma ha bisogno di una supervisione costante per capire come svolgere il lavoro.

Gli autori hanno creato Agent-X come un "test di stress" che ci mostra esattamente dove questi robot stanno fallendo, in modo che i ricercatori possano correggere le parti specifiche dei loro "cervelli" che gestiscono la pianificazione e l'uso degli strumenti. Non stanno chiedendo solo: "Puoi rispondere a questo?". Chiedono: "Puoi ragionare attraverso questo?" e finora, la risposta è "Non ancora del tutto".

Riepilogo Tecnico: Agent-X

Enunciato del Problema

Il ragionamento profondo è essenziale per risolvere compiti complessi del mondo reale che richiedono una comprensione sequenziale e multimodale. Tuttavia, i benchmark esistenti per i sistemi agentic soffrono di limitazioni significative: fanno prevalentemente affidamento su query completamente sintetiche a turno singolo; mancano di supporto per modalità visive diverse (come video e confronti multi-immagine); e non forniscono framework per valutare la qualità del ragionamento su più passaggi. Le valutazioni attuali si concentrano spesso esclusivamente sull'accuratezza della risposta finale, trascurando l'interpretabilità, la coerenza logica e la fedeltà nell'uso degli strumenti necessari per un comportamento agentic genuino in contesti autentici.

Metodologia

Per colmare queste lacune, gli autori introducono Agent-X, un benchmark su larga scala progettato per valutare agenti centrati sulla visione in ambienti multimodali del mondo reale.

Costruzione del Benchmark

Agent-X comprende 828 compiti agentic derivati da contesti visivi autentici, inclusi immagini, video e testo istruzionale. La costruzione segue una pipeline semi-automatizzata:

Generazione delle Query: I Modelli Multimodali su Larga Scala (LMM) generano query candidate iniziali basate su input visivi e un set di strumenti predefinito.
Raffinamento Umano: Gli annotatori umani affinano queste query per garantire realismo, chiarezza e la necessità di ragionamento multi-passaggio. Crucialmente, le query sono progettate senza riferimenti espliciti a strumenti specifici o sequenze di passaggi, costringendo gli agenti a pianificare in modo indipendente.
Creazione della Traccia di Ragionamento: Gli LMM generano tracce di ragionamento iniziali (chiamate di strumenti passo-passo, input, output e pensieri). I revisori umani verificano e correggono rigorosamente queste tracce per coerenza logica, accuratezza fattuale e corretto utilizzo degli strumenti.
Verità di Base: Ogni compito include una traccia di ragionamento di verità di base, una risposta finale e una giustificazione.

Ambito dei Compiti e Strumentazione

Il benchmark copre sei principali ambienti agentic:

Ragionamento Visivo Generale
Navigazione Web
Sicurezza e Sorveglianza
Guida Autonoma
Sport
Ragionamento Matematico

I compiti richiedono l'integrazione di 14 strumenti eseguibili (ad esempio, OCR, SceneDescriber, ObjectCounter, Calculator, WebSearch, CodePlotter) attraverso i domini della percezione, dell'operazione visiva, della matematica e dell'arte. Il dataset include 716 input di immagini e 112 input di video.

Framework di Valutazione

Agent-X introduce un framework di valutazione granulare a livello di passaggio che valuta gli agenti attraverso tre modalità:

Passo-passo: Valuta la qualità del ragionamento intermedio utilizzando metriche come Punteggio di Ancoraggio ( $G_s$ ), Precisione dello Strumento ( $T_p$ ) e Accuratezza dello Strumento ( $T_a$ ).
Ragionamento Profondo: Valuta la coerenza e la consistenza logica dell'intera catena di ragionamento utilizzando Fedeltà ( $F_{acc}$ ), Punteggio di Contesto ( $C_s$ ), Precisione Fattuale ( $F_p$ ) e Accuratezza Semantica ( $S_{acc}$ ).
Esito: Misura la correttezza della risposta finale (Accuratezza dell'Obiettivo, $G_{acc}$ ) e la correttezza complessiva del set di strumenti utilizzato (Accuratezza del Set di Strumenti, $T_{sacc}$ ).

La valutazione impiega giudici multipli (GPT-4o, Qwen-14B e annotatori umani) per garantire robustezza e minimizzare i pregiudizi.

Contributi Chiave

Benchmark Agent-X: Il primo benchmark su larga scala che combina input multimodali del mondo reale (immagini, video, testo) con una valutazione di ragionamento passo-passo potenziata da strumenti attraverso sei ambienti diversi.
Metriche Granulari: Una nuova suite di metriche che valuta non solo l'esito finale, ma anche i passaggi di ragionamento intermedi, l'accuratezza della selezione degli strumenti e la coerenza logica, distinguendo tra ragionamento genuino e confabulazione.
Valutazione Completa: Una valutazione estesa di 12 Modelli Multimodali su Larga Scala (LMM) all'avanguardia, inclusi modelli chiusi (GPT-4o, Gemini-2.5-Pro, OpenAI-o4-mini) e modelli open-source (Qwen2.5-VL, InternVL, VideoLLaMA3).

Risultati

La valutazione rivela sfide significative per i modelli attuali nei compiti agentic centrati sulla visione:

Basso Successo della Catena Completa: Anche i modelli con le prestazioni migliori raggiungono un'Accuratezza dell'Obiettivo ( $G_{acc}$ ) inferiore al 50%. Il miglior esecutore, OpenAI-o4-mini, raggiunge il 45%, mentre la maggior parte dei modelli open-source ottiene punteggi inferiori al 30%.
Ragionamento vs. Esecuzione: I modelli con forti capacità di ragionamento (alta $F_{acc}$ , $F_p$ ) tendono a performare meglio sugli esiti finali, ma l'invocazione degli strumenti e la previsione degli argomenti rimangono colli di bottiglia fondamentali.
Limitazioni nell'Uso degli Strumenti: Le metriche relative agli strumenti mostrano una vasta variabilità. I modelli spesso allucinanano l'uso degli strumenti, producono formati JSON non validi o non riescono a concatenare correttamente gli strumenti. Ad esempio, Gemini-1.5-Pro presenta alti tassi di errore JSON (44,5%), mentre GPT-4o fatica con l'interpretazione visiva errata (18,5%).
Progressi Open-Source: Sebbene i modelli chiusi siano attualmente in testa, i migliori modelli open-source come Qwen2.5-VL-7B mostrano prestazioni competitive in metriche specifiche, indicando un restringimento del divario.

Significato

Il documento afferma che Agent-X rappresenta un passo critico in avanti nella valutazione dei sistemi agentic, spostando il focus dalla correttezza superficiale della risposta al ragionamento profondo e interpretabile. I risultati evidenziano che gli attuali LMM faticano con l'interazione complessa tra percezione, pianificazione ed esecuzione degli strumenti richiesta per i compiti del mondo reale. Identificando colli di bottiglia specifici — come il ragionamento temporale nei video, l'aderenza agli schemi degli strumenti e l'applicazione di output strutturati — il benchmark offre spunti attuabili per guidare la ricerca futura nello sviluppo di agenti multimodali più robusti e incentrati sul ragionamento. Gli autori ipotizzano che Agent-X guiderà i progressi nel ragionamento multimodale e nell'integrazione robusta degli strumenti, fungendo da standard per tracciare i progressi nei framework agentic centrati sulla visione.