Technische Samenvatting: Agent-X

Probleemstelling

Diep redeneren is essentieel voor het oplossen van complexe, real-world taken die sequentiële, multimodale begrip vereisen. Echter, bestaande benchmarks voor agentische systemen lijden onder aanzienlijke beperkingen: ze vertrouwen voornamelijk op volledig synthetische, single-turn queries; ze missen ondersteuning voor diverse visuele modaliteiten (zoals video en multi-image vergelijkingen); en ze falen in het bieden van kaders voor het beoordelen van de kwaliteit van redenering over meerdere stappen. Huidige evaluaties richten zich vaak uitsluitend op de nauwkeurigheid van het eindantwoord, en negeren de interpretatie, logische coherentie en tool-gebruiksgetrouwheid die nodig zijn voor echt agentisch gedrag in authentieke settings.

Methodologie

Om deze gaten aan te vullen, introduceren de auteurs Agent-X, een grootschalige benchmark ontworpen om visie-gerichte agenten te evalueren in real-world, multimodale omgevingen.

Constructie van de Benchmark

Agent-X bestaat uit 828 agentische taken afgeleid van authentieke visuele contexten, waaronder afbeeldingen, video's en instructieve tekst. De constructie volgt een semi-automatische pijplijn:

1. Query-Generatie: Large Multimodal Models (LMM's) genereren initiële kandidaat-queries op basis van visuele inputs en een vooraf gedefinieerde toolset.
2. Menselijke Verfijning: Menselijke annotatoren verfijnen deze queries om realisme, duidelijkheid en de noodzaak van multi-stap redenering te waarborgen. Cruciaal zijn queries ontworpen zonder expliciete verwijzingen naar specifieke tools of stapsequenties, waardoor agenten gedwongen worden onafhankelijk te plannen.
3. Aanmaken van Redeneersporen: LMM's genereren initiële redeneersporen (stap-voor-stap tool-aanroepen, inputs, outputs en gedachten). Menselijke reviewers verifiëren en corrigeren deze sporen vervolgens rigoureus op logische consistentie, feitelijke nauwkeurigheid en correct tool-gebruik.
4. Ground Truth: Elke taak bevat een ground-truth redeneerspoor, een eindantwoord en een rechtvaardiging.

Takenbereik en Tooling

De benchmark omvat zes grote agentische omgevingen:

• Algemene Visuele Redenering
• Web-browsing
• Beveiliging en Surveillance
• Autonomie Rijden
• Sport
• Wiskundige Redenering

Taken vereisen de integratie van 14 uitvoerbare tools (bijv. OCR, SceneDescriber, ObjectCounter, Calculator, WebSearch, CodePlotter) over perceptie, visuele operatie, wiskunde en artistieke domeinen. De dataset bevat 716 afbeeldingsinputs en 112 video-inputs.

Evaluatiekader

Agent-X introduceert een fijnmazig, stap-niveau evaluatiekader dat agenten beoordeelt over drie modi:

1. Stap-voor-Stap: Beoordeelt de kwaliteit van intermediaire redenering met metrics zoals Grounding Score ($G_s$), Tool Precision ($T_p$) en Tool Accuracy ($T_a$).
2. Diep Redeneren: Beoordeelt de coherentie en logische consistentie van het volledige redeneerketen met Faithfulness ($F_{acc}$), Context Score ($C_s$), Factual Precision ($F_p$) en Semantic Accuracy ($S_{acc}$).
3. Uitkomst: Meet de correctheid van het eindantwoord (Goal Accuracy, $G_{acc}$) en de algehele correctheid van de gebruikte toolset (Toolset Accuracy, $T_{sacc}$).

De evaluatie maakt gebruik van meerdere judges (GPT-4o, Qwen-14B en menselijke annotatoren) om robuustheid te waarborgen en bias te minimaliseren.

Belangrijkste Bijdragen

1. Agent-X Benchmark: De eerste grootschalige benchmark die real-world multimodale inputs (afbeeldingen, video, tekst) combineert met tool-verrijkte, stap-voor-stap redeneerevaluatie over zes diverse omgevingen.
2. Fijnmazige Metrics: Een nieuwe reeks metrics die niet alleen het eindresultaat beoordeelt, maar ook de intermediaire redeneerstappen, de nauwkeurigheid van tool-selectie en logische coherentie, en onderscheid maakt tussen echt redeneren en confabulatie.
3. Uitgebreide Evaluatie: Een uitgebreide evaluatie van 12 state-of-the-art Large Multimodal Models (LMM's), inclusief gesloten-bron modellen (GPT-4o, Gemini-2.5-Pro, OpenAI-o4-mini) en open-source modellen (Qwen2.5-VL, InternVL, VideoLLaMA3).

Resultaten

De evaluatie onthult aanzienlijke uitdagingen voor huidige modellen in visie-gerichte agentische taken:

• Laag Succes van de Volledige Keten: Zelfs de best presterende modellen bereiken minder dan 50% Goal Accuracy ($G_{acc}$). De top-presteerder, OpenAI-o4-mini, bereikt 45%, terwijl de meeste open-source modellen onder de 30% scoren.
• Redeneren versus Uitvoering: Modellen met sterke redeneercapaciteiten (hoge $F_{acc}$, $F_p$) presteren over het algemeen beter op einduitkomsten, maar tool-aanroepen en argumentvoorspelling blijven kernknelpunten.
• Beperkingen in Tool-gebruik: Tool-gerelateerde metrics tonen grote variatie. Modellen hallucineren vaak tool-gebruik, produceren ongeldige JSON-formaten of falen in het correct koppelen van tools. Bijvoorbeeld, Gemini-1.5-Pro vertoont hoge JSON-foutpercentages (44,5%), terwijl GPT-4o worstelt met visuele misinterpretaties (18,5%).
• Open-source Vooruitgang: Hoewel gesloten-bron modellen momenteel de leiding hebben, tonen top open-source modellen zoals Qwen2.5-VL-7B concurrerende prestaties in specifieke metrics, wat wijst op een krimpende kloof.

Betekenis

Het paper beweert dat Agent-X een cruciale stap voorwaarts biedt in het evalueren van agentische systemen door de focus te verschuiven van oppervlakkige antwoordcorrectheid naar diep, interpreteerbaar redeneren. De bevindingen benadrukken dat huidige LMM's worstelen met de complexe wisselwerking van perceptie, planning en tool-uitvoering die nodig is voor real-world taken. Door specifieke knelpunten te identificeren—zoals temporeel redeneren in video's, adherence aan toolschema's en afdwinging van gestructureerde output—biedt de benchmark actieerbare inzichten om toekomstig onderzoek te sturen in het ontwikkelen van robuustere, redeneringsgerichte multimodale agenten. De auteurs stellen dat Agent-X vooruitgang zal stimuleren in multimodaal redeneren en robuuste tool-integratie, en zal dienen als standaard voor het volgen van vooruitgang in visie-gerichte agentische kaders.