AgentVista: Evaluating Multimodal Agents in Ultra-Challenging Realistic Visual Scenarios

1. Het Probleem

Bestaande benchmarks voor multimodale agenten (AI-systemen die visuele en tekstuele informatie combineren) hebben twee fundamentele tekortkomingen:

• Gebrek aan realisme en complexiteit: De meeste benchmarks focussen op single-turn visuele redenering of specifieke vaardigheden (zoals alleen webbrowsing of alleen code-generatie). Ze missen de "lange horizon" (long-horizon) workflows die nodig zijn voor echte problemen, waarbij een agent meerdere stappen moet doorlopen met wisselende hulpmiddelen.
• Verval tussen realiteit en moeilijkheidsgraad: Benchmarks die moeilijkheid proberen te simuleren, doen dit vaak door visuele toestanden te vereenvoudigen of door tools te gebruiken die niet overeenkomen met dagelijkse workflows (bijvoorbeeld voorbewerkte afbeeldingen). Dit verplaatst de bottleneck van visueel begrip en interactie naar het oplossen van kunstmatige taken.

Er is een gebrek aan een benchmark die multimodale agenten evalueert op realistische, detailrijke visuele scenario's die vereisen dat de agent visuele aanwijzingen koppelt aan externe informatie (zoals webzoekopdrachten, afbeeldingen zoeken, navigatie en code-uitvoering) om een oplossing te vinden.

2. Methodologie: AGENTVISTA

De auteurs introduceren AGENTVISTA, een benchmark ontworpen om generalistische multimodale agenten te testen in ultra-challengende, realistische situaties.

• Dataset Samenstelling:

  • Omvang: 209 taken verdeeld over 7 hoofdcategorieën (Technologie, Commercie, Geografie, Entertainment, Samenleving, Academie, Cultuur) en 25 subdomeinen.
  • Bronnen: De taken zijn gebaseerd op 300.000+ echte afbeeldingen en reële gebruikersbehoeften, verzameld uit publieke arena's, annotator-gevangen dagelijkse scenario's en privé-forums.
  • Aanmaakproces: Een strikt vierstaps proces (Fig. 3):
    1. Agent-centric filtering: AI en mensen filteren afbeeldingen die voldoende visuele complexiteit hebben.
    2. Expert finalization: Experts herschrijven queries naar realistische gebruikersvragen met deterministische antwoorden.
    3. Execution filtering: Taken worden gecontroleerd door ze uit te voeren in een tool-omgeving; alleen taken die wisselende toolgebruik vereisen en niet zonder tools opgelost kunnen worden, blijven over.
    4. Two-round verification: Twee rondes van verificatie om visuele afhankelijkheid en antwoordgeldigheid te garanderen.

• Tool Omgeving:
  Agenten hebben toegang tot vier kernhulpmiddelen die realistische interacties simuleren:

  1. Web Search: Zoeken naar informatie.
  2. Image Search: Zoeken naar gerelateerde afbeeldingen (tekst- of omgekeerde zoekopdracht).
  3. Visit: Bezoeken en content extraheren van webpagina's.
  4. Code Interpreter: Uitvoeren van Python-code voor wiskundige berekeningen, data-analyse en beeldbewerking (bijv. inzoomen, bijsnijden, meten, vergelijken).

• Ontwerpprincipes:

  • Visie-centric: De oplossing vereist het begrijpen van visuele details (bijv. kleine tekens op een label, subtiele verschillen in een schema) die niet in de tekst staan.
  • Natuurlijke tool-interactie: Taken vereisen "interleaved" (geweven) gebruik van verschillende tool-types (bijv. eerst een afbeelding analyseren, dan zoeken, dan berekenen).
  • Verifieerbaar: Elk antwoord is uniek en objectief verifieerbaar (cijfers, namen, korte beschrijvingen).

3. Belangrijkste Resultaten

De auteurs hebben 14 state-of-the-art multimodale modellen getest, waaronder de nieuwste versies van GPT (OpenAI), Gemini (Google), Claude (Anthropic), Grok (xAI) en Qwen (Alibaba).

• Extreem uitdagend: Zelfs het best presterende model, GEMINI-3-PRO, bereikte slechts 27,3% algehele nauwkeurigheid. Vier van de veertien modellen scoorden onder de 15%.
• Lange interactieketens: Taken vereisen gemiddeld veel tool-aanroepen. De gemiddelde lengte van een traject is 12,67 beurten (turns), waarbij sommige moeilijke gevallen meer dan 25 beurten vereisen.
• Foutanalyse: De dominante foutenbron is visuele misidentificatie (bijv. verkeerd lezen van een label of het missen van een klein detail), gevolgd door kennis-hallucinatie. Fouten in het begin van de keten (visueel) leiden vaak tot een cascade van fouten in latere stappen (zoeken, berekenen).
• Meerdere afbeeldingen: Curieus genoeg presteerden modellen vaak beter met meerdere afbeeldingen dan met één enkele, omdat extra beelden vaak ambiguïteit wegnemen en aanvullende bewijslast bieden.
• Test-time scaling: Het genereren van meerdere oplossingen (sampling) en het selecteren van de beste (Best-of-K) verbeterde de prestaties aanzienlijk (van 21% naar 30% bij K=16), maar loste het probleem niet volledig op. Dit suggereert dat de beperking ligt in de fundamentele redeneer- en grondingscapaciteiten, niet alleen in het toeval.

4. Belangrijkste Bijdragen

1. Nieuwe Benchmark: AGENTVISTA is de eerste benchmark die multimodale agenten evalueert op lange-horizon, wisselend tool-gebruik in realistische, visueel complexe scenario's.
2. Uitgebreide Dataset: Een zorgvuldig geconstrueerde dataset van 209 taken die de kloof tussen academische benchmarks en echte toepassingen overbrugt.
3. Gedetailleerde Evaluatie: Een uitgebreide analyse van de prestaties van top-modellen, inclusief foutanalyse en tool-ablatiestudies, die aantoont dat huidige modellen nog niet klaar zijn voor complexe real-world taken.
4. Openbaarmaking: De auteurs kondigen aan dat ze zowel de benchmark als een lichtgewicht agent-framework vrijgeven om reproduceerbaarheid en verdere ontwikkeling te stimuleren.

5. Betekenis en Impact

AGENTVISTA markeert een verschuiving in de evaluatie van multimodale AI. Het toont aan dat hoewel modellen goed zijn in het beantwoorden van vragen over statische afbeeldingen, ze nog steeds ernstig tekortschieten in het coördineren van visueel waarnemen, externe informatie ophalen en logische stappen uitvoeren over een lange periode.

De benchmark dient als een cruciale testomgeving voor de volgende generatie AI-agenten die bedoeld zijn voor praktische toepassingen zoals:

• Technische troubleshooting (diagnose van apparatuur op basis van foto's).
• Persoonlijke assistentie (boodschappen doen met allergieën, reisplanning).
• Professionele analyse (architectuur, engineering, medische beeldinterpretatie).

Het paper benadrukt dat de volgende grote doorbraak in multimodale AI niet alleen komt van betere taalmodellen, maar van systemen die betrouwbare visuele gronding kunnen combineren met robust langdurig tool-gebruik.