VTC-Bench: Evaluating Agentic Multimodal Models via Compositional Visual Tool Chaining

Dit paper introduceert VTC-Bench, een uitgebreide benchmark met 32 OpenCV-tools en 680 problemen om de beperkingen van multimodale modellen in het samenstellen van visuele hulpmiddelen en het uitvoeren van complexe, meerstapsplannen te evalueren.

De kern

Stel je voor dat Multimodale Grote Taalmodellen (MLLM's) – die slimme AI's die zowel tekst als plaatjes kunnen begrijpen – net als een pas afgestudeerde student zijn. Ze zijn slim, kunnen een foto beschrijven en vragen beantwoorden, maar als je ze vraagt om een tandem te repareren of een foto te bewerken, raken ze in de war. Ze weten niet welke gereedschappen ze moeten pakken en hoe ze die moeten combineren.

Deze paper introduceert VTC-Bench, een nieuwe "rijbewijstest" voor deze AI's, om te zien of ze echt kunnen werken als een digitale meesterknecht die gereedschappen gebruikt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Werkbank" is te leeg

Tot nu toe werden AI's getest met simpele vragen: "Wat zie je op deze foto?" of "Hoeveel appels zijn er?".
Maar in het echte leven is het vaak zo: "Verwijder de achtergrond, maak de tekst leesbaar, meet de afstand tussen de twee auto's en teken een pijl eromheen."

Bestaande tests waren alsof je een student alleen een hamer gaf en vroeg of die een spijker kon slaan. Maar in de echte wereld heb je een volledige gereedschapskist nodig: schroevendraaiers, tangen, meetlinten, verf, enzovoort. De oude tests hadden maar een paar simpele gereedschappen en vroegen om simpele klusjes.

2. De Oplossing: VTC-Bench (De Ultieme Gereedschapskist)

De onderzoekers hebben VTC-Bench bedacht. Dit is een enorme testomgeving met 32 verschillende gereedschappen (gebaseerd op OpenCV, een beroemde bibliotheek voor beeldbewerking).

• De Gereedschapskist: Denk aan gereedschappen zoals "Draai de foto", "Verander de kleur", "Maak het scherper", "Teken een lijn", of "Tel de objecten".
• De Opdrachten: Er zijn 680 moeilijke vragen. Ze zijn ingedeeld in drie niveaus, net als een videospelletje:
  1. Niveau 1 (De Voorbereiding): Maak de foto eerst leesbaar. Bijvoorbeeld: een foto die scheef staat, rechttrekken, of een mistige foto helder maken.
  2. Niveau 2 (Het Meten): Nu de foto helder is, meet je dingen. Hoe groot is de auto? Hoeveel rode ballen zijn er?
  3. Niveau 3 (De Grote Opdracht): Dit is het moeilijkste. Je moet een reeks stappen doen. Bijvoorbeeld: "Draai de foto, maak hem zwart-wit, zoek de randen van het gebouw, en meet de hoogte."

3. Hoe Werkt de Test? (De "Kooktest")

Stel je voor dat je een kok (de AI) vraagt om een ingewikkeld gerecht te maken.

• De AI moet niet alleen zeggen wat er op het bord ligt.
• De AI moet het recept schrijven en de pan gebruiken.

In de test moet de AI zelf beslissen: "Oh, ik zie dat de tekst vaag is. Ik moet eerst het 'Versterk'-gereedschap gebruiken. Daarna moet ik de 'Draai'-knop indrukken. En tenslotte moet ik de 'Meet'-tool pakken."

Als de AI de verkeerde volgorde kiest, of het verkeerde gereedschap pakt (bijvoorbeeld: "Ik ga een cirkel tekenen" terwijl ik een lijn nodig heb), dan faalt de test.

4. Wat Vonden Ze? (De Resultaten)

De onderzoekers hebben 19 van de slimste AI's ter wereld op deze test laten werken. Het nieuws is niet zo goed als we hoopten:

• De "Super-AI's" zakken: Zelfs de allerbeste modellen (zoals Gemini en GPT-4) halen maar een 50%. Dat betekent dat ze bij de helft van de complexe klussen in de war raken.
• Ze zijn te lui of te vastgeroest: De AI's proberen vaak dezelfde paar gereedschappen te gebruiken die ze al kennen, zelfs als er een beter gereedschap is. Het is alsof een timmerman altijd een hamer gebruikt, zelfs als hij een schroevendraaier nodig heeft.
• Ze plannen slecht: Ze weten niet hoe ze een lange reeks stappen moeten plannen. Ze denken vaak: "Ik doe eerst dit, en dan wel zien we wel." In plaats van: "Ik moet eerst A doen, dan B, en dan C om het juiste antwoord te krijgen."
• Open-source vs. Betaalde modellen: De dure, gesloten modellen (zoals van Google en OpenAI) doen het iets beter dan de gratis, open-source modellen, maar zelfs zij hebben moeite met het combineren van veel gereedschappen.

5. De Conclusie: We Hebben Nog Werk

De paper zegt eigenlijk: "We hebben een nieuwe, eerlijke test gemaakt die laat zien dat AI's nog niet klaar zijn om als echte 'agenten' te werken in de echte wereld."

Ze kunnen plaatjes zien, maar ze zijn nog geen meesters in het gebruik van gereedschappen. Ze moeten leren om niet alleen te kijken, maar ook te plannen en de juiste tools te combineren, net als een echte mens dat zou doen.

Kort samengevat:
VTC-Bench is de test die laat zien dat onze slimme AI's nog te veel lijken op een leerling die alleen maar naar de gereedschapskist kijkt, in plaats van een meester die de gereedschappen daadwerkelijk gebruikt om complexe klussen te klaren.

Technische samenvatting

Titel: VTC-Bench: Evaluatie van Agente Multimodale Modellen via Compositorische Visuele Tool-chaining

1. Het Probleem

Recente vooruitgang in Multimodale Grootte Taalmodellen (MLLMs) heeft hen in staat gesteld om verder te gaan dan standaard visuele vraag-antwoordtaken (VQA) en externe hulpmiddelen te gebruiken voor geavanceerde visuele taken. Echter, er blijft een fundamentele beperking bestaan: de nauwkeurige uitvoering en effectieve compositie van diverse hulpmiddelen voor complexe taken.
Bestaande benchmarks falen om deze complexiteit te vangen omdat ze:

• Beperkte sets van hulpmiddelen gebruiken.
• Simpele "tool-use" trajecten evalueren (vaak slechts één stap).
• Geen rekening houden met de noodzaak om meerdere, verschillende operaties te combineren (chaining) om realistische, complexe visuele problemen op te lossen.
  Dit leidt tot een onvolledig beeld van de werkelijke operationele grenzen van huidige modellen in praktijkscenario's.

2. Methodologie: VTC-Bench

Om deze kloof te dichten, introduceren de auteurs VisualToolChain-Bench (VTC-Bench), een uitgebreide benchmark ontworpen om de vaardigheid van MLLMs in het gebruik van hulpmiddelen te evalueren.

• Toolset: Het framework integreert 32 diverse visuele operaties afgeleid van de OpenCV-bibliotheek. Deze tools zijn georganiseerd in vier functionele modules:
  1. Geometry: Ruimtelijke transformaties (bijv. roteren, crop, zoom).
  2. Enhancement: Signaaloptimalisatie (bijv. kleurruimte-conversie, binarisatie, ruisreductie).
  3. Feature Extraction: Afleiding van structurele en semantische primitieven (bijv. randdetectie, watershed-segmentatie).
  4. Drawing: Redeneringsverificatie en attribuutkwantificatie (bijv. contourvisualisatie, oppervlaktemeting).
• Taak Taxonomie: De benchmark bevat 680 zorgvuldig samengestelde problemen die zijn opgebouwd volgens een hiërarchie van negen cognitieve niveaus, verdeeld over drie progressieve tranches:
  • Tier 1 (Visuele Perceptie Verbetering): Robuuste OCR, perceptieve restauratie (bijv. bij mist of lage licht), en aandacht-focussen.
  • Tier 2 (Kwantitatieve Visuele Schatting): Meten, kleuranalyse en tellen (vereist precieze tool-selectie).
  • Tier 3 (Compositorische Visuele Redenering): Complexe logische deductie via multi-stap tool-orkestratie (bijv. grafieken, wiskundige problemen, ruimtelijke redenering).
• Data en Evaluatie: Elke taak heeft een grond-waarheid (ground-truth) uitvoeringstraject. De evaluatie gebruikt een strikt protocol met zowel code-gedreven als interface-gedreven protocollen. De belangrijkste metriek is de Average Pass Rate (APR), aangevuld met analyses van tool-call efficiency en de lengte van de toolchains.

3. Belangrijkste Bijdragen

• Uitgebreide Toolset: De eerste benchmark die 32 OpenCV-gebaseerde tools gebruikt, wat veel diverser is dan de 0-14 tools in eerdere benchmarks.
• Focus op Compositie: Het benadrukt de noodzaak van multi-tool composition en long-horizon planning (lange reeksen stappen), in plaats van alleen het uitvoeren van een enkele tool.
• Cognitieve Hiërarchie: Een gestructureerde opbouw van taken die de evolutie meet van passieve waarneming naar actief, constructief redeneren.
• Grond-waarheid Trajecten: Voor elk van de 680 vragen is een referentie-toolchain beschikbaar, waardoor een fijne diagnostische analyse van fouten mogelijk is.

4. Resultaten

De auteurs hebben 19 toonaangevende MLLMs geëvalueerd, waaronder zowel propriëtaire (gesloten) modellen (zoals GPT-4o, GPT-o3, Gemini-3.0-Pro) als open-source modellen (zoals Qwen3-VL, DeepEyes).

• Algemene Prestaties: De prestaties zijn over het algemeen laag. Zelfs het leidende model, Gemini-3.0-Pro, bereikte slechts 51,2% op de benchmark. Dit toont aan dat de overstap van passieve perceptie naar actief, multi-stap tool-orkestreren nog een onopgeloste uitdaging is.
• Propriëtaire vs. Open-Source: Er is een aanzienlijke kloof. Propriëtaire modellen tonen aanzienlijke verbeteringen bij het gebruik van tools, terwijl open-source modellen vaak weinig winst boeken of zelfs prestatieverlies lijden.
• Tool-gebruik Patronen: Modellen vertonen een sterke neiging om terug te vallen op een smal, bekend subset van tools (zoals 'zoom in' of 'crop') in plaats van de optimale tool voor een specifieke taak te selecteren.
• Efficiëntie: Er is een groot verschil tussen de voorspelde toolchains en de grond-waarheid. Modellen neigen naar "shortcutting" (te korte ketens) of overmatig trial-and-error, wat resulteert in lage tool-usage efficiency (vaak onder de 40%).
• Foutmodi: Veelvoorkomende fouten zijn het verkeerd selecteren van tools op basis van intuïtie in plaats van visuele analyse, en het blindelings vertrouwen op tussentijdse tool-resultaten zonder verificatie.

5. Betekenis en Conclusie

VTC-Bench onthult fundamentele beperkingen in de huidige generatie agente multimodale modellen. Hoewel deze modellen goed zijn in het begrijpen van beelden, falen ze vaak in het plannen en uitvoeren van complexe reeksen visuele bewerkingen.

De studie concludeert dat:

1. Er een kritieke disconnectie bestaat tussen fundamentele visuele perceptie en actief agentisch redeneren.
2. Huidige modellen te sterk afhankelijk zijn van bekende patronen en moeite hebben met generalisatie naar ongeziene tool-combinaties.
3. VTC-Bench een rigoureuze basislijn biedt voor de toekomstige ontwikkeling van meer gegeneraliseerde visuele agenten die echt complex, real-world visuele workflows kunnen aansturen.

Kortom, VTC-Bench markeert een verschuiving in de evaluatie van MLLMs: van het testen van wat een model ziet, naar het testen van wat een model kan doen met wat het ziet via geavanceerde tool-compositie.