ToolVQA: A Dataset for Multi-step Reasoning VQA with External Tools

Dit paper introduceert ToolVQA, een groot multimodaal dataset met 23.000 realistische voorbeelden voor meervoudige redeneerstappen met externe hulpmiddelen, die is gegenereerd met de nieuwe ToolEngine-pijplijn en waarvoor gefinetuned 7B-modellen betere prestaties laten zien dan GPT-3.5-turbo op out-of-distribution taken.

De kern

Stel je voor dat je een slimme robot hebt die heel goed kan kijken naar foto's en vragen kan beantwoorden. Maar deze robot heeft een probleem: hij is erg slim, maar hij kan niet zelf dingen doen in de echte wereld. Hij kan niet op Google zoeken, geen rekenmachine gebruiken of geen plaatjes maken. Hij zit vast in zijn eigen hoofd.

Deze paper introduceert ToolVQA, een nieuw hulpmiddel om die robot echt slim en handig te maken. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De Robot in de Kunstgalerij

Vroeger leerden we robots met "kunstmatige" foto's en simpele vragen.

• Het oude scenario: Je laat de robot een foto zien van een perfect getekende appel en vraagt: "Hoeveel appels zijn er?" De robot telt en zegt "1".
• Het echte leven: Je laat de robot een foto zien van een rommelige keuken met een bierflesje, een broodje en een krant. Je vraagt: "Hoeveel jaar geleden sloot de brouwerij die dit bier maakte?"

Om dit te beantwoorden moet de robot:

1. De tekst op het flesje lezen (OCR).
2. De naam van het bier herkennen.
3. Op Google zoeken wanneer de brouwerij sloot.
4. Het huidige jaar aftrekken van het sluitingsjaar.

De oude robots faalden hierop omdat ze niet gewend waren om stap-voor-stap te denken en gereedschappen te gebruiken. Ze probeerden het antwoord direct te raden, wat vaak fout ging.

2. De Oplossing: ToolEngine (De Bouwmeester)

De onderzoekers bedachten een nieuwe manier om de robot te trainen, genaamd ToolEngine.

Stel je voor dat je een chef-kok wilt leren koken. In plaats van hem alleen recepten te geven, geef je hem een kookboek met voorbeelden en laat je hem oefenen in een echte keuken.

• De "Diepte-Doorzoek" (DFS): De robot krijgt een foto en mag kiezen welk gereedschap hij als eerste pakt (bijv. een vergrootglas om tekst te lezen). Daarna mag hij een ander gereedschap kiezen (bijv. een zoekmachine). Hij bouwt zo een pad van stappen op, net zoals een mens dat zou doen.
• De "Grootste Overeenkomst" (LCS): Dit is het slimme deel. Als de robot een stap heeft gezet, kijkt het systeem: "Welk voorbeeld uit ons grote boek lijkt het meest op wat we nu doen?" Het pakt dan het beste voorbeeld om de volgende stap te bepalen. Dit zorgt ervoor dat de robot niet vastloopt in een patroon, maar flexibel blijft.

3. ToolVQA: De Grote Oefenboek

Met deze methode hebben ze ToolVQA gemaakt. Dit is een gigantisch oefenboek met 23.000 voorbeelden.

• Het bevat echte foto's (geen getekende plaatjes).
• Het bevat moeilijke vragen die echt meerdere stappen vereisen.
• Het gebruikt 10 verschillende "gereedschappen" (zoals zoeken, rekenen, tekenen).

Het is alsof je de robot 23.000 keer laat oefenen in een virtuele supermarkt, bibliotheek en keuken tegelijk.

4. Het Resultaat: Een Robot die Eindelijk Kan Denken

Toen ze een bestaande robot (LLaVA-7B) trainden met dit nieuwe oefenboek, gebeurde er iets magisch:

• De robot werd niet alleen beter in dit specifieke oefenboek.
• Hij werd ook beter in nieuwe, onbekende taken (waar hij nooit eerder over had geleerd).
• Hij presteerde zelfs beter dan een van de grootste, duurste en bekendste AI-modellen ter wereld (GPT-3.5) op deze soort taken.

De Kernboodschap in één zin

De onderzoekers hebben een manier gevonden om AI niet alleen te leren kijken, maar te leren werken met gereedschappen in de echte wereld, door het te laten oefenen met realistische, meervoudige stappen in plaats van simpele raadsels.

Kortom: Ze hebben de robot niet alleen slimmer gemaakt, ze hebben hem ook handiger gemaakt, zodat hij echt nuttig kan zijn voor ons dagelijks leven.

Technische samenvatting

Probleemstelling

Huidige Large Foundation Models (LFM's) tonen veelbelovende prestaties bij het gebruik van externe tools voor Visuele Vraag-Antwoord (VQA) taken. Echter, bestaande benchmarks en datasets vertonen significante tekortkomingen wanneer het gaat om realistische, complexe scenario's:

1. Gebrek aan realisme: Veel datasets gebruiken synthetische scenario's (bijv. gegenereerde PDF's of simpele afbeeldingen) in plaats van echte, complexe visuele contexten uit de echte wereld.
2. Vereenvoudigde queries: Bestaande datasets vragen vaak om expliciete tool-gebruikshints of vereisen slechts één redeneerstap. Realistische gebruikersvragen impliceren echter vaak multi-stap redenering zonder dat de tool direct wordt genoemd.
3. Schalingsproblemen: Datasets die afhankelijk zijn van dure menselijke annotaties zijn moeilijk te schalen, terwijl geautomatiseerde methoden vaak leiden tot onnauwkeurige of te simpele data.

Dit creëert een kloof tussen de huidige capaciteiten van AI-agenten en de eisen van real-world toepassingen, waar modellen moeten kunnen redeneren over visuele input en meerdere tools moeten combineren om een antwoord te vinden.

Methodologie

Om deze kloof te overbruggen, stellen de auteurs ToolEngine en ToolVQA voor.

1. ToolEngine: Data Generatie Pipeline

ToolEngine is een geautomatiseerd systeem dat ontworpen is om hoogwaardige, multi-stap redeneringsdata te genereren vanuit ongeannoteerde afbeeldingen. Het proces omvat drie kerncomponenten:

• Real-World Example Construction: Menselijke experts construeren een kleine set voorbeelden van realistische tool-gebruikstrajecten. Deze dienen als "voorafgaande kennis" (prior knowledge) voor het model.
• Image-guided Depth-First Search (DFS): Het systeem voert een DFS uit op een graaf van beschikbare tools. Een LFM-controller (ChatGPT-4o) kiest bij elke stap de volgende tool en argumenten, geleid door de invoerafbeelding en de huidige trajectgeschiedenis. Dit zorgt voor een logische opeenvolging van tool-aanroepen.
• LCS-based Example Matching: Een innovatief mechanisme dat de Longest Common Subsequence (LCS) algoritme gebruikt. In plaats van een vast setje voorbeelden te gebruiken, matcht dit mechanisme dynamisch het huidige traject met de meest relevante menselijke voorbeelden op basis van de reeds uitgevoerde stappen. Dit zorgt voor een betere integratie van informatie en verhoogt de complexiteit van de gegenereerde vragen.

2. ToolVQA Dataset

Met behulp van ToolEngine is de ToolVQA dataset geconstrueerd:

• Omvang: 23.700 samples.
• Tools: 10 multimodale tools (o.a. OCR, Object Detection, Google Search, Calculator, Plot, TextToImage).
• Domeinen: 7 diverse domeinen (van e-commerce tot wetenschappelijke图表).
• Complexiteit: Gemiddeld 2,78 redeneerstappen per sample. De vragen zijn impliciet en vereisen dat het model zelf de noodzakelijke tools kiest en de volgorde bepaalt.
• Kwaliteitscontrole: De trainingsdata is gegenereerd met een geschatte nauwkeurigheid van 90,8% (gevalideerd door mensen), terwijl de testset volledig door mensen is geannoteerd en gefilterd (2.550 samples).

Kernbijdragen

1. ToolEngine: Een nieuwe pipeline voor het genereren van realistische, multi-stap tool-gebruikstrajecten die de beperkingen van statische voorbeeld-matching overwint door dynamische LCS-matching.
2. ToolVQA Dataset: De eerste grote-scale, multimodale dataset die specifiek is ontworpen voor real-world tool-augmented VQA, met een focus op impliciete multi-stap redenering en echte visuele contexten.
3. Finetuning Resultaten: Het finetunen van het open-source model LLaVA-7B op ToolVQA resulteert in een agent die presteert op het niveau van of zelfs beter is dan gesloten, grote modellen zoals GPT-3.5-Turbo op zowel de in-dataset testset als op vijf out-of-distribution (OOD) benchmarks.

Resultaten

De experimenten tonen de volgende inzichten:

• Prestaties op ToolVQA: Het op ToolVQA gefinetunte LLaVA-7B model behaalt een significant hogere nauwkeurigheid dan de baseline LLaVA-7B en benadert of overtreft GPT-3.5-Turbo.
• Generalisatie (OOD): Het gefinetunte model presteert beter dan GPT-3.5-Turbo op vijf OOD-datasets (TextVQA, TallyQA, Infoseek, GTA, TEMPLAMA), wat aantoont dat het model niet alleen de dataset heeft "uitgeleerd", maar echte tool-gebruiksvaardigheden heeft verworven.
• Ablatie Studies:
  • Het verwijderen van de ImageCaption tool leidt tot een drastische daling in prestaties, wat aangeeft dat visuele begripsvorming cruciaal is voor de initiële stap.
  • Het verwijderen van de LCS-matching verlaagt de nauwkeurigheid van 90,8% naar 41,6%, wat bewijst dat dynamische voorbeeldselectie essentieel is voor kwalitatieve data.
• Foutanalyse: De belangrijkste fouten bij het gefinetunte model zijn nog steeds gerelateerd aan het voorspellen van tool-argumenten (bijv. het missen van trefwoorden in zoekopdrachten) en het samenvatten van antwoorden uit tool-output. Dit wijst op een beperking in het dynamisch verwerken van nieuwe informatie uit tools, ondanks het finetunen.

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van robuuste AI-agenten:

• Realisme: ToolVQA verschuift de focus van synthetische, simpele taken naar complexe, real-world scenario's die beter overeenkomen met menselijk gedrag.
• Open Source Concurrentie: Het bewijst dat open-source modellen (zoals LLaVA-7B), wanneer ze op de juiste manier worden gefinetuned met hoogwaardige data, kunnen concurreren met gesloten, grote modellen (zoals GPT-3.5) in complexe tool-use taken.
• Toekomstige Richting: De dataset en de methodologie bieden een solide basis voor het trainen van de volgende generatie multimodale agenten die autonoom complexe problemen kunnen oplossen door visuele waarneming te combineren met het gebruik van diverse externe tools.

Samenvattend introduceert ToolVQA een nieuwe standaard voor het evalueren en trainen van visuele taalmodellen in realistische tool-gebruiksscenario's, waarbij de nadruk ligt op impliciete multi-stap redenering en generalisatie.