Technische Samenvatting: OpenVisTool

Probleemstelling

Het gebruik van visuele hulpmiddelen (visual tool use) is een cruciale capaciteit geworden voor multimodale agenten om fijnmazig bewijs te verkrijgen dat verder gaat dan vaste beeldencodings. De huidige gangbare methoden voor het trainen van deze agenten vertrouwen op outcome-based rejection sampling, waarbij door een docent gegenereerde trajecten worden behouden als ze uitvoerbaar zijn en een correct eindantwoord opleveren.

De auteurs stellen dat deze aanpak fundamenteel gebrekkig is omdat het uitkomstvaliditeit (outcome validity) verward met causale bruikbaarheid (causal utility). Een sterke docent-model kan over voldoende parametrische kennis of redeneerafkortingen beschikken om een vraag correct te beantwoorden zonder daadwerkelijk de door hem gegenereerde tool-observaties nodig te hebben. Bijgevolg leert het imiteren van dergelijke trajecten een student-model dat tool-aanroepen samenhangen met correcte antwoorden, in plaats van dat het leert dat tool-observaties het antwoord onderbouwen. Dit resulteert in "spuriële supervisie", waarbij het model correlatie leert in plaats van de causale noodzaak van het verwerven van visueel bewijs.

Methodologie: OpenVisTool Framework

Om dit aan te pakken, stellen de auteurs OpenVisTool voor, een driestaps framework ontworpen om instructieve visuele tool-gebruikstrajecten te synthetiseren. Het kerninzicht is dat een traject alleen nuttig is voor het leren als het aan twee gezamenlijke voorwaarden voldoet:

1. Uitkomstvaliditeit: Het traject moet resulteren in een correct eindantwoord.
2. Causale Bruikbaarheid: De tool-observaties moeten causaal bijdragen aan het antwoord; specifiek moet het verstrekken van deze observaties aan een vast "proefmodel" (probe model) de betrouwbaarheid van het antwoord verbeteren ten opzichte van een no-tool baseline.

Het framework werkt via de volgende stadia:

1. Moeilijkheidsgraad Screening (Difficulty Screening)

De pipeline filtert eerst de bronpool (die vijf domeinen beslaat: Chart, Table, GUI Grounding, Visual Search, en Web-to-HTML) om alleen queries te behouden die een bekwaam proefmodel (Qwen3.5-9B) niet betrouwbaar kan oplossen zonder tools.

• Mechanisme: Een proefmodel voert $K$ onafhankelijke no-tool trials uit. Als de empirische succesratio onder een drempelwaarde ($\gamma = 0.5$) ligt, wordt de query behouden.
• Doel: Zorgt ervoor dat de geselecteerde problemen daadwerkelijk externe visuele bewijslast vereisen, waardoor redundante tool-aanroepen worden vermeden.

2. Domeinspecifieke Trajectsynthese (Domain-Specific Trajectory Synthesis)

Voor de behouden queries synthetiseert een sterker docent-model (Qwen3.5-Plus) trajecten met behulp van een gedeelde visuele toolset.

• Mechanisme: In plaats van generieke prompts wordt de docent gestuurd door domeinspecifieke tool-gebruikspatronen ($P_d$) die zijn afgestemd op de visuele knelpunten van elk domein (bijv. serie-isolatie voor Charts, progressieve lokalisatie voor GUI).
• Doel: Roept coherente gedragingen op voor het verwerven van bewijs, in plaats van willekeurige of decoratieve tool-aanroepen.

3. Supervisieverificatie (Supervision Verification)

De laatste fase valideert elk kandidaattraject rigoureus tegen de tweeledige criteria.

• Check op Uitkomstvaliditeit: Verifieert of het eindantwoord correct is met behulp van domeinspecifieke evaluatoren.
• Check op Causale Bruikbaarheid: De tool-aanroepen en observaties uit het traject worden gevoed aan hetzelfde proefmodel dat in de screening werd gebruikt (waarbij de redenering en het eindantwoord van de docent worden uitgesloten om lekkage te voorkomen). De succesratio van het proefmodel met tools ($\bar{p}_{tool}$) wordt vergeleken met de no-tool succesratio ($\bar{p}_0$).
• Retentieregel: Een traject wordt alleen behouden als het uitkomst-valide is EN $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ (waarbij $\delta = 0.25$).

Belangrijkste Bijdragen

1. OpenVisTool Framework: Een nieuw driestaps pipeline dat het concept van "instructieve supervisie" operationaliseert door gezamenlijk uitkomstvaliditeit en causale bruikbaarheid af te dwingen.
2. OpenVisTool-42K: Een grootschalige, open-source dataset met 42.000 geverifieerde trajecten verspreid over vijf visuele redeneerdomeinen onder een uniforme toolset.
3. OpenVisTool-Bench: Een benchmark die is geconstrueerd om de incrementele waarde van actieve visuele bewijsverwerving te isoleren, met de focus op instanties waar toegang tot tools de prestaties materieel verbetert.
4. Empirische Validatie: Demonstratie dat finetunen op deze dataset de prestaties van visueel tool-gebruik verbetert over vier backbone-modellen (variërend van 4B tot 27B parameters), met resultaten die de leidende closed-source systemen benaderen of zelfs overtreffen.

Experimentele Resultaten

De auteurs evalueerden het framework met Qwen3.5 varianten (4B, 9B, 27B) en Qwen3-VL-8B op OpenVisTool-Bench en out-of-distribution (OOD) benchmarks (Agentic-MME, VTC-Bench).

• Prestatiewinst: Finetunen op OpenVisTool-42K leverde consistente verbeteringen op over alle modellen en domeinen. De gemiddelde winst op OpenVisTool-Bench was 10,7 punten. De meest significante verbetering werd waargenomen in Visual Search (+23,8 punten voor het 9B model), een domein dat fijne ruimtelijke redenering vereist waarbij tools de kloof tussen perceptie en taakeisen overbruggen.
• Vergelijking met SOTA: Het 9B model getraind met OpenVisTool-42K behaalde een gemiddelde score van 45,8, waarmee het de no-tool prestatie van GPT-5.5 (41,9) overtrof en dicht in de buurt kwam van de tool-geaugmenteerde prestatie van GPT-5.5 (49,0).
• Generalisatie: Modellen getraind op de multi-domein dataset vertoonden consistente winsten op OOD-benchmarks (Agentic-MME en VTC-Bench), wat suggereert dat de geleerde capaciteit een overdraagbare meta-vaardigheid is in plaats van overfitting op specifieke tool-calling patronen.
• Ablatie-studies:
  • Noodzaak van Filter: Het gebruik van zowel de uitkomstvaliditeits- als de causale bruikbaarheidsfilter presteerde beter dan het gebruik van slechts één filter of no-tool traject SFT alleen.
    • Cross-Domein Synergie: Training op de volledige multi-domein mix lostte strategieconflicten (bijv. tussen lokale cropping voor search en globale rendering voor web) beter op dan single-domain training, wat vaak leidde tot prestatievermindering in incompatibele domeinen.
  • Traject-replay: Wanneer een proefmodel werd geconditioneerd op tool-interacties gegenereerd door het met instructieve data getrainde model (zonder de redenering/antwoord te zien), presteerde het beter dan interacties gegenereerd door een model dat alleen op correctheid is getraind. Dit bevestigt dat de training een nuttiger beleid voor het verwerven van bewijs induceert.

Betekenis

Het artikel stelt dat effectief visueel tool-gebruik niet enkel wordt geleerd van succesvolle uitkomsten, maar van causaal gegronde supervisie. Door de evaluatiefocus te verschuiven van "eindigt het traject correct?" naar "doen de tool-aanroepen echt werk?", biedt OpenVisTool een recept voor het construeren van trainingsdata die modellen leren wanneer en hoe ze visueel bewijs moeten verwerven. Deze aanpak stelt kleinere open-source modellen in staat om visuele tools effectief te gebruiken, waarbij ze prestaties bereiken die concurrerend zijn met grote closed-source systemen, en stelt vast dat de kwaliteit van de cold-start data de primaire determinant is van de uiteindelijke tool-gebruik competentie van een model.