💬 NLP

AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning

AdaReasoner is een familie van multimodale modellen die staat van de kunst bereikt op het gebied van visuele redenering en generalisatie naar ongeziene hulpmiddelen door tool-orchestratie te leren als een algemene vaardigheid via een schaalbare datapipeline, Tool-GRPO reinforcement learning en een adaptief mechanisme voor dynamische tool-regulering.

Oorspronkelijke auteurs: Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyang Song, Haoyu Sun, Jiawei Gu, Linjie Li, Luxin Xu, Ranjay Krishna, Yu Cheng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar ietwat onhandige assistent hebt die probeert een complexe puzzel op te lossen, zoals het navigeren door een doolhof of het repareren van een kapotte afbeelding. Soms loopt deze assistent vast omdat ze de details niet duidelijk kunnen zien, of omdat ze de regels van het doolhof vergeten zijn.

AdaReasoner is een nieuwe manier om deze assistent te trainen, zodat ze stoppen met proberen alles in hun hoofd te doen en in plaats daarvan precies weten wanneer ze hulp moeten vragen, welke tool ze moeten vragen, en hoe ze die moeten gebruiken.

Hier is de uitleg van hoe het werkt, gebruikmakend van eenvoudige analogieën:

1. Het Probleem: De "Alles-Zelf-Doen"-valstrik

Huidige AI-modellen zijn als studenten die de opdracht krijgen om een wiskundeprobleem op te lossen met alleen hun brein. Als het probleem een rekenmachine vereist, kan de student het antwoord raden of proberen de som in hun hoofd uit te rekenen en daarbij fouten maken. Ze weten niet wanneer ze een rekenmachine moeten pakken, of ze pakken de verkeerde (zoals een liniaal in plaats van een rekenmachine).

2. De Oplossing: Een "Tool-Orkest"

De onderzoekers hebben AdaReasoner ontwikkend, wat tools (zoals een vergrootglas, een kaart of een rekenmachine) behandelt als instrumenten in een orkest. De AI is niet langer alleen een solist; het is een dirigent.

Het weet wanneer het moet spelen: Het leert dat voor sommige taken een "vergrootglas"-tool nodig is om in te zoomen, maar voor andere taken een "liniaal"-tool om een lijn te treken.
Het weet wanneer het moet stoppen: Als een tool niet helpt, leert het de tool neer te leggen en een andere aanpak te proberen.
Het past zich aan nieuwe instrumenten aan: Zelfs als je de AI een gloednieuwe tool geeft die het nog nooit heeft gezien, kan het ontdekken hoe het die moet gebruiken door simpelweg de instructiehandleiding (de beschrijving van de tool) te lezen.

3. Hoe ze het hebben getraind (Het Drie-Stappen-Recept)

Om de AI deze vaardigheden aan te leren, gebruikten de onderzoekers een trainingsproces van drie stappen:

Stap 1: De "Gescripte Repetitie" (Tool Cold Start)
Stel je een dramadocent voor die een acteur een perfect script geeft voor een toneelstuk. De AI krijgt hoogwaardige voorbeelden te zien van hoe problemen stap voor stap worden opgelost, waarbij tools correct worden gebruikt. Dit leert het de basis "zetten" en hoe het de tools moet vasthouden.
- Analogie: Het is also wordt een kok precies laten zien hoe je een ui snijdt voordat je hem laat koken.
Stap 2: Het "Trial and Error"-spel (Tool GRPO)
Zodra de AI de basis kent, laten ze het een spel spelen waarbij het punten krijgt voor het oplossen van de puzzel.
- Als het de juiste tool op het juiste moment gebruikt, krijgt het een grote beloning.
- Als het een tool gebruikt die niet helpt, of gokt zonder te controleren, krijgt het een kleinere beloning of een straf.
- Analogie: Dit is als een videogame waarbij de AI leert dat het gebruik van een "jetpack" om een rivier over te steken geweldig is, maar het gebruik van een "jetpack" om een deur te openen een verspilling van tijd is. Het leert zijn strategie te optimaliseren.
Stap 3: De "Geheime Code"-uitdaging (Adaptive Learning)
Om ervoor te zorgen dat de AI niet alleen de namen van de tools uit het hoofd leert (zoals het onthouden dat "Tool A" altijd voor meten is), veranderden de onderzoekers tijdens de training willekeurig de namen en beschrijvingen van de tools.
- Analogie: Stel je voor dat je iemand leert autorijden, maar elke dag verander je de naam van het gaspedaal van "Gas" naar "Go", "Fuel" of "X7a2". De student moet leren wat de pedaal doet op basis van de functie, niet op basis van de naam. Dit zorgt ervoor dat de AI elke tool kan afhandelen, zelfs als hij nog nooit eerder een tool heeft gezien.

4. De Resultaten: Klein Brein, Grote Vaardigheden

Het meest opwindende deel van het paper is dat ze een relatief klein AI-model (een "7B" model, wat vergelijkbaar is met een slimme student) deze tool-vaardigheden hebben gegeven.

Het resultaat: Dit kleine model werd zo goed in het gebruiken van tools dat het veel grotere, "closed-source" modellen (zoals GPT-5 en Claude Sonnet 4) versloeg bij moeilijke visuele puzzels.
De analogie: Het is alsof je een fiets een set high-tech versnellingen en een GPS geeft. Plotseling kan de fiets tegen een Ferrari racen omdat de fiets precies weet hoe hij door het terrein moet navigeren, terwijl de Ferrari gewoon blindelings rijdt.

5. Praktijkvoorbeelden uit het paper

Het paper laat zien hoe de AI de volgende zaken doet:

Navigeren door een doolhof: In plaats van te gokken, gebruikt het een tool om de begin- en eindpunten te vinden, en gebruikt het vervolgens een "pathfinding"-tool om het perfecte pad te tekenen, waarbij het gaten vermijdt.
Een legpuzzel oplossen: Het gebruikt een tool om de ontbrekende zwarte plek in een afbeelding te vinden, en probeert vervolgens verschillende puzzelstukjes in te voegen totdat er één perfect past.
Een website lezen: Het gebruikt een "crop"-tool om in te zoomen op een specifieke knop en een "OCR"-tool (zoals een digitaal oog) om de tekst op de knop te lezen, om zo precies uit te rekenen hoe het iets kan kopen.

Samenvatting

AdaReasoner leert AI-modellen om te stoppen met proberen intern perfect te zijn in alles. In plaats daarvan leert het hen om slimme managers te zijn die weten wanneer ze een expert-tool moeten oproepen om het zware werk te doen. Door te leren zich aan te passen aan nieuwe tools en taken, kan zelfs een kleine AI complexe visuele problemen oplossen die veel grotere, duurdere systemen overtreft.

Technische Samenvatting: DAREASONER (AdaReasoner)

Probleemstelling

Multimodale Large Language Models (MLLM's) hebben vaak moeite met complexe visuele redeneertaken die fijne perceptie, meerstapsplanning en tussenliggende verificatie vereisen. Hoewel mensen vertrouwen op externe hulpmiddelen om problemen op te lossen die buiten hun directe cognitieve of perceptuele vermogens liggen, missen huidige MLLM's het vermogen om adaptief hulpmiddelen te gebruiken. Bestaande benaderingen vertrouwen doorgaans op rigide, vooraf gedefinieerde aanroeppatronen of zijn beperkt tot trajecten met één enkel hulpmiddel. Bijgevolg falen ze in het leren wanneer een hulpmiddel te gebruiken, welk hulpmiddel te selecteren, of hoe meerdere hulpmiddelen dynamisch te coördineren, vooral wanneer ze worden geconfronteerd met ongeziene hulpmiddelen of nieuwe taakverdelingen. De kernuitdaging is om MLLM's in staat te stellen toolselectie en orchestratie te behandelen als een algemene redeneervaardigheid in plaats van een taakspecifiek gedrag.

Methodologie

De auteurs introduceren AdaReasoner, een framework dat is ontworpen om adaptieve, meerstufige tool-planning mogelijk te maken. De methodologie is gebouwd op drie kerninnovaties:

1. Hoogwaardige Trajectdata-curatie (Tool Cold Start - TC)

Om een robuuste basis te leggen, stellen de auteurs een datapijplijn voor die hoogwaardige, meerstufige redeneertrajecten synthetiseert. Dit proces omvat:

Abstract Trajectontwerp: Het handmatig ontwerpen van optimale probleemoplossende blauwdrukken voor taken zoals Visual Spatial Planning (VSP), Jigsaw-puzzels en GUI QA.
Integratie van Complexe Scenario's: Het doelbewust opnemen van reflectie en backtracking (waarbij het model suboptimale uitkomsten corrigeert) en scenario's met expliciete tool-fouten (waarbij hulpmiddelen foutmeldingen teruggeven, wat het model dwingt om te vertrouwen op intrinsieke capaciteiten).
CoT-generatie: Het gebruik van krachtige LLM's om Chain-of-Thought (CoT) redenering te genereren die tool-aanroepen verbindt, waardoor het model niet alleen leert wat aan te roepen, maar ook waarom en hoe er tussen stappen wordt geredeneerd.

2. Tool-GRPO (Tool Group Relative Policy Optimization - TG)

Het framework breidt het Group Relative Policy Optimization (GRPO) algoritme uit om meerstufige tool-calling trajecten te verwerken. De beloningsfunctie is ontworpen om langetermijnstrategische planning te optimaliseren:

Multi-turn Beloningsaccumulatie: De totale beloning ( $R_{total}$ ) combineert een Format Reward (strikte naleving van syntaxis), een Tool Reward (hiërarchische scoring op basis van structuur, naam en parametercorrectheid), en een Accuracy Reward (gebaseerd op het uiteindelijke antwoord).
Adaptieve Beloning voor Toolgebruik: Een asymmetrische beloningsstructuur moedigt beknopte redenering aan. Als de uiteindelijke voorspelling correct is, wordt het model beloond ongeacht het gebruik van tools. Als de voorspelling onjuist is, hangt de beloning af van de kwaliteit van het toolgebruik, waarbij gedeeltelijke krediet wordt gegeven voor informatieve tool-gebaseerde redenering terwijl ongefundeerd gokken wordt bestraft. Dit behandelt tools als een fallback-mechanisme onder onzekerheid in plaats van een verplichte stap.

3. Adaptief Leren (ADL) voor Generalisatie

Om overfitting op specifieke tool-identifiers te voorkomen en de generalisatie naar ongeziene tools te verbeteren, introduceren de auteurs een adaptief leermechanisme:

Token-Level Randomisatie: Toolnamen en parameternamen worden vervangen door willekeurige alfanumerieke reeksen (bijv. GetWeather $\rightarrow$ Func_X7a2). Dit dwingt het model om functionaliteit uitsluitend af te leiden uit semantische beschrijvingen en context.
Semantische Parafrasering: Tool- en argumentbeschrijvingen worden geherformuleerd met behulp van een LLM (Gemini 2.5 Flash) om de syntactische structuur te wijzigen terwijl de functionele betekenis behouden blijft, wat ervoor zorgt dat het model robuust semantisch begrip leert in plaats van specifieke formuleringen.

Belangrijkste Bijdragen

Een Omvattende Methode voor Tool-Augmented Modellen: Het artikel stelt een verenigde pijplijn voor die een data-curatie-recept voor meerstufige planning, een RL-framework (Tool-GRPO) voor interactie en een adaptieve leermethode om de generaliseerbaarheid te verbeteren, integreert.
AdaReasoner Model Familie: De introductie van een nieuwe familie van state-of-the-art modellen die in staat zijn tot complexe tool-planning. Deze modellen vertonen zelf-adaptieve gedragingen, waarbij ze leren om autonoom nuttige tools te adopteren, irrelevante tools te verwerpen en de frequentie van gebruik te moduleren op basis van taakeisen zonder expliciete supervisie voor deze specifieke gedragingen.
Prestaties en Generalisatie: Het werk demonstreert dat kleinere open-source modellen (bijv. 7B parameters) prestaties kunnen leveren die competitief zijn met of superieur aan leidende propriëtaire systemen (bijv. GPT-5, Claude Sonnet 4) op gestructureerde redeneertaken. Het stelt vast dat effectieve tool-orchestratie de prestatie-bottleneck kan verschuiven van model schaal naar tool nut.

Experimentele Resultaten

De auteurs evalueerden AdaReasoner op diverse benchmarks, waaronder Visual Spatial Planning (VSP, VSPO), Jigsaw-puzzels (Jigsaw-COCO, BLINK-J) en GUI QA (GUIChat, WebMMU).

Prestatiewinst: De 7B-variant van AdaReasoner bereikte een gemiddelde verbetering van +24,9% ten opzichte van het basismodel over de benchmarks heen. Specifiek bereikte het 97,64% op VSP en 96,60% op Jigsaw, waarmee het GPT-5 (80,10% op Jigsaw) en Claude Sonnet 4 overtrof.
Adaptief Toolgebruik: In ablatiestudies toonde het model het vermogen om:
- Nuttige Tools te Adopteren: De aanroepfrequentie van nuttige tools (bijv. A* voor padvinden) te verhogen wanneer deze tijdens inferentie worden geïntroduceerd.
- Irrelevante Tools te Verwerpen: Het gebruik van tools die niet bijdragen aan de taak (bijv. A* voor verificatietaken) te onderdrukken na RL-training.
- Frequentie te Moduleren: Het aantal tool-aanroepen per sample dynamisch aan te passen op basis van de complexiteit van de taak.
Generalisatie: Wanneer geëvalueerd op ongeziene tool-definities (via randomisatie) en ongeziene taken (zero-shot transfer), behield AdaReasoner een hoge nauwkeurigheid en succesratio in toolgebruik, terwijl andere methoden significante prestatievermindering leden.
Schaalonafhankelijkheid: De tool-augmented benadering stelde zowel 3B als 7B modellen in staat om bijna perfecte nauwkeurigheid op VSP te bereiken, wat suggereert dat tool-nut de intrinsieke schaalbeperkingen kan overwinnen.

Betekenis

Het artikel betoogt dat de primaire bottleneck in multimodale redenering verschuift van de interne redeneercapaciteit van het model naar de effectiviteit van de tool-planning. Door toolgebruik te behandelen als een generaliseerbare redeneervaardigheid in plaats van een vaste capaciteit, stelt AdaReasoner kleinere, open-source modellen in staat om autonoom strategieën voor toolgebruik samen te stellen. Deze aanpak stelt MLLM's in staat om complexe, meerstaps visuele problemen aan te pakken met een niveau van adaptiviteit en robuustheid dat voorheen alleen bij grotere propriëtaire systemen werd gezien, waardoor de capaciteitskloof tussen open-source en gesloten systemen in gestructureerde redeneerdomeinen effectief wordt overbrugd.