🤖 AI

Simulating Complex Multi-Turn Tool Calling Interactions in Stateless Execution Environments

Dit artikel introduceert DiGiT-TC, een nieuwe methode voor gegevensgeneratie die complexe multi-turn tool-call-conversies synthetiseert voor stateless-uitvoeringsomgevingen door tool-calls impliciet te vertegenwoordigen binnen gebruikersverzoeken, waardoor effectieve tuning van kleinere taalmodellen mogelijk wordt zonder afhankelijkheid van stateful-validatie.

Oorspronkelijke auteurs: Maxwell Crouse, Ibrahim Abdelaziz, Kshitij Fadnis, Siva Sankalp Patel, Kinjal Basu, Chulaka Gunasekara, Sadhana Kumaravel, Asim Munawar, Pavan Kapanipathi

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Maxwell Crouse, Ibrahim Abdelaziz, Kshitij Fadnis, Siva Sankalp Patel, Kinjal Basu, Chulaka Gunasekara, Sadhana Kumaravel, Asim Munawar, Pavan Kapanipathi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robotbutler te leren hoe hij complexe klusjes moet uitvoeren, zoals "Zoek een film, controleer de vertoningstijden en koop een kaartje voor de eerste beschikbare".

In de echte wereld, als je deze robot zou testen, zou je hem die commando's daadwerkelijk laten uitvoeren in een echt bioscoopsysteem. Je zou hem de database laten controleren, de resultaten zien en vervolgens het kaartje kopen. Als het lukt, weet je dat hij het goed heeft geleerd. Dit is wat de meeste AI-onderzoekers tot nu toe hebben gedaan: ze bouwden "speeltuinen" waar de robot daadwerkelijk dingen kan aanraken en veranderen (een toestand-afhankelijke omgeving).

Het Probleem:
Maar wat als je de robot de echte wereld niet kunt laten aanraken? Misschien is de data te gevoelig (zoals een geheime klantenlijst van een bank), of misschien is de "speeltuin" te duur om te bouwen. In deze gevallen kun je de robot niet testen door hem het commando te laten uitvoeren. Je moet hem leren met alleen een lijst met instructies (specificaties van hulpmiddelen), zonder ooit de daadwerkelijke resultaten te zien.

De meeste eerdere methoden probeerden dit na te bootsen door te doen alsof de robot de commando's had uitgevoerd. Maar ze misten een cruciaal onderdeel van menselijke conversatie: Impliciete Stappen.

Wanneer je een menselijke assistent vraagt "Boek een kaartje voor de eerste vertoningstijd", zeg je niet: "Voer eerst het hulpmiddel 'controleer vertoningstijden' uit, en voer daarna het hulpmiddel 'boek kaartje' uit." Je geeft gewoon het doel. De assistent weet dat hij eerst moet controleren, zelfs al heb je dat niet gezegd. Dit is een impliciete hulpmiddeloproep. Eerdere methoden hadden moeite om trainingsdata te creëren die robots leerden deze verborgen stappen zelfstandig te achterhalen.

De Oplossing: DiGiT-TC (De "Reverse Engineer"-methode)
De IBM-onderzoekers introduceerden een nieuwe methode genaamd DiGiT-TC. In plaats van de robot te vragen "Wat moet ik als volgende doen?", draaiden ze de rollen om.

Denk er als een filmregisseur die achteruit werkt:

De Regisseur Schrijft Eerst het Script: Het systeem vraagt eerst een krachtige AI om de hele reeks acties op te schrijven die de robot moet uitvoeren om een probleem op te lossen (bijv. Controleer vertoningstijden -> Boek kaartje).
De "Redacteur" Verbergt de Aanwijzingen: Het systeem treedt vervolgens op als een slimme redacteur. Het neemt dat volledige script en beslist welke stappen verborgen moeten blijven voor de "gebruiker". Het houdt het einddoel (Boek een kaartje) zichtbaar, maar verbergt de tussenstap (Controleer vertoningstijden).
De "Vertaler" Schrijft de Prompt: Nu vraagt het systeem de AI om een gebruikersverzoek te schrijven dat alleen overeenkomt met de zichtbare delen. Dus de gebruiker zegt: "Boek een kaartje voor de eerste vertoningstijd", en de AI weet dat hij de verborgen stap "Controleer vertoningstijden" zelf moet achterhalen.
De "Dubbelcheck" (Terugvertaling): Om ervoor te zorgen dat de AI niet in de war raakte, voert het systeem een "omgekeerde test" uit. Het neemt het verzoek van de gebruiker ("Boek een kaartje...") en vraagt de AI om het vanaf nul op te lossen. Als de AI precies dezelfde verborgen stappen bedenkt als het originele script, is de data goed. Als de AI het fout doet, wordt de data weggegooid.

Waarom Dit Belangrijk Is:
Door deze "reverse engineering"-aanpak te gebruiken, creëerden de onderzoekers een enorme bibliotheek met trainingsdata waarin de robot leert de gaten op te vullen. Ze testten dit op standaard "examen"-benchmarks (zoals BFCL en τ-bench) en ontdekten dat:

Robots die op deze data werden getraind aanzienlijk beter werden in het uitvoeren van meerstaps taken.
Ze even goed of beter presteerden dan robots die waren getraind op veel duurdere data gegenereerd door top-tier, gesloten bronmodellen.
De methode werkt zelfs zonder een echte "speeltuin" om de robot in te testen, waardoor het veilig is voor gevoelige omgevingen zoals banken of ziekenhuizen.

De Conclusie:
Het artikel beweert dat door data "achteruit" te genereren – beginnend met de oplossing en werkend naar de vraag – ze kleinere, goedkopere AI-modellen kunnen leren complexe, meerstaps taken even goed te hanteren als de grote, dure modellen, zonder dat ze tijdens het trainingsproces toegang hoeven te hebben tot echte, gevoelige datasystemen. Ze hebben al hun code en data openbaar gemaakt voor iedereen om te gebruiken.

Technische Samenvatting: Het Simuleren van Complexe Meerdere-Ronde Tool-Calling Interacties in Stateless Execution Environments

Probleemstelling

Synthetische data is een cruciale resource voor het afstemmen van kleinere, kosteneffectieve Large Language Models (LLM's) om complexe meerdere-ronden tool-calling te verwerken. Bestaande kaders voor het genereren van dergelijke data gaan echter vaak uit van de beschikbaarheid van een stateful execution environment. In deze omgevingen wordt de geldigheid van een interactie bepaald door of de uitvoeringsstatus overeenkomt met een vooraf gespecificeerd doel.

Deze aanname faalt in veel real-world scenario's, met name in enterprise-omgevingen waar datasbeveiliging priviligieerde toegang tot live backends verbiedt, of wanneer toolspecificaties worden samengesteld uit meerdere bronnen zonder een uniforme status. Bovendien worden veel top-tier open taalmodellen getraind op synthetische, door LLM's gegenereerde tools die alleen gesimuleerd kunnen worden. Huidige methoden worstelen om betekenisvol complexe, meerdere-ronden interacties met impliciete tool-aanroepen (waarbij de gebruikersvraag niet expliciet elke benodigde tool specificeert) te genereren zonder toegang tot een echte, stateful backend.

Methodologie: DiGiT-TC

De auteurs introduceren DiGiT-TC (Data Generation and Transformation for Tool-Calling), een kader ontworpen om synthetische meerdere-ronden tool-calling gesprekken te produceren die de complexiteit van stateful exploratie nabootsen, ondanks dat ze opereren in een stateless omgeving. De kerninnovatie is een "flip" in het generatieproces: in plaats van eerst een gebruikersvraag te genereren en daaruit tool-aanroepen af te leiden, genereert DiGiT-TC eerst een reeks tool-aanroepen en construeert vervolgens een overeenkomstige gebruikersvraag.

Het kader werkt via de volgende fasen:

Initialisatie: Een gesprek wordt geïnitieerd met een lege berichtenlijst, een gesamplede set tools en een gebruikerspersona. De persona wordt verrijkt met specifieke details (bijvoorbeeld locatie, beroep) die relevant zijn voor de gesamplede tools.
Plan Distillatie:
- Een LLM genereert een ruwe reeks tool-aanroepen ( $S$ ) op basis van de persona en tools. Deze aanroepen bevatten inter-tool referenties (bijvoorbeeld het gebruik van Pythonische puntnotatie zoals $1.output om data tussen aanroepen door te geven).
- De reeks wordt behandeld als een Directed Acyclic Graph (DAG). Het kader distilleert dit tot een beknoptere subreeks door het grootste verbonden component te selecteren en redundante of niet-verbonden tool-aanroepen te filteren.
Vraaggeneratie (Selectie van Impliciete Tool-aanroepen):
- De gedistilleerde reeks $S$ wordt gepartitioneerd in twee sets: Expliciet ( $E$ ) en Impliciet ( $I$ ).
- Een algoritme selecteert willekeurig een doelgrootte voor de impliciete set. Het verwijdert iteratief elementen uit $S$ die geen afhankelijkheden zijn van andere elementen, zodat de overgebleven impliciete set tool-aanroepen bevat die noodzakelijk zijn voor de expliciete set maar niet direct door de gebruiker worden genoemd.
- De LLM genereert een gebruikersvraag ( $r$ ) die expliciet gericht is op de reeks $E$ , terwijl het voorkomen wordt dat de tools in $I$ direct worden genoemd.
- Validatie: Om ervoor te zorgen dat de gebruikersvraag geen triviale transcriptie is van de tool-reeks, berekent het kader de Kendall's $\tau_b$ correlatiecoëfficiënt tussen de rang van argumenten in de tool-aanroepen en hun verschijningsvolgorde in de gebruikersvraag. Als de correlatie te hoog is (wat wijst op een lineaire, expliciete mapping), wordt het voorbeeld gefilterd.
Back-Vertaling:
- Om ruis te mitigeren en ervoor te zorgen dat de gegenereerde gebruikersvraag daadwerkelijk leidt tot de beoogde tool-reeks, voert het kader een back-vertalingsstap uit.
- Een LLM wordt geprompt om een nieuwe tool-reeks ( $S'$ ) te voorspellen op basis uitsluitend van de gegenereerde gebruikersvraag ( $r$ ) en de beschikbare tools.
- Het systeem valideert of de "bladeren" (eindresultaten) van de originele reeks $S$ vertegenwoordigd zijn in $S'$ . Als de voorwaarde leaves(S) \ leaves(S') = ∅ faalt, wordt het voorbeeld verworpen.
Beëindiging en Augmentatie:
- Uitvoering & Samenvatting: De tool-aanroepen worden gesimuleerd (uitgevoerd via een LLM) om variabele waarden te substitueren en een samenvatting van de resultaten te genereren.
- Foutaugmentatie: Het kader introduceert complexiteit door twee soorten fouten te simuleren:
  - Menselijke Fouten: Onoplosbare of onvolledige gebruikersvragen die verduidelijking vereisen.
  - Tool-uitvoeringsfouten: Gesimuleerde onjuiste tool-aanroepen gevolgd door een hint (gegenereerd door een LLM) die het model begeleidt naar de juiste oplossing.

Belangrijkste Bijdragen

Stateless Generatie van Impliciete Aanroepen: DiGiT-TC is het eerste kader dat systematisch complexe meerdere-ronden interacties met impliciete tool-aanroepen genereert zonder een stateful execution backend te vereisen.
Selectieve Generatiestrategie: Door de generatievolgorde om te draaien (Tool-aanroepen $\to$ Gebruikersvraag), krijgt de methode fijne controle over welke aanroepen expliciet zijn en welke impliciet.
Ruismitigatie via Back-Vertaling: De introductie van een back-vertalingsstap zorgt ervoor dat de gegenereerde gebruikersvragen robuust zijn en trouw corresponderen met de beoogde tool-reeksen, waardoor hallucinaties of misalignementen worden gefilterd.
Open-Source Ecosysteem: De auteurs maken het data-generatiekader, de prompts en het resulterende dataset (5.000 datapunten) volledig open-source, allemaal geproduceerd met GPT-OSS-120B, een licentie-vriendelijk, open-weights teacher-model.

Experimentele Resultaten

De auteurs hebben DiGiT-TC geëvalueerd op drie standaard benchmarks: BFCL (Berkeley Function Calling Leaderboard), $\tau$ -bench, en ACEBench.

Prestatiewinst: Het fine-tunen van basismodellen (bijvoorbeeld Granite-4.1-3B, Llama3.1-8B-Inst) met DiGiT-TC-data resulteerde in significante prestatieverbeteringen (variërend van 6 tot 25 procentpunten) ten opzichte van de basismodellen.
Benchmark Vergelijking:
- In de BFCL Multi-Turn categorie behaalde DiGiT-TC (met Llama3.1-8B-Inst) 35,5% nauwkeurigheid, wat beter presteerde dan andere open-data benaderingen zoals ToolWeave (25,0%) en Magnet (26,5%), en dicht in de buurt kwam van de prestaties van modellen getraind op frontier-data (bijvoorbeeld ToolACE-MT met 40,3%).
- De methode toonde sterke generaliseerbaarheid over $\tau$ -bench en ACEBench, en presteerde consequent beter dan eerdere benaderingen die uitsluitend waren getraind op open-source data.
Ablatiestudies:
- Het verwijderen van Impliciete Tool-aanroepen veroorzaakte een daling van 4% in prestaties, wat hun noodzaak bevestigt voor complex redeneren.
- Het verwijderen van Back-Vertaling veroorzaakte een daling van 3%, wat de rol ervan in het verminderen van ruis benadrukt.
- Het gebruik van een kleiner teacher-model (GPT-OSS-20B) resulteerde in een daling van ongeveer 2%, wat suggereert dat hoewel grotere modellen helpen, de methode effectief blijft met kleinere, toegankelijke modellen.

Betekenis en Claims

Het paper claimt dat DiGiT-TC een kritieke kloof aanpakt in de ontwikkeling van agentic AI: het vermogen om kleinere modellen te trainen op complexe, meerdere-ronden tool-calling data zonder de privacyrisico's en kosten die gepaard gaan met toegang tot echte, stateful backends.

Privacy en Schaalbaarheid: Door uitsluitend te vertrouwen op toolspecificaties en open-weights modellen, vermijdt de aanpak de data-beveiligingsrisico's van het interface met enterprise backends.
Kosteneffectiviteit: De auteurs merken op dat het gebruik van GPT-OSS-120B aanzienlijk goedkoper is dan het gebruik van frontier-modellen zoals GPT-4o (ongeveer $0,015 per voorbeeld versus aanzienlijk hogere kosten voor GPT-4), waardoor hoogwaardige synthetische data-generatie toegankelijk wordt voor een bredere groep praktici.
State-of-the-Art voor Open Modellen: Het werk zet een nieuwe state-of-the-art voor meerdere-ronden tool-calling prestaties onder modellen die uitsluitend zijn getraind op data geproduceerd door open-source, open-weights teacher-modellen.

De auteurs erkennen bescheiden dat voor taken waarbij een volledige simulatie van de status van een systeem beschikbaar is, methoden die die status benutten mogelijk nog steeds superieur zijn. DiGiT-TC biedt echter een robuust, herhaalbaar proces voor het genereren van hoogwaardige trainingsdata bij afwezigheid van dergelijke omgevingen.