MidTool: Mid-training Data Synthesis for Agentic Tool Use

Grote taalmodellen zijn de motoren achter een nieuwe generatie digitale assistenten, in staat om te lezen, te schrijven en te redeneren met een menselijke vloeiendheid. Om deze systemen werkelijk nuttig te maken, moeten ze meer doen dan alleen vragen beantwoorden; ze moeten in staat zijn om te handelen. Dit betekent weten wanneer ze naar een hulpmiddel moeten grijpen, zoals een rekenmachine, een zoekmachine of een software-interface, en dit vervolgens correct gebruiken om een probleem op te lossen. In het huidige landschap van kunstmatige intelligentie hebben onderzoekers de mogelijkheid om hulpmiddelen te gebruiken grotendeels behandeld als een laatste stap in de training. Ze nemen een krachtig, vooraf getraind model en leren het vervolgens specifiek hoe het functies kan aanroepen of met software kan interageren via een proces van fine-tuning. Deze aanpak legt echter een zware last op die laatste fase, waarbij het model wordt gedwongen om complexe gedragingen zoals het plannen van een reeks acties of het herstellen van ontbrekende informatie allemaal tegelijkertijd te leren, vaak zonder een diepe fundering van hoe die hulpmiddelen eigenlijk werken in de echte wereld.

Een team van onderzoekers van de University of Washington en Snowflake heeft een ander pad voorgesteld. Zij suggereren dat het vermogen om hulpmiddelen te gebruiken eerder in het leven van het model moet worden gecultiveerd, tijdens een middelste trainingsfase die tussen de initiële brede leerfase en de uiteindelijke gespecialiseerde instructie in zit. Ze noemen dit proces "mid-training". Om dit idee te testen, bouwden ze een enorme, aangepaste dataset die specifiek is ontworpen om modellen te leren hoe ze met hulpmiddelen moeten interageren. Ze noemden hun project MidTool. Door deze gespecialiseerde data aan hun modellen te voeren vóór de laatste trainingsstappen, ontdekten ze dat de modellen effectiever leerden om hulpmiddelen te gebruiken, met een beter begrip van het plannen van acties en het afhandelen van fouten, dan modellen die alleen de standaard eindtraining ontvingen.

De onderzoekers begonnen met het verzamelen van een diverse collectie materialen die de ruwe kennis bevatten over hoe hulpmiddelen werken. Ze zochten niet alleen naar voorbeelden van het gebruik van hulpmiddelen; ze verzamelden de handleidingen, de code, de documentatie en de technische specificaties die beschrijven hoe deze hulpmiddelen bedoeld zijn te functioneren. Dit omvatte miljoens webpagina's, duizenden technische documenten in PDF-formaat, enorme repositories van computercode en gestructureerde definities van real-world application programming interfaces. Ze behandelden deze bronnen als de "leerboeken" voor hun AI-studenten. Van dit ruwe materiaal creëerden ze een trainingsmix bestaande uit 20,3 miljard tokens, een maatstaf voor de hoeveelheid verwerkte tekst. Deze mix was zorgvuldig gebalanceerd, waarbij ongeveer 42 procent afkomstig was van webdocumenten, 26 procent van code, 23 procent van PDF's en 9 procent van directe, gesynthetiseerde voorbeelden van agenten die hulpmiddelen gebruiken.

Om deze statische collectie documenten om te zetten in een dynamische leerervaring, gebruikten de onderzoekers een tweeledige aanpak om trainingsvoorbeelden te genereren. De eerste methode richtte zich op gronding (grounding). Ze namen technische documenten en code en vroegen het model om scenario's te bedenken waarin een gebruiker de beschreven hulpmiddelen zou moeten gebruiken. Het model moest leren om een slordige handleiding of een complex codestuk te lezen, te identificeren welke hulpmiddelen beschikbaar zijn en uit te zoeken welke informatie nodig is om ze te gebruiken. Dit leerde het model om de "affordances" van een hulpmiddel te herkennen—wat het in staat is te doen—gebaseerd op de context. De tweede methode richtte zich op uitvoering (execution). Hierbij gebruikten de onderzoekers echte tool-definities om stapsgewijze verhalen te genereren van een agent die een probleem oplost. Deze verhalen bevatten de agent die een plan maakt, een hulpmiddel aanroept, een reactie ontvangt en vervolgens beslist wat de volgende stap is. Cruciaal was dat deze voorbeelden ook scenario's bevatten waarin informatie ontbrak of het hulpmiddel faalde, wat het model leerde hoe het moet herstellen en om verduidelijking moet vragen in plaats van op te geven of te gokken.

Het team testte deze aanpak met twee versies van een basis taalmodel, één met 4 miljard parameters en een andere met 8 miljard. Ze trainden deze modellen op hun nieuwe MidTool-dataset en pasten vervolgens de standaard eindtrainingsstappen toe die door andere onderzoekers worden gebruikt. Vervolgens onderwierpen ze de modellen aan drie verschillende benchmarks die meten hoe goed een AI hulpmiddelen kan gebruiken. Deze tests varieerden van eenvoudige eenstapscommando's tot complexe, meerstaps-taken die vereisten dat het model met echte softwareomgevingen interageerde. De resultaten toonden een duidelijk patroon: de modellen die mid-training hadden ontvangen, presteerden consequent beter dan de modellen die dat niet hadden. De verbetering was het meest merkbaar bij de moeilijkste taken, met name die die meerdere stappen vereisten of het vermogen om met onbekende hulpmiddelen om te gaan. Bijvoorbeeld, bij een test die de bekwaamheid meetde om hulpmiddelen te gebruiken in een gesprek met meerdere beurten, zag de score van het 4-miljard-parameter model een sprong van meer dan 10 punten vergeleken met een model dat alleen de eindtraining kreeg.

De studie onthulde ook de beperkingen van deze aanpak. Hoewel de mid-getrainde modellen aanzienlijk beter werden in algemeen gebruik van hulpmiddelen, werden ze niet experts in elk type taak. Wanneer ze werden getest op een specifieke benchmark die betrekking had op diepgaand, iteratief webonderzoek, vertoonden de modellen niet hetzelfde niveau van verbetering. Dit suggereert dat terwijl een algemene fundering helpt bij het begrijpen van hoe hulpmiddelen te gebruiken en instructies op te volgen, hooggespecialiseerde gedragingen zoals diepgaand onderzoek of complexe exploratie hun eigen toegewijde trainingsdata kunnen vereisen. De onderzoekers vonden dat de mid-training een sterke, stabiele basis bood die de daaropvolgende eindtraining efficiënter maakte. De modellen leerden sneller te convergeren en bereikten hogere prestatieniveaus, wat aangeeft dat de mid-training fase hen hielp een beter intern begrip op te bouwen van hoe hulpmiddelen in elkaar grijpen.

Dit werk daagt de heersende aanname uit dat het gebruik van hulpmiddelen simpelweg een vaardigheid is die aan het einde van de ontwikkeling van een model kan worden toegevoegd. In plaats daarvan suggereert het dat het vermogen om met hulpmiddelen met de wereld te interageren een fundamentele capaciteit is die baat heeft bij het worden ingeweven in de kernkennis van het model. Door de modellen bloot te stellen aan de structuur van tool-documentatie en de logica van tool-workflows in een vroeg stadium, creëerden de onderzoekers een systeem dat robuuster en aanpasbaarder is. De bevindingen impliceren dat voor de volgende generatie AI-agenten om werkelijk effectief te zijn, hun training een toegewijde fase moet bevatten waarin ze niet alleen leren welke hulpmiddelen bestaan, maar ook hoe ze deze te herkennen, ermee te plannen en te herstellen wanneer er iets misgaat. Deze middelste trainingsfase lijkt de sleutel te zijn tot het ontsluiten van een meer natuurlijke en betrouwbare vorm van agency in kunstmatige intelligentie.