MidTool: Mid-training Data Synthesis for Agentic Tool Use

Große Sprachmodelle sind die Motoren hinter einer neuen Generation digitaler Assistenten, die in der Lage sind, mit menschenähnlicher Flüssigkeit zu lesen, zu schreiben und zu schlussfolgern. Damit diese Systeme wirklich nützlich sind, müssen sie mehr tun, als nur Fragen zu beantworten; sie müssen in der Lage sein, zu handeln. Das bedeutet, zu wissen, wann man nach einem Werkzeug greifen muss, wie etwa einem Taschenrechner, einer Suchmaschine oder einer Softwareschnittstelle, und dieses dann korrekt zu verwenden, um ein Problem zu lösen. In der aktuellen Landschaft der künstlichen Intelligenz haben Forscher die Fähigkeit, Werkzeuge zu benutzen, weitgehend als einen letzten Schritt im Training behandelt. Sie nehmen ein leistungsstarkes, vortrainiertes Modell und bringen ihm dann gezielt bei, wie es Funktionen aufruft oder mit Software interagiert, durch einen Prozess des Fine-Tunings. Dieser Ansatz legt jedoch eine schwere Last auf diese letzte Phase, da er das Modell dazu zwingt, komplexe Verhaltensweisen wie das Planen einer Sequenz von Aktionen oder das Regenerieren von fehlenden Informationen alles auf einmal zu erlernen, oft ohne ein tiefes Fundament darüber, wie diese Werkzeuge in der realen Welt tatsächlich funktionieren.

Ein Team von Forschern der University of Washington und Snowflake hat einen anderen Weg vorgeschlagen. Sie schlagen vor, dass die Fähigkeit, Werkzeuge zu benutzen, früher im Leben des Modells kultiviert werden sollte, nämlich während einer mittleren Trainingsphase, die zwischen dem anfänglichen breiten Lernen und dem abschließenden spezialisierten Instruktionstraining liegt. Sie nennen diesen Prozess „Mid-Training“. Um diese Idee zu testen, entwickelten sie einen massiven, maßgeschneiderten Datensatz, der speziell darauf ausgelegt ist, Modellen den Umgang mit Werkzeugen beizubringen. Sie nannten ihr Projekt MidTool. Indem sie diese spezialisierten Daten ihren Modellen vor den finalen Trainingsschritten zuführten, entdeckten sie, dass die Modelle Werkzeuge effektiver nutzen konnten, mit einem besseren Verständnis dafür, wie man Aktionen plant und Fehler bewältigt, als Modelle, die nur das standardmäßige finale Training erhielten.

Die Forscher begannen damit, eine vielfältige Sammlung von Materialien zusammenzutragen, die das Rohwissen darüber enthalten, wie Werkzeuge funktionieren. Sie suchten nicht nur nach Beispielen für die Anwendung von Werkzeugen; sie sammelten die Handbücher, den Code, die Dokumentationen und die technischen Spezifikationen, die beschreiben, wie diese Werkzeuge eigentlich funktionieren sollen. Dies beinhaltete Millionen von Webseiten, tausende technische Dokumente im PDF-Format, riesige Repositories von Computercode und strukturierte Definitionen von Programmierschnittstellen (APIs) der realen Welt. Sie behandelten diese Quellen als die „Lehrbücher“ für ihre KI-Schüler. Aus diesem Rohmaterial erstellten sie eine Trainingsmischung bestehend aus 20,3 Milliarden Token, einem Maß für die Menge des verarbeiteten Textes. Diese Mischung wurde sorgfältig ausbalanciert, wobei etwa 42 Prozent aus Webdokumenten, 26 Prozent aus Code, 23 Prozent aus PDFs und 9 Prozent aus direkten, synthetisierten Beispielen von Agenten, die Werkzeuge nutzen, stammten.

Um diese statische Sammlung von Dokumenten in eine dynamische Lernerfahrung zu verwandeln, nutzten die Forscher einen zweigleisigen Ansatz zur Generierung von Trainingsbeispielen. Die erste Methode konzentrierte sich auf die Erdung (Grounding). Sie nahmen technische Dokumente und Code und baten das Modell, Szenarien zu imaginieren, in denen ein Nutzer die in diesen Texten beschriebenen Werkzeuge benötigen würde. Das Modell musste lernen, ein unordentliches Handbuch oder ein komplexes Code-Fragment zu lesen, zu identifizieren, welche Werkzeuge verfügbar sind, und herauszufinden, welche Informationen benötigt werden, um sie zu nutzen. Dies lehrte das Modell, die „Affordanzen“ eines Werkzeugs zu erkennen – also was es fähig ist zu tun – basierend auf dem Kontext. Die zweite Methode konzentrierte sich auf die Ausführung (Execution). Hierbei verwendeten die Forscher reale Werkzeugdefinitionen, um schrittweise Geschichten zu generieren, in denen ein Agent ein Problem löst. Diese Geschichten beinhalteten, dass der Agent einen Plan erstellt, ein Werkzeug aufruft, eine Antwort erhält und dann entscheidet, was als Nächstes zu tun ist. Entscheidend war, dass diese Beispiele auch Szenarien enthielten, in denen Informationen fehlten oder das Werkzeug versagte, was dem Modell beibrachte, wie es regeneriert und um Klärung bittet, anstatt aufzugeben oder zu raten.

Das Team testete diesen Ansatz mit zwei Versionen eines Basis-Sprachmodells, eines mit 4 Milliarden Parametern und eines mit 8 Milliarden. Sie trainierten diese Modelle auf ihrem neuen MidTool-Datensatz und wandten dann die standardmäßigen finalen Trainingsschritte an, wie sie auch von anderen Forschern verwendet werden. Anschließend stellten sie die Modelle drei verschiedenen Benchmarks gegenüber, die messen, wie gut eine KI Werkzeuge nutzen kann. Diese Tests reichten von einfachen Ein-Schritt-Befehlen bis hin zu komplexen Multi-Schritt-Aufgaben, die erforderten, dass das Modell mit echter Softwareumgebungen interagiert. Die Ergebnisse zeigten ein klares Muster: Die Modelle, die das Mid-Training erhielten, schnitten konsistent besser ab als jene, die dies nicht erhielten. Die Verbesserung war am deutlichsten bei den schwierigsten Aufgaben, insbesondere bei solchen, die mehrere Schritte oder die Fähigkeit erforderten, mit unbekannten Werkzeugen umzugehen. Beispielsweise sah das 4-Milliarden-Parameter-Modell bei einem Test, der die Fähigkeit zur Nutzung von Werkzeugen in einem Multi-Turn-Gespräch maß, einen Sprung von mehr als 10 Punkten im Vergleich zu einem Modell, das nur das finale Training erhielt.

Die Studie zeigte auch die Grenzen dieses Ansatzes auf. Obwohl die Mid-Training-Modelle signifikant besser in der allgemeinen Werkzeugnutzung wurden, wurden sie nicht zu Experten in jeder Art von Aufgabe. Wenn sie auf einem spezifischen Benchmark getestet wurden, der eine tiefe, iterative Websuche beinhaltete, zeigten die Modelle nicht die gleiche Steigerung. Dies deutet darauf an, dass während ein allgemeines Fundament beim Verständnis der Werkzeugnutzung und beim Befolgen von Anweisungen hilft, hochspezialisierte Verhaltensweisen wie tiefe Recherche oder komplexe Exploration eigene, dedizierte Trainingsdaten erfordern können. Die Forscher fanden heraus, dass das Mid-Training eine starke, stabile Basis bot, die das anschließende finale Training effizienter machte. Die Modelle lernten schneller zu konvergieren und erreichten höhere Leistungsniveaus, was darauf hindeutet, dass die Mid-Training-Phase ihnen half, ein besseres internes Verständnis dafür aufzubauen, wie Werkzeuge zusammenwirken.

Diese Arbeit stellt die gängige Annahme infrage, dass die Werkzeugnutzung lediglich eine Fertigkeit ist, die man ganz am Ende der Entwicklung eines Modells hinzufügen kann. Stattdessen legt sie nahe, dass die Kapazität, mit Werkzeugen mit der Welt zu interagieren, eine fundamentale Fähigkeit ist, die davon profitiert, in das Kernwissen des Modells eingewoben zu werden. Indem die Forscher die Modelle der Struktur von Werkzeugdokumentationen und der Logik von Werkzeug-Workflows frühzeitig aussetzten, schufen sie ein System, das robuster und anpassungsfähiger ist. Die Ergebnisse implizieren, dass für die nächste Generation von KI-Agenten, um wirklich effektiv zu sein, ihr Training eine dedizierte Phase beinhalten muss, in der sie nicht nur lernen, welche Werkzeuge existieren, sondern auch, wie sie diese erkennen, mit ihnen planen und regenerieren, wenn etwas schiefgeht. Diese mittlere Trainingsphase scheint der Schlüssel zu sein, um eine natürlichere und zuverlässigere Form der Agency in der künstlichen Intelligenz freizusetzen.