The Bitter Lesson of Tool Calling
Diese Arbeit demonstriert empirisch, dass das programmatische Tool-Calling, welches typisierte Python-Stubs für den Tool-Aufruf nutzt, eine robuste und oft überlegene Alternative zum nativen JSON-Tool-Calling über verschiedene Sprachmodelle und anspruchsvolle Bedingungen wie parallele Ausführung und Kontextdegradation hinweg ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der mit der Außenwelt kommunizieren kann. Um Aufgaben zu erledigen, muss dieser Roboter um Hilfe bei anderen Programmen bitten, wie zum Beispiel beim Abfragen des Wetters oder beim Lösen einer mathematischen Aufgabe. Lange Zeit war die einzige Möglichkeit für den Roboter, um Hilfe zu bitten, in einem sehr strengen, starren Format namens „JSON“ zu kommunizieren. Stellen Sie sich das wie einen Roboter vor, der Anfragen nur über winzige, vorbedruckte Postkarten senden kann. Wenn er drei Dinge tun muss, muss er drei separate Postkarten schreiben, auf eine Antwort zur ersten warten, dann die zweite schreiben und so weiter. Es ist ordentlich, aber langsam und ungeschickt.
Da dieser Roboter jedoch auch ein brillanter Programmierer ist, fragten sich Wissenschaftler: Warum lassen wir ihn nicht einfach ein Computerprogramm schreiben, um die Arbeit zu erledigen? Anstatt Postkarten zu verwenden, könnte der Roboter ein kurzes Skript schreiben – eine Reihe von Anweisungen, die dem Computer genau sagen, was er tun soll, und das alles in einem Durchgang. Dies nennt man „programmatischen Werkzeugaufruf“ (programmatic tool calling). Es ist, als würde man dem Roboter einen Stift und ein Notizbuch geben anstatt nur Postkarten. Die große Frage war: Ist diese neue, flexible Methode tatsächlich besser, oder bleibt die alte, starre Postkarten-Methode der König des Hügels? Diese Arbeit taucht in diese Frage ein, um zu sehen, ob es den Roboter schneller, klüger und zuverlässiger macht, wenn man ihn Code schreiben lässt.
Die Forscher führsten einen massiven Test mit 14 verschiedenen Versionen dieser KI-Modelle durch, die von älteren bis hin zu den neuesten, leistungsfähigsten Generationen reichen. Sie unterzogen sie einem Hindernisparcours aus 309 verschiedenen Aufgaben, von einfachen, einstufigen Jobs bis hin zu komplexen Szenarien, in denen der Roboter viele Dinge gleichzeitig erledigen oder Schritte aneinanderreihen musste. Sie verglichen die alte „Postkarten“-Methode (JSON Tool Calling) mit der neuen „Skript“-Methode (Programmatic Tool Calling).
Die Ergebnisse waren eine kleine Überraschung und eine kleine Lektion darüber, wie sich Technologie entwickelt. Die Studie ergab, dass für die meisten der neueren, intelligenteren Modelle das Schreiben eines Skripts genauso gut oder sogar besser war als das Versenden von Postkarten. Tatsächlich erhielt die neueste Modellfamilie (die GPT-5.6-Serie) einen enormen Schub und verbesserte ihre Genauigkeit um etwa 10,6 %, als sie erlaubtes, Code zu schreiben. Es war, als würde man einem Rennfahrer eine bessere Strecke geben; sie liefen nicht nur schneller, sie liefen klüger.
Aber hier ist die Wendung: Das Papier legt nahe, dass diese neue Methode kein Zauberstab für jeden Roboter ist. Die älteren Modelle hatten mit dem Skript-Ansatz zu kämpfen. Drei der älteren Modelle gerieten durcheinander, als sie gebeten wurden, Code zu schreiben, und produzierten fehlerhafte Skripte, die abstürzten, weil sie das Format nicht korrekt handhaben konnten. Es scheint, dass die Fähigkeit, diese neue, flexible Methode zu nutzen, stark davon abhängt, wie „neu“ und fähig das Gehirn des Modells ist. Das Papier argumentt, dass der Unterschied nicht darin liegt, welches Unternehmen den Roboter gebaut hat (wie Anthropic vs. OpenAI), sondern vielmehr darin, welche Generation des Roboters es ist. Die neuesten sind bereit für das Skript; die älteren stecken noch bei den Postkarten fest.
Die Forscher testeten auch, wie diese Methoden unter Druck standhalten. Wenn der Roboter viele Dinge gleichzeitig tun musste (wie zum Beispiel 100 Anfragen gleichzeitig zu senden), begann die alte Postkarten-Methode zu versagen, indem sie Aufrufe ausließ oder Aufgaben verpasste. Die Skript-Methode hingegen arbeitete stetig weiter und bewältigte die Arbeitslast, ohne einen Schlag zu verpassen. Ähnlich verhielt es sich, wenn der Roboter eine riesige Menge an verwirrenden Informationen durchsieben musste (ein „Context Rot“-Test): Die Skript-Methode blieb stabil, während die alte Methode eine gewisse Variation in der Leistung zeigte.
Was ist also die Lehre daraus? Das Papier legt nahe, dass für die neuesten und besten KI-Modelle das Schreiben von Code zum Aufrufen von Werkzeugen eine praktikable, robuste und oft überlegene Alternative zu den alten starren Methoden ist. Es bewältigt komplexe Ketten von Aufgaben schneller und wird nicht überfordert, wenn die Arbeitslast hoch wird. Dies ist jedoch noch kein universeller Fix. Wenn Sie ein älteres Modell verwenden, müssen Sie vielleicht immer noch beim alten Postkarten-Stil bleiben, oder der Roboter wird über seine eigenen Füße stolpern. Die „bittere Lektion“ hierbei ist, dass die Zukunft für agentenbasierte Code-Systeme zwar glänzend aussieht, wir aber sicherstellen müssen, dass unsere Werkzeuge tatsächlich intelligent genug sind, um das Upgrade zu bewältigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.