Joint Optimization of Tool Creation and Use for Large Language Model Agents

Der menschliche Fortschritt hing schon immer von den Werkzeugen ab, die wir bauen. Anstatt jedes neue Problem von Grund auf neu zu lösen, verlassen wir uns auf Instrumente, die über Generationen hinweg verfeinert wurden – vom einfachen Hebel bis hin zur komplexen Software, die unsere moderne Welt antreibt. Große Sprachmodelle, jene fortschrittlichen Computerprogramme, die in der Lage sind, menschliche Sprache zu verstehen und zu erzeugen, stehen vor einer ähnlichen Einschränkung. Während sie über riesige Mengen an Informationen verfügen, die in ihrem internen Speicher abgelegt sind, haben sie Schwierigkeiten mit Aufgaben, die exakte Berechnungen, den Zugriff auf aktuelle Fakten oder zuverlässige logische Schlussfolgerungen erfordern. Um dies zu überwinden, haben Forscher diese Modelle gelehrt, externe Werkzeuge zu benutzen, wie etwa Taschenrechner oder Suchmaschinen, ganz so, wie ein Mensch zu einem Taschenrechner greifen könnte, um ein schwieriges mathematisches Problem zu lösen. Aktuelle Systeme sind jedoch begrenzt, da sie nur Werkzeuge nutzen können, die Menschen bereits geschrieben und bereitgestellt haben. Wenn ein Mensch kein spezifisches Werkzeug für eine neue Aufgabe gebaut hat, ist das Modell festgefahren.

Diese Einschränkung hat einen Wandel hin zu einem dynamischeren Ansatz angestoßen: Modellen beizubringen, ihre eigenen Werkzeuge auf Abruf zu erstellen. Die Idee ist, dass ein Modell ein Problem betrachtet, ein kleines Stück Code schreibt, um es zu lösen, und dieses Code-Stück dann nutzt, um die Antwort zu finden. Doch bestehende Methoden für dieses Vorhaben weisen einen grundlegenden Fehler auf. Sie verwenden typischerweise ein leistungsstarkes, teures Modell, um das Werkzeug zu schreiben, und ein schwächeres Modell, um es zu benutzen. Da das Modell, das das Werkzeug schreibt, das Werkzeug selbst nie benutzen muss, hat es keinen Anreiz dazu, Werkzeuge zu schreiben, die tatsächlich klar, zuverlässig oder einfach aufzurufen sind. Es ist wie ein Zimmermann, der einen Hammer baut, aber niemals selbst damit zuschlagen muss; er könnte einen Griff bauen, der zu rutschig ist, oder einen Hammerkopf, der zu schwer ist, schlichtweg weil er die Konsequenzen eines schlechten Designs nicht zu spüren bekommt.

Ein Team von Forschern hat einen neuen Rahmen namens SMITH eingeführt, um diese Diskrepanz zu lösen. Die zentrale Innovation ist eine Trainingsmethode, die ein einzelnes Modell dazu zwingt, sowohl als Werkzeugmacher als auch als Werkzeugnutzer zu agieren. In diesem System wird dem Modell eine Reihe von Beispielproblemen vorgelegt und es wird aufgefordert, ein Werkzeug zu schreiben, welches aus einem Stück Code und einer klaren Beschreibung seiner Verwendung besteht. Unmittelbar danach muss dasselbe Modell versuchen, genau dieses Werkzeug zu nutzen, um ein anderes, unbekanntes Problem zu lösen. Wenn die Beschreibung verwirrend oder der Code fehlerhaft ist, scheitert das Modell bei der Lösung des Problems und erhält ein klares Signal, dass es sich verbessern muss. Dies schafft eine direkte Rückkopplungsschleife, in der das Modell lernt, dass ein Werkzeug nur so gut ist wie seine Fähigkeit, von ihm selbst benutzt zu werden.

Die Forscher testeten diesen Ansatz mit einem Modell mit vier Milliarden Parametern – einer Größe, die im Vergleich zu den massiven Modellen, die oft in diesem Bereich eingesetzt werden, relativ klein ist. Sie trainierten es auf dreizehn verschiedenen Arten von Denkaufgaben, die von mathematischen Rätseln bis hin zu logischen Spielen reichten. Die Ergebnisse waren beeindruckend. Das trainierte Modell erreichte eine hohe Genauigkeit bei Problemen, die es zuvor noch nie gesehen hatte, und übertraf dabei Methoden, die auf komplexen, von Menschen entworworfenen Anweisungen basieren, oder sogar größere Modelle, die lediglich dazu aufgefordert werden, im Moment der Nutzung Werkzeuge zu schreiben. Tatsächlich schnitt das kleine, mit dieser Methode trainierte Modell besser ab als ein untrainiertes Modell mit dreißig Milliarden Parametern, wenn es darum ging, Werkzeuge für neue Aufgaben zu erstellen. Dies deutet darauf hin, dass die Fähigkeit, das Bauen und Nutzen von Werkzeugen zu erlernen, wichtiger ist als einfach nur eine größere Menge an Rohgedächtnis zu besitzen.

Die vielleicht überraschendste Erkenntnis war, wie gut diese selbstgemachten Werkzeuge auf andere Modelle übertragbar waren. Die von dem kleinen, trainierten Modell geschriebenen Werkzeuge ermöglichten es einem viel kleineren Modell mit nur 350 Millionen Parametern, eine Leistung zu erbringen, die der eines viel größeren, untrainierten Modells entsprach. Umgekehrt schnitt ein sehr großes Modell besser ab, wenn es die vom kleinen Modell geschriebenen Werkzeuge benutzte, als wenn es versucht hätte, seine eigenen Werkzeuge zu schreiben. Dies zeigt, dass die durch das SMITH-Framework erstellten Werkzeuge tatsächlich von hoher Qualität und wiederverwendbar sind und nicht bloß Tricks sind, die nur für ein spezifisches Modell funktionieren. Die Werkzeuge waren so effektiv, dass sie die Leistung bei völlig neuen Aufgabentypen verbesserten, wie etwa der Interpretation komplexer Tabellen oder der Beantwortung von Fragen zu Bildern, obwohl das Modell nie mit Daten zu Tabellen oder Bildern trainiert wurde.

Die Studie verdeutlichte auch die Bedeutung der Strukturierung des Lernprozesses. Die Forscher fanden heraus, dass es nicht ausreicht, ein Modell lediglich dazu aufzufordern, Code zu schreiben; das Modell muss auch daran gemessen werden, ob die Beschreibung des Werkzeugs mit dem Code übereinstimmt und ob das Werkzeug tatsächlich funktioniert, wenn es aufgerufen wird. Indem sie diese verschiedenen Aspekte der Qualität trennten und das Modell dafür belohnten, jeden einzelnen korrekt zu erfüllen, vermeidet das System häufige Fallstricke, bei denen ein Modell Code schreiben könnte, der gut aussieht, aber nicht verwendet werden kann, oder eine Beschreibung verfasst, die zwar klar ist, aber nicht zum Code passt. Dieses sorgfältige Balanceakt ermöglichte es dem Modell, eine robuste Fähigkeit zu erlernen: die Fähigkeit, ein Werkzeug zu erschaffen, das sowohl korrekt als auch nutzbar ist.

Letztendlich zeigt diese Arbeit, dass der Weg zu leistungsfähigerer künstlicher Intelligenz möglicherweise nicht im Bau immer größerer Modelle liegt, sondern darin, Modellen beizubringen, besser darin zu werden, ihre eigenen Fähigkeiten aufzubauen und zu nutzen. Durch das Schließen der Schleife zwischen Erstellung und Nutzung haben die Forscher gezeigt, dass ein Modell lernen kann, Werkzeuge zu entwerfen, die zuverlässig genug sind, um von ihm selbst und von anderen genutzt zu werden. Dieser Ansatz bietet einen skalierbaren Weg, um die Fähigkeiten künstlicher Intelligenz zu erweitern, indem er ihr ermöglicht, sich neuen Herausforderungen durch die Erstellung der spezifischen Instrumente anzupassen, die sie benötigt, anstatt darauf zu warten, dass Menschen sie bereitstellen. Die Ergebnisse legen nahe, dass die Zukunft der werkzeuggestützten Intelligenz nicht in statischen Bibliotheken vorgefertigter Werkzeuge liegt, sondern in der dynamischen, selbstverbessernden Fähigkeit von Modellen, ihre eigenen Lösungen zu gestalten.