Recursive Synthesis for Long-Horizon Terminal Tasks
Dieses Paper führt Recursive Synthetic Terminal Tasks (RST) ein, ein skalierbares Framework, das rekursiv langfristige Terminal-Agent-Aufgaben generiert und verifiziert, um 37.484 hochwertige Beispiele zu geringen Kosten zu erzeugen, was die Leistung von feinabgestimmten und agentischen Modellen auf anspruchsvollen Benchmarks signifikant steigert, ohne Anzeichen von abnehmenden Erträgen zu zeigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Meistermechaniker zu werden. Sie wollen nicht nur, dass er weiß, wie ein Schraubenschlüssel aussieht; Sie wollen, dass er tatsächlich einen Automotor repariert, der noch nie kaputt war. Dies ist die Welt der „KI-Agenten“ – intelligente Computerprogramme, die nicht nur mit Ihnen chatten, sondern tatsächlich Dinge tun, wie Befehle eintippen, Dateien verschieben und Softwarefehler beheben. Das große Problem ist, dass diese Roboter bei langen, komplizierten Aufgaben schrecklich sind. Wenn man sie bittet, ein Haus zu bauen, legen sie vielleicht einen Stein und sind dann verwirrt. Um sie besser zu lehren, brauchen wir tausende von Übungsaufgaben, bei denen der Roboter versucht, das Haus zu bauen, scheitert, korrigiert wird und es erneut versucht. Aber das Erstellen dieser Übungsaufgaben ist ein Albtraum. Wenn man eine von Hand schreibt, kostet das ein Vermögen. Wenn man einen Computer bittet, eine zu schreiben, erfindet er oft Regeln, die nicht zu den Werkzeugen passen, oder erstellt ein Rätsel, das unmöglich zu lösen ist. Es ist, als würde man einen Koch bitten, ein Rezept für einen Kuchen zu schreiben, aber das Rezept verlangt nach Zutaten, die in der Küche nicht existieren, oder der Ofen ist kaputt.
Hier kommt eine neue Methode namens Recursive Synthetic Terminal Tasks (RST) ins Spiel. Betrachten Sie dies als eine „digitale Evolutionsmaschine“ zur Erstellung von Trainingsrätseln für Roboter. Anstatt dass Menschen jedes einzelne Problem selbst schreiben, begannen die Forscher mit einem kleinen Stapel von 639 verifizierten, funktionierenden Rätseln (den „Seeds“). Dann nutzten sie eine leistungsstarke KI, die wie ein schelmischer, aber brillanter Spieledesigner agierte. Diese KI betrachtete ein funktionierendes Rätsel, fügte einen neuen, schwierigeren Schritt zur Lösung hinzu (wie das Hinzufügen eines neuen Zahnrads zum Motor) und aktualisierte dann sofort die Anweisungen und den „Lösungsschlüssel“, um der neuen, schwierigeren Version zu entsprechen. Entscheidend war, dass das neue Rätsel, bevor es gespeichert wurde, in eine digitale Sandbox – einen sicheren, isolierten Computerraum – geworft wurde, um zu sehen, ob es tatsächlich funktionierte. Wenn die Lösung fehlschlug, wurde das Rätsel weggeworfen. Wenn es funktionierte, wurde es behalten und als Seed für die nächste Runde noch schwierigerer Rätsel verwendet. Die Forscher ließen diesen Zyklus 15 Mal durchlaufen. Am Ende hatten sie fast 38.000 neue, verifizierte Rätsel erstellt. Das Beste daran? Die Rätsel wurden mit jeder Runde wahrhaftig schwieriger. Das mittlere Rätsel brauchte plötzlich 374 Zeilen Code zur Lösung, statt der ursprünglichen 67 Zeilen. Die Anzahl der Befehle, die ein Roboter eintippen musste, sprang von 40 auf 244.
Die Ergebnisse waren dramatisch. Als sie einen erstklassigen KI-Solver auf diesen Rätseln testeten, sank seine Erfolgsquote von 90 % bei den leichten Rätseln der ersten Runde auf lediglich 2,5 % in der 15. Runde. Dies bewies, dass das System nicht nur längere Anweisungen erstellte; es erzeugte tatsächlich Aufgaben, die viel tieferes Denken und mehr Schritte erforderten. Aber die wahre Magie geschah, als sie diese Rätsel nutzten, um ein anderes KI-Modell (Qwen3.5) zu trainieren. Nachdem das Modell auf den durch diese Rätsel generierten Trajektorien (den schrittweisen Versuchen) trainiert worden war, verbesserte es sich bei der Lösung realer Terminal-Aufgaben erheblich. Bei Standardtests stieg seine Leistung um bis zu 10 Punkte, und mit weiterem Reinforcement Learning verbesserte es sich je nach Test um weitere 20 % bis 41 %. Die spannendste Erkenntnis war, dass das System keine Anzeichen zeigte, aufzuhören. Selbst nach 15 Runden der Verschärfung produzierte das System weiterhin gültige, vielfältige Rätsel, ohne in Unsinn abzugleiten oder dieselben Tricks ständig zu wiederholen. Dies deutet darauf, dass wir in der Lage sein könnten, eine endlose Menge an hochwertigen Trainingsdaten für KI-Agenten zu generieren und den teuren, langsamen Prozess des menschlichen Lehrens in einen schnellen, automatisierten und skalierbaren Evolutionsprozess zu verwandeln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.