StateM: Reaching 95.3% Raw Accuracy, or a \$15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling
Das Paper stellt StateM vor, eine agenten-native Runtime, die durch die Nutzung von Harness-Skalierung mittels persistenter Zustände, geprüfter Übergänge und versionierter Runbooks die Genauigkeit von Agenten bei Langzeitaufgaben auf dem Terminal-Bench 2.1 signifikant auf 95,3 % steigert und gleichzeitig die Inferenzkosten im Vergleich zu Baseline-Modellen drastisch reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In dem sich rasant entwickelnden Feld der künstlichen Intelligenz ist ein hartnäckiges Rätsel entstanden: Warum scheitern hochentwickelte Computerprogramme, die in der Lage sind, komplexe Einzelschritte zu lösen, oft, wenn sie gebeten werden, eine lange, mehrstufige Aufgabe zu bewältigen? Stellen Sie sich einen brillanten Architekten vor, der in der Lage ist, ein perfektes Zimmer zu entwerfen, aber vergisst, das Fundament zu legen, oder einen geschickten Chirurgen, der einen makellosen Schnitt ausführt, aber halfway während der Operation die Vitalparameter des Patienten aus den Augen verliert. Diese Systeme, bekannt als Long-Horizon-Agenten, stolpern häufig nicht etwa, weil es ihnen an Intelligenz mangelt, sondern weil sie den Überblick über den Prozess verlieren. Sie vergessen möglicherweise, was sie bereits getan haben, überspringen eine notwendige Prüfung oder hören auf zu arbeiten, bevor das eigentliche Ziel wirklich erreicht ist. Jahrelang war die Standardlösung, größere, intelligentere Gehirne zu bauen, in der Hoffnung, dass ein leistungsfähigeres Modell diese Fehler einfach nicht machen würde. Ein neuer Forschungsansatz legt jedoch nahe, dass das Problem nicht das Gehirn selbst sein könnte, sondern die Umgebung, in der es arbeitet.
Forscher haben begonnen, eine andere Frage zu stellen: Wie viel dieses Scheiterns ist tatsächlich ein Versagen des Systems, das die Aufmerksamkeit des Agenten steuert, seinen Fortschritt verfolgt und ihn dazu zwingt, die Arbeit zu beenden? Dieser Ansatz, den die Autoren „Harness Scaling“ nennen, schlägt vor, dass wir ein bestehendes, fähiges Modell weitaus zuverlässiger machen können, indem wir die Werkzeuge und Regeln verbessern, die es umgeben, ohne das Modell selbst zu verändern. Anstatt zu versuchen, das Modell dazu zu zwingen, sich alles selbst zu merken, gibt diese Methode dem Agenten ein gemeinsames, externes Notizbuch, das sowohl er als auch ein menschlicher Aufseher lesen und aktualisieren können. Dieses Notizbuch fungiert als dauerhaftes Protokoll darüber, wo sich der Agent befindet, was er als Nächstes versprochen hat und welcher Nachweis erforderlich ist, bevor er fortfahren kann. Indem das System den Ausführungsprozess als eine Reihe von distinkten Phasen mit klaren Kontrollpunkten behandelt, stellt es sicher, dass der Agent nicht vom Kurs abkommt oder eine Aufgabe halbfertig hinterlässt.
Die Forscher hinter dieser Studie, angeführt von Ziheng Qin und Kollegen, entwickelten ein leichtgewichtiges System namens StateM, um diese Idee zu testen. Sie entwarfen es so, dass es mit Standard-Computeragenten funktioniert, die über Befehlszeilen operieren, ähnlich wie ein Mensch, der Befehle in ein Terminal tippt. Der Kern ihrer Erfindung ist ein einfaches, lesbares Dokument namens Runbook. Dieses Dokument dient als Landkarte und Vertrag für den Agenten. Es unterteilt eine große Aufgabe in spezifische Stadien oder Zustände, wie etwa Planung, Bau, Prüfung und Übergabe der Arbeit. Wenn der Agent ein neues Stadium betritt, aktualisiert das System seine Anweisungen und zeigt ihm genau auf, was er erreichen muss, bevor er das Stadium verlassen kann. Entscheidend ist, dass der Agent ein Stadium nicht einfach als abgeschlossen deklarieren kann; er muss eine Verifizierungsprüfung bestehen. Wenn der Agent versucht, einen Schritt zu überspringen oder eine Prüfung nicht besteht, stoppt das System ihn und zwingt ihn, den Fehler zu beheben, bevor es weitergeht. Dies schafft einen gemeinsamen Raum, in dem der Agent und ein Mensch die Arbeit inspizieren, die Entscheidungen prüfen und die Regeln gemeinsam aktualisieren können.
Um zu sehen, ob dieser Ansatz funktionierte, testete das Team ihn an einem anspruchsvollen Satz von 89 komplexen Computeraufgaben, bekannt als Terminal-Bench. Sie begannen mit einem leistungsstarken Modell namens GPT-5.5 und wandten ihr neues System darauf an. Die Ergebnisse waren beeindruckend. Ohne den internen Code des Modells zu ändern oder es mit neuen Daten zu trainieren, verbesserte das System die Erfolgsquote des Modells von 83,1 Prozent auf 92,1 Prozent. Dieser Gewinn war so signifikant, dass er die Lücke zwischen diesem älteren Modell und einer neueren, fortschrittlicheren Version der Software effektiv schloss. Die Forscher wendeten dann exakt dieselben Regeln, also das Runbook, auf ein noch neueres Modell, GPT-5.6, an, ohne Anpassungen vorzunehmen. Das System schnitt sogar noch besser ab und erreichte eine Rohgenauigkeit von 95,3 Prozent über hunderte von Testläufen hinweg. Es löste jede einzelne der 89 Aufgaben mindestens einmal, was demonstrierte, dass die für ein Modell entwickelten Regeln nahtlos auf ein neueres übertragen werden konnten.
Die Studie untersuchte auch, ob diese Vorteile mit günstigeren, anderen Arten von KI-Modellen erzielt werden könnten. Als sie dieselben Prinzipien auf ein Modell namens DeepSeek-V4 Flash anwandten, waren die ersten Ergebnisse gemischt, da die exakten Regeln nicht perfekt passten. Doch indem sie einen geringen Betrag von weniger als achtunddreißig Dollar investierten, um die spezifischen Praktiken an dieses neue Modell anzupassen, konnten sie die Leistung von 82,7 Prozent auf 88,1 Prozent steigern. Die Gesamtkosten, um dieses Ergebnis zu beweisen, einschließlich der Anpassung und des abschließenden Tests, beliefen sich auf etwa zweiundfünfzig Dollar. Im Gegensatz dazu kostete die teuerste öffentliche Einreichung für ein ähnliches hochgradiges Ergebnis fast sechshundert Dollar. Dies deutet darauf hin, dass die Investition in ein besseres Ausführungssystem weita viel kosteneffizienter sein kann, als einfach nur das leistungsfähigste verfügbare Modell zu kaufen.
Die Forscher testeten ihr System auch an einem anderen Satz von Aufgaben, die Geschäftsabläufe betreffen, wie etwa die Genehmigung von Budgets oder den Betrieb von Maschinen. Hier zeigten die Ergebnisse, dass die Regeln am besten funktionierten, wenn sie mit der spezifischen Natur der Arbeit übereinstimmten. Für Aufgaben, die eine strikte Einhaltung von Regeln und klare Übergaben erforderten, bot das System massive Verbesserungen, teilweise verdoppelte es die Erfolgsquote. Für Aufgaben, die jedoch eine sehr andere Struktur hatten, machte das System die Dinge manchmal schlechter, wenn die Regeln zu starr waren oder auf den falschen Teil des Prozesses angewendet wurden. Dies lehrte die Forscher, dass der Schlüssel nicht darin besteht, eine massive Liste von Regeln für jede mögliche Situation zu haben, sondern die spezifischen Grenzen zu identifizieren, an denen Fehler am wahrscheinlichsten auftreten, und dort gezielt Kontrollen durchzuführen.
Letztendlich legt diese Arbeit nahe, dass die Zuverlässigkeit künstlicher Intelligenz ebenso sehr davon abhängt, wie wir ihre Arbeit managen, wie davon, wie intelligent das Modell ist. Die Forscher identifizierten drei Hauptgründe, warum fähige Agenten scheitern: Sie mangelt es im Moment der Entscheidung an dem richtigen Wissen, sie vergessen Lektionen, die aus vorherigen Versuchen gelernt wurden, oder sie versäumen es, ein Verfahren zu befolgen, das sie bereits kennen. Ihr System adressiert diese Probleme, indem es eine frische, klare Aufzeichnung der aktuellen Phase führt, Lektionen in einem versionierten Dokument speichert, das wiederverwendet werden kann, und den Agenten dazu zwingt, zu beweisen, dass er einen Schritt abgeschlossen hat, bevor er fortfahren darf. Die Ergebnisse zeigen, dass wir nicht notwendigerweise darauf warten müssen, dass die nächste Generation superintelligenter Modelle komplexe Probleme löst. Stattdessen können wir, indem wir bessere Systeme bauen, um die Modelle zu führen, die wir bereits haben, fähige, aber unzuverlässige Agenten in robuste, Aufgaben vollendende Maschinen verwandeln. Der Weg nach vorn besteht nicht nur darin, das Gehirn größer zu machen, sondern auch darin, einen besseren Körper zu bauen, der es durch die Arbeit trägt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.