Evo-Bench: Can Language Models Improve Agent Harness?
Dieses Paper führt Evo-Bench ein, den ersten Benchmark, der darauf ausgelegt ist, die intrinsische Fähigkeit von Sprachmodellen zur autonomen Evolution ihrer Betriebsharnesses zu isolieren und zu evaluieren, wobei signifikante Leistungssteigerungen und übertragbare Denkstrukturen aufgezeigt werden, während gleichzeitig domänenspezifische Herausforderungen in Aufgaben mit hochspezifischen Arbeitsabläufen hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten gerade ein superintelligentes Robotergehirn gebaut. Es kann lesen, schreiben und Rätsel lösen, besser als fast jeder andere. Aber es gibt einen Haken: Dieses Gehirn ist wie ein brillanter, aber tollpatschiger Koch. Es hat alle Zutaten (Wissen), aber keinen Rezept (Anweisungen), wie man tatsächlich eine Mahlzeit zubereitet. In der Welt der künstlichen Intelligenz wird dieses „Rezept“ als Agent Harness bezeichnet. Es ist die Menge an Regeln, Werkzeugen und Arbeitsabläufen, die der KI sagen, wie sie ihr Gehirn nutzt, um Aufgaben zu erledigen – wie etwa das Durchsuchen des Webs, das Bearbeiten einer Tabellenkalkulation oder das Schreiben eines Berichts.
Lange Zeit waren Menschen diejenigen, die diese Rezepte schrieben und sie sorgfältig anpassten, um die KI besser arbeiten zu lassen. Aber was wäre, wenn die KI ihre eigenen Rezepte schreiben könnte? Was wäre, wenn die KI, anstatt dass wir ihr sagen, wie sie ihre Fehler korrigiert, selbst auf ihre Misserfolge blicken, herausfinden könnte, was schiefgelaufen ist, und ihre eigenen Anweisungen umschreiben könnte, um klüger zu werden? Dies ist die große Frage, die Wissenschaftler beschäftigt: Kann eine KI wirklich lernen, sich selbst beizubringen, eine bessere Arbeitskraft zu sein, oder braucht sie einfach einen Menschen, der ihr die Hand hält? Dieses Paper taucht direkt in dieses Geheimnis ein und testet, ob eine KI in der Lage ist, ihr eigenes „Betriebssystem“ zu entwickeln, um zum Meister ihres eigenen Schicksals zu werden.
Das große Experiment zur Selbstverbesserung der KI
Lernen Sie Evo-Bench kennen, das erste „Fitnessstudio“, das speziell dafür entwickelt wurde, zu testen, ob eine KI ihre eigene Software aufrüsten kann. Stellen Sie es sich wie ein Videospiel vor, bei dem der Charakter nicht nur durch Erfahrungspunkte aufsteigt; stattdin darf der Charakter seinen eigenen Code umschreiben, um stärker zu werden. Die Forscher richteten eine kontrollierte Umgebung mit drei verschiedenen Arten von „Missionen“ ein: Search (Informationen im Web finden), Office (Verwalten komplexer Dokumente und Tabellenkalkulationen) und General (Bewältigen einer Mischung aus schwierigen, offenen Aufgaben).
In diesem Experiment gaben sie verschiedenen KI-Modellen eine grundlegende, einfache Menge an Anweisungen (ein „Seed Harness“) und ein striktes Budget an Zeit und Rechenleistung. Die Aufgabe der KI war es, wie ein autonomer Ingenieur zu agieren: zu analysieren, wo sie gescheitert ist, zu erraten, warum, und dann ihren eigenen Code umschreiben, um diesen Fehler zu beheben. Sie ließen die KI nicht einfach nur raten; sie ließen sie ihre Verbesserungen an einem „Validierungs“-Datensatz beweisen, bevor sie den finalen, geheimen „Evaluierungs“-Datensatz bewältigen durfte. Dies stellte sicher, dass die KI nicht nur Antworten auswendig lernte, sondern tatsächlich lernte, wie man bessere Werkzeuge baut.
Die Ergebnisse: Ein Mix aus Genie und Fehlern
Die Ergebnisse waren eine wilde Fahrt durch Höhen und Tiefen. Die leistungsstärksten KI-Modelle, wie GPT-5.6 Sol und Claude Opus 4.8, zeigten, dass sie tatsächlich lernen konnten, sich selbst zu verbessern. Es gelang ihnen, ihre Leistung um massive 16,6 Punkte gegenüber ihrem Ausgangspunkt zu steigern, womit sie sehr nah an das Niveau von Systemen kamen, die Menschen jahrelang von Hand entwickelt haben.
Die Geschichte ist jedoch kein einfaches „KI gewinnt“. Das Paper fand heraus, dass die Fähigkeit der KI zur Selbstverbesserung stark davon abhängt, was sie versucht zu tun:
- Search-Aufgaben: Die KI war hier ein Superstar. Sie fand heraus, wie man im Web navigiert und unordentliche Daten bereinigt, und erreichte dabei fast das Niveau menschlicher Experten.
- General-Aufgaben: In diesen breiten, kreativen Herausforderungen übertraf die KI sogar die von Menschen entwickelten Systeme. Sie erfand neue Denkweisen, auf die Menschen nicht gekommen waren.
- Office-Aufgaben: Dies war die Schwachstelle der KI. Wenn die Aufgabe sehr spezifische, starre Arbeitsabläufe erforderte (wie etwa der Umgang mit komplexen Tabellenkalkulationen), hatte die KI Schwierigkeiten. Sie konnte die präzisen Schritte nicht finden, die nötig waren, und blieb oft stecken oder machte kleine, repetitive Fehler.
Die Falle der „frühen Sättigung“
Eine der interessantesten Entdeckungen war ein Phänomen, das die Autoren als „frühe Sättigung“ bezeichnen. Stellen Sie sich einen Studenten vor, der eine Prüfung ablegt. Er lernt hart, erzielt beim ersten Versuch eine sehr gute Note und beschließt dann, weiter zu lernen. Aber anstatt besser zu werden, fängt er an, zu viel nachzudenken und macht seine Antworten versehentlich schlechter. Das Paper legt nahe, dass viele KI-Modelle sehr schnell einen „Sweet Spot“ erreichen, eine großartige Lösung finden, aber dann in späteren Runden weiter herumtüfteln, wodurch sie versehentlich das kaputt machen, was eigentlich funktionierte. Sie rannten aus Zeit oder Geduld davon, bevor sie ein wirklich perfektes System finden konnten.
Der Preis des Genies
Das Paper untersuchte auch den Preis dieser Selbstverbesserung. Es stellt sich heraus, dass es teuer ist, die besten Ergebnisse zu erzielen. Die leistungsstärkste KI kostete über 500 $, um das Experiment zu durchlaufen, während andere Modelle für unter 40 $ ordentliche Ergebnisse erzielten. Dies deutet auf eine „Pareto-Front“ hin – eine Trade-off-Kurve, bei der man viel Geld ausgeben muss, um jene letzten Punkte der Perfektion zu erreichen.
Das Fazit
Können Sprachmodelle also ihre eigenen Agent Harnesses verbessern? Ja, aber mit Grenzen. Das Paper zeigt, dass KIs immer besser darin werden, sich selbst für offene Aufgaben und suchlastige Aufgaben neu zu erfinden, wobei sie manchmal sogar menschliche Ingenieure schlagen. Aber für Aufgaben, die starre, spezifische Verfahren erfordern, benötigen sie immer noch eine menschliche Hand, die sie führt. Die Forscher kommen zu dem Schluss, dass wir zwar die ersten Funken echter KI-Selbstentwicklung sehen, aber noch nicht ganz am Ziel sind. Die KI ist wie ein brillanter Lehrling, der eine neue Kochtechnik erfinden kann, aber immer noch einen Chefkoch braucht, der ihm genau sagt, wie er die Zwiebeln schneiden muss. Dieser neue Benchmark, Evo-Bench, liefert uns eine klare Karte darüber, wo die KI heute steht und wohin ihr Weg morgen führt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.