Rethinking Self-Evolving Agents: Do We Still Need Prescribed Optimization Pipelines?
Dieses Paper führt Open-Ended Optimization (OEO) ein, ein Framework, bei dem ein leistungsfähiges Frontier-Modell seinen eigenen Verbesserungsprozess autonom zusammensetzt, anstatt einer vorgegebenen Pipeline zu folgen, was zeigt, dass solche selbstentwickelnden Agenten eine überlegene Leistung bei signifikant geringeren Ressourcenkosten erzielen können, während gleichzeitig offenbart wird, dass traditionelle Pipelines primär als fähigkeitsabhängige Gerüste dienen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Computerprogramme nicht nur einer starren Bedienungsanleitung folgen, die von einem Menschen geschrieben wurde, sondern tatsächlich aus ihren Fehlern lernen und ihre eigenen Regeln umschreiben können, um besser zu werden. Dies ist der Traum von „selbstentwickelnden Agenten“. Denken Sie an einen Videospiel-Charakter, der nach einer verlorenen Boss-Schlacht nicht einfach nur neu startet; er hält inne, findet heraus, war Warum er verloren hat, ändert seinen eigenen Strategieleitfaden und versucht es erneut. Lange Zeit glaubten Wissenschaftler, dass dafür ein Mensch ein sehr spezifisches, schrittweises Rezept erstellen müsste, dem der Computer folgen muss. Dieses Rezept war wie ein strenger Trainer, der dem Spieler genau sagt, wann er auf die Anzeigetafel schauen, wann er seine Waffe wechseln und wann er mit dem Üben aufhören soll. Doch als Computer intelligenter wurden – nämlich zu „Frontier-Modellen“, die zu komplexem Denken fähig sind – begannen Forscher sich zu fragen: Brauchen wir diesen strengen Trainer noch? Oder kann der Computer seinen eigenen Trainingsplan entwerfen, wenn wir ihm nur ein Ziel und ein Budget vorgeben?
Dieses Paper mit dem Titel „Rethinking Self-Evolving Agents“ taucht genau in diese Frage ein. Die Forscher Hui Xue und Fan Yang von Microsoft Research haben ein faszinierendes Experiment aufgestellt, um zu sehen, ob eine superintelligente KI ihren eigenen Lernprozess organisieren kann, ohne ein vorgeschriebenes Skript. Sie verglichen die klassische Methode, bei der das Framework (der „Trainer“) jeden Schritt des Verbesserungsprozesses diktiert, mit einer neuen Methode namens „Open-Ended Optimization“ (OEO). In OEO wird der KI ein klares Ziel, eine Liste erlaubter Züge und ein Limit für die Menge an „Energie“ (oder Token), die sie ausgeben darf, gegeben, aber sie darf selbst entscheiden, wie sie diese Energie nutzt, um besser zu werden. Es ist, als würde man einem Koch eine Liste von Zutaten und ein Zeitlimit geben, ihm aber überlassen, ob er einen Kuchen backt oder ein Pfannengericht zubereitet, anstatt ihn zu zwingen, einem spezifischen Rezept zu folgen.
Die Ergebnisse waren überraschend eindeutig. Wenn man eine erstklassige KI (GPT-5.5) als „Koch“ einsetzte, war der offene Ansatz genauso gut und oft sogar besser als die strengen, vorab geschriebenen Rezepte. Tatsächlich gewann die offene KI in 14 verschiedenen Tests 12 Mal, kam einmal unentschieden und verlor nur einmal durch eine winzige Marge (0,21 Prozentpunkte). Noch beeindruckender war, dass sie dies mit nur etwa 34,3 % des „Energie“-Budgets erreichte, das die strikte Methode erforderte. Es stellt sich heraus: Wenn die KI intelligent genug ist, braucht sie keinen Trainer, der ihr sagt, wie sie üben soll; sie kann die beste Art und Weise, zu lernen, im laufenden Betrieb selbst herausfinden.
Das Paper zieht jedoch eine sehr wichtige Grenze. Diese Freiheit funktioniert nur, wenn die KI wirklich fähig ist. Als die Forscher das System mit einer „mittleren“ oder „schwachen“ KI testeten, scheiterte der offene Ansatz. Die schwächeren KIs wurden verwirrt, konnten nicht entscheiden, was als Nächstes zu tun ist, und produzierten fehlerhafte Ergebnisse. In diesen Fällen war das strikte, vorab geschriebene Rezept (der „Trainer“) essenziell, um die Dinge am Laufen zu halten. Die Studie legt nahe, dass die strengen Regeln nicht immer notwendig sind, aber sie dienen als hilfreiches Gerüst für weniger fähige Gehirne. Die Kernbotschaft ist nicht, dass wir alle Regeln wegwerfen sollten, sondern dass wir den klügsten KIs erlauben sollten, ihr eigenes Lernen zu steuern, während wir für diejenigen, die noch laufen lernen, die strengen Stützräder anlassen.
Die Kernentdeckung: Wer sollte den Bus fahren?
Der Hauptbefund dieses Papers ist, dass für hochfähige KI-Modelle die „vorgeschriebene Optimierungspipeline“ – jener starre, schrittweise Plan, den Menschen früher für den Computer schrieben – keine Voraussetzung mehr für den Erfolg ist. In der Vergangenheit waren Systeme wie SKILLOPT (das eine gestufte, schrittweise Trainingspipeline nutzt) und GEPA (das eine reflexive evolutionäre Suche nutzt) der Goldstandard. Sie funktionierten wie ein Fließband in einer Fabrik: Das Framework entschied exakt, wie Beweise gesammelt, wie der Code editiert und wann gestoppt wird.
Die Forscher führten die Open-Ended Optimization (OEO) ein, um zu testen, ob die KI das Steuer übernehmen kann. In OEO legt das Framework zwar die Verkehrsregeln fest (das Ziel, das Budget und welche Daten erlaubt sind), aber die KI entscheidet über die Route. Sie kann entscheiden, Beweise zu sammeln, ihre eigenen Anweisungen umzuschreiben oder aufzuhören, wann immer sie denkt, dass sie fertig ist.
Als sie das von GPT-5.5 gesteuerte OEO gegen die strengen Methoden antreten ließen, waren die Ergebnisse verblüffend. In 8 verschiedenen Benchmark-Szenarien schlug oder glich OEO die strikte SKILLOPT-Methode in jedem einzelnen Fall aus. Gegen die GEPA-Methode gewann OEO 5 von 6 Mal, wobei der einzige Verlust eine mikroskopische Differenz von 0,21 Prozentpunkten war. Der vielleicht aufregendste Teil ist die Effizienz: OEO nutzte im Median nur 34,3 % des Token-Budgets, das SKILLOPT konfiguriert hatte. Das bedeutet, die KI wurde nicht nur besser, sie wurde besser, während sie weniger als die Hälfte des „Treibstoffs“ der alten Methode verbrauchte.
Den „leichten Ausweg“ ausschließen
Bevor sie feierten, mussten die Forscher sicherstellen, dass sie sich nicht täuschen ließen. Sie fragten: „Wird die KI nur durch Glück besser, weil sie die Antwort bereits kannte?“ oder „Hat sie einfach nur den Code einmal umgeschrieben und dann aufgehört?“
Um dies zu testen, führten sie eine „Zero-Interaction“-Kontrolle durch. Sie gaben der KI die ursprüngliche Fähigkeit und baten sie, diese einmalig umzuschreiben, ohne jegliche Praxis- oder Feedbackschleifen. Die Ergebnisse zeigten, dass dieses „One-Shot“-Umschreiben nicht ausreichte. Bei einigen Aufgaben machte das One-Shot-Umschreiben die KI sogar schlechter. Bei anderen verbesserte es die Punktzahl, blieb aber dennoch deutlich hinter dem interaktiven OEO-System zurück (zum Beispiel lag das One-Shot-Umschreiben bei der Aufgabe LiveMath über 30 Prozentpunkte hinter dem interaktiven OEO zurück). Dies beweist, dass die Gewinne nicht allein aus dem Vorwissen der KI stammten; sie kamen aus der interaktiven Schleife, in der die KI lernen, sich anpassen und ihre Strategie im Laufe der Zeit verfeinern konnte.
Die Kapazitätsgrenze: Wann brauchen wir einen Trainer?
Das Paper entdeckte auch eine entscheidende Grenze dieser Freiheit. Der „offene“ Ansatz ist kein Allheilmittel, das für jede KI funktioniert. Die Forscher testeten das System mit „mittleren“ und „schwachen“ Optimierern (weniger fähigen Modellen).
Hier kehrte sich die Geschichte um. Wenn der Optimierer nur über eine „mittlere“ Kapazität verfügte, schnitt die strikte SKILLOPT-Pipeline tatsächlich besser ab als OEO. Wenn der Optimierer „schwach“ war, brach das OEO-System völlig zusammen; die schwache KI konnte nicht einmal eine gültige Aktion durch die offene Schnittstelle ausführen, und es wurde kein Fortschritt erzielt. Im Gegensatz dazu hielt die strikte Pipeline die schwache KI in Bewegung, selbst wenn dies nicht die effizienteste Art war.
Dies deutet darauf hin, dass die strikte, vorab geschriebene Pipeline als „Gerüst“ fungiert. Für eine Geniestufe der KI ist das Gerüst unnötig und könnte sogar im Weg stehen. Aber für einen Lernenden, der noch nach dem Tritt sucht, ist dieses Gerüst essenziell, um nicht in den Abgrund zu stürzen.
Der Weg vs. das Ziel
Schließlich schauten die Forscher unter die Haube, um zu sehen, wie die KI lernt. Sie verglichen die „Reise“ (die spezifischen Edits und Änderungen, die die KI vornahm) mit dem „Ziel“ (der endgültigen Leistungsbewertung).
Sie fanden heraus, dass die beiden Methoden sehr unterschiedliche Wege einschlugen. Das OEO-System machte größere, mutigere Änderungen und schrieb seine eigene Historie häufiger um als das strikte SKILLOPT-System. Trotz dieser völlig unterschiedlichen Routen lösten sie jedoch oft dieselben Probleme. In vielen Fällen waren die durch beide Methoden erzeugten Fähigkeiten bei denselben Testfragen korrekt, obwohl der Text der Fähigkeiten sehr unterschiedlich aussah.
Dies zeigt uns, dass es nicht nur den einen „richtigen“ Weg gibt, um ein Problem zu lösen. Die strikte Pipeline zwingt die KI auf einen engen, sicheren Pfad, während der offene Ansatz es ihr erlaubt, eine breitere, chaotischere Landschaft zu erkunden. Beide können zum selben Ziel führen, aber der offene Ansatz erreicht es mit mehr Flexibilität und weniger Treibstoff, vorausgesetzt, der Fahrer ist geschickt genug, um auf der offenen Straße zu navigieren.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir die Art und Weise, wie wir selbstentwickelnde Agenten bauen, überdenken müssen. Wir müssen eine KI nicht in eine starre, vorab geschriebene Box zwingen. Stattdessen sollten wir einen „kapazitätsadaptiven“ Ansatz wählen. Wenn die KI klug genug ist (ein „Frontier“-Modell), können wir ihr die Schlüssel übergeben und sie ihren eigenen Lernprozess komponieren lassen. Wir müssen lediglich die Leitplanken einhalten: die Ziele, das Budget und die Regeln des Engagements. Aber für weniger fähige Modelle bleibt das klassische, strikte Coaching der beste Weg, um sicherzustellen, dass sie effektiv lernen. Es ist ein Wechsel von „Einheitsgröße für alle“ hin zu „Das richtige Werkzeug für das richtige Gehirn“.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.