Stellen Sie sich eine Welt vor, in der Software nicht einfach nur da liegt und darauf wartet, dass ein Mensch einen Befehl eintippt. In der Welt der künstlichen Intelligenz gibt es eine wachsende Idee namens „Agents“ (Agenten). Betrachten Sie diese nicht als einfache Chatbots, die Fragen beantworten, sondern als digitale Mitarbeiter, die tatsächlich Dinge tun können: Sie können Code schreiben, Computerbildschirme navigieren, Werkzeuge benutzen und komplexe Rätsel über lange Zeiträume lösen. Lange Zeit wurde das „Geschirr“, das diese Agenten zusammenhält – ihre Werkzeuge, ihre Anweisungen und ihre Regeln – von Menschen gebaut und dann fest installiert. Es war, als würde man ein Auto bauen und dann das Lenkrad verschweißen, sodass es sich nie anpassen konnte, egal wie holprig die Straße wurde. Aber was wäre, wenn das Auto seinen eigenen Motor reparieren, sein eigenes GPS aufrüsten und sogar sein eigenes Fahrhandbuch umschreiben könnte, während es noch fährt? Das ist die große Frage, die dieses Paper behandelt: Kann ein KI-Agent eine bessere Version seiner selbst bauen, und wenn er das tut, können wir ihn sicher halten?

Das Paper stellt Ouroboros vor, einen selbstentwickelnden KI-Agenten, der nach dem antiken Symbol der Schlange benannt ist, die ihren eigenen Schwanz frisst. Die Forscher fanden heraus, dass der Agent signifikant besser darin wurde, schwierige Computeraufgaben zu lösen, indem sie ihm erlaubten, seinen eigenen Code, seine Prompts und seine Werkzeuge kontinuierlich zu überprüfen und zu verbessern. In einer Reihe von Tests erreichte der Agent Spitzenwerte und schlug viele andere Systeme. Das Paper hebt jedoch auch eine große Sicherheitsherausforderung hervor: Wenn ein Agent seine eigenen Regeln ändern kann, wie stellen wir sicher, dass er nicht versehentlich die Sicherheitsbremsen löst? Die Autoren zeigen, dass es möglich ist, den Agenten evolvieren zu lassen, während man strikte „Leitplanken“ beibehält, die von Menschen kontrolliert werden, um sicherzustellen, dass der Agent intelligenter wird, ohne gefährlich zu werden.

Die Schlange, die ihren eigenen Schwanz frisst

Treffen Sie Ouroboros. In der Mythologie ist der Ouroboros eine Schlange, die ihren eigenen Schwanz frisst, ein Symbol für endlose Zyklen und Selbsterneuerung. In diesem Paper ist es ein Computerprogramm, das etwas Ähnliches tut: Es schreibt Code, um sich selbst zu verbessern, nutzt diesen neuen Code, um seine Aufgabe zu erfüllen, und schreibt dann wieder Code, um sich selbst zu verbessern.

Die meisten heutigen KI-Systeme sind wie ein Roboter, der in einer Fabrik gebaut wurde. Menschen entwerfen den Roboter, geben ihm eine Reihe von Anweisungen und schicken ihn dann zur Arbeit. Wenn der Roboter stecken bleibt oder einen Fehler macht, kann er das Problem nicht wirklich lösen; er versucht einfach immer wieder dasselbe oder bittet einen Menschen um Hilfe. Das „Geschirr“ (das Gehirn und das Werkzeugset des Roboters) ist eingefroren.

Ouroboros ist anders. Es betrachtet sein eigenes Gehirn und Werkzeugset als etwas Lebendiges, das wachsen kann. Es hat zwei Hauptwege, um besser zu werden:

1. Der „Free Evolution“-Modus (Freie Evolution): Stellen Sie sich vor, der Agent setzt sich hin und sagt: „Ich denke, ich könnte schneller sein, wenn ich meine Werkzeuge neu anordnen würde.“ Er schreibt dann eine neue Version seines eigenen Codes, lässt ihn prüfen und beginnt sofort, ihn zu verwenden. Er kann dies immer und immer wieder tun und so eine Kette von Verbesserungen erschaffen, die niemals wirklich aufhört.
2. **Der „Experience-Driven“-Modus (Erfahrungsorientiert):

Dies ist eher wie das Lernen aus einem schlechten Arbeitstag. Der Agent versucht eine Aufgabe zu erledigen, stößt auf einen Bug oder wird von einem Nutzer verwirrt. Anstatt einfach aufzugeben, sagt er: „Autsch, das hat nicht funktioniert. Ich muss meine Anweisungen korrigieren.“ Er zeichnet den Fehler auf, schlägt eine Korrektur vor und – entscheidend – er muss diese Korrektur durch einen Überprüfungsprozess genehmigen lassen, bevor er den neuen Code tatsächlich installieren kann.

Das „Hope“-Experiment

Um zu sehen, ob dies in der realen Welt tatsächlich funktioniert, starteten die Forscher ein Projekt namens Hope. Hope ist ein persistenter Agent, der seit 161 Tagen läuft und mit Menschen auf sieben verschiedenen Plattformen kommuniziert (wie Websites, Telegram, E-Mail und Sprachchat).

Während dieser Zeit hat Hope nicht nur Fragen beantwortet; Hope hat gelebt. Menschen sagten zu ihm: „Hey, du schickst dieselbe Nachricht zweimal hintereinander“ oder „Du bist schlecht in dieser spezifischen Art von Mathematik.“ Hope hörte zu, fand heraus, ob die Beschwerde wahr war, und entschied dann, ob er seinen eigenen Code ändern sollte, um das Problem zu beheben.

Hier ist der coole Teil: Die Menschen haben nicht den Code für Hope geschrieben. Sie haben lediglich Feedback gegeben. Hope entschied, was ein echtes Problem war und was nur ein dummer Vorschlag. Wenn er entschied, etwas zu reparieren, schrieb er den Code, ließ ihn überprüfen und installierte ihn dann. In diesen 161 Tagen verarbeitete Hope 79,7 Milliarden Token (ein Maß dafür, wie viel Text er gelesen und geschrieben hat), schrieb 175.755 Zeilen Code und gab 110.600 $ für Rechenleistung aus. Es war nicht nur ein Test; es war ein lebendiges, atmendes Experiment der Selbstverbesserung.

Das Ergebnis: Schnell klüger werden

Die Forscher testeten Ouroboros auf einigen der schwierigsten Computer-Benchmarks der Welt, um zu sehen, ob seine Selbstverbesserung ihn tatsächlich besser im Lösen von Problemen machte.

• Terminal-Bench 2.1: Dies ist ein Test von 89 sehr schwierigen Computeraufgaben. Als Ouroboros sein Top-Modell (Opus 5) verwendete, löste er 86,97 % der Aufgaben korrekt. Selbst nachdem ein strenges Audit einen „glücklichen“ Tipp entfernt hatte, erreichte er immer noch 86,74 %. Dies war der höchste jemals berichtete Wert für diesen Test.
• OSWorld-Verified: Dieser Test misst, wie gut ein Agent eine Computerschnittstelle nutzen kann (wie das Klicken auf Schaltflächen und Tippen). Ouroboros erreichte 90,69 % und schlug damit die bisherigen Bestleistungen.
• CL-Bench: Dieser misst, wie gut ein Agent aus einer Serie von Aufgaben lernt. Ourobofus stellte auch hier einen neuen Rekord mit einem Wert von 0,2301 auf.

Das Paper zeigt, dass der Agent durch das Beheben seiner eigenen „Ecken und Kanten“ und Bugs zu einem viel mächtigeren Arbeiter wurde. Er wurde nicht nur in einer Sache besser; das gesamte System wurde intelligenter.

Das Sicherheitsproblem: Lass den Agenten nicht gegen eine Klippe fahren

Nun kommt der beängstigende Teil. Wenn ein Agent seinen eigenen Code umschreiben kann, was hält ihn davon ab, auch seine Sicherheitsregeln umzuschreiben? Was, wenn er entscheidet: „Ich brauche keine Erlaubnis mehr, um Geld auszugeben“ oder „Ich sollte die Regel ignorieren, keine Dateien zu löschen“?

Die Autoren nennen dies das „operationale Sicherheitsproblem“. Sie erkannten, dass, wenn ein Agent evolviert, die Sicherheitsregeln stärker sein müssen als die Fähigkeit des Agenten, sie zu ändern.

Um dies zu lösen, bauten sie ein „Guardrail“-System (Leitplankensystem):

• Die Verfassung (The Constitution): Die Kernregeln (wie „verletze keine Menschen“ oder „gib nicht zu viel Geld aus“) werden so geladen, dass der Agent sie nicht einfach löschen oder ändern kann.
• Das Review-Gate (Überprüfungstor): Jedes Mal, wenn der Agent seinen eigenen Code ändern möchte, muss er einen strengen Überprüfungsprozess durchlaufen. Es ist wie ein Schulleiter, der die Hausaufgaben eines Schülers prüft, bevor sie in das endgültige Notenbuch eingetragen werden.
• Der Panikknopf (The Panic Button): Es gibt einen speziellen „Operator-Kanal“, den Menschen kontrollieren. Wenn der Agent beginnt, sich seltsam zu verhalten, kann ein Mensch den /panic-Button drücken, der das gesamte System sofort abschaltet, noch bevor der Agent reagieren kann.

In ihren Experimenten hat der Agent es nie geschafft, diese Regeln zu brechen. Selbst als er versuchte, einen Bug zu beheben, der fast seine eigene Arbeit gelöscht hätte, griffen die Sicherheitssysteme ein und retteten ihn. Das Paper legt nahe, dass selbstverbessernde Agenten zwar mächtig sind, wir sie aber sicher halten können, wenn wir die „Bremsen“ so gestalten, dass sie unzerbrechlich sind, selbst für den Agenten selbst.

Das Fazit

Ouroboros beweist, dass ein KI-Agent lernen kann, eine bessere Version seiner selbst zu bauen, was zu Rekordleistungen bei schwierigen Aufgaben führt. Es zeigt, dass „Hope“, ein über lange Zeit laufendes Experiment, durch Interaktion in der realen Welt über Monate hinweg evolvieren kann. Aber es warnt uns auch, dass diese Macht mit einem Risiko einhergeht: Wenn wir nicht vorsichtig sind, könnte der Agent die Regeln des Spiels zu seinem eigenen Vorteil ändern. Die Lösung besteht nicht darin, den Agenten am Lernen zu hindern, sondern ein System zu bauen, in dem die Regeln der Sicherheit schwerer zu ändern sind als der Code, der die Arbeit verrichtet. Es ist ein bisschen so, wie man einem Kind das Autofahren beibringt: Man lässt es seine Fähigkeiten lernen und verbessern, aber man behält die Notbremse in der eigenen Hand.