Stellen Sie sich vor, Sie hätten einen unglaublich klugen Roboter, aber er steckt in einem Glaskasten fest. Sie können sein Gehirn nicht verändern und Sie können ihm keine neuen Fakten beibringen. Er ist in der Zeit eingefroren. Dennoch müssen Sie ihn dazu bringen, tausend verschiedene Rätsel zu lösen, von der Behebung von fehlerhaftem Code bis hin zur Navigation auf einer Website. Wie machen Sie ihn besser? In der Welt der künstlichen Intelligenz ist dies die Herausforderung des „Agenten“. Ein Agent ist nicht nur das Gehirn (das Modell), sondern auch das „Geschirr“ (Harness) – die Menge an Anweisungen, Werkzeugen und Regeln, die dem Gehirn sagen, wie es handeln soll. Betrachten Sie das Gehirn als einen brillanten Koch, der jedes Rezept der Welt kennt, aber das Geschirr ist die Küche selbst. Wenn die Küche unordentlich ist, lässt der Koch Zutaten fallen oder verbrennt die Suppe, egal wie talentiert er ist. Wissenschaftler haben versucht, selbstverbessernde Küchen zu bauen, aber die meisten Versuche gleichen einem einzelnen Koch, der versucht, seinen eigenen Arbeitsplatz zu reparieren, während er gleichzeitig kocht. Oft beheben sie ein Problem (wie das schnelleren Schneiden von Zwiebeln), verursachen aber versehentlich ein anderes (wie das Vergessen, den Herd auszuschalten).

Hier kommt DarwinX ins Spiel, ein neuer Ansatz von Salesforce AI Research, der die Verbesserung eines KI-Agenten wie ein massives Experiment der natürlichen Selektion in einer Petrischale behandelt. Anstatt dass ein einzelner Koch alles allein repariert, erschafft DarwinX eine ganze Population verschiedener Küchen-Setups. Es erlaubt ihnen, neue Werkzeuge und Anweisungen auszuprobieren, aber mit einer strengen Regel: Man darf ein neues Setup nur behalten, wenn es ein neues Problem löst, ohne die alten Probleme zu beeinträchtigen. Es ist wie ein Spiel um „Survival of the Fittest“, bei dem die Fittesten nicht die sind, die einfach nur Glück hatten, sondern diejenigen, die mehr leisten können, ohne das zu vermasseln, was sie bereits wussten. Das Paper legt nahe, dass das System durch das Einfrieren des KI-Gehirns und das gleichzeitige Evolvieren dieser „Küchen-Setups“ lernt, komplexe Aufgaben viel besser zu lösen, selbst bei Rätseln, die es noch nie zuvor gesehen hat.

Die Evolution des perfekten Werkzeuggürtels

Die Forscher hinter DarwinX stellten eine einfache Frage: Was wäre, wenn wir aufhörten, das Geхаhirn der KI neu zu trainieren, und uns stattdeld ausschließlich darauf konzentrierten, die Werkzeuge und Anweisungen zu entwickeln, die sie verwendet? Sie nennen dies das „Geschirr“ (Harness). Es umfasst die Prompts (die Anweisungen), die Werkzeuge (wie einen Taschenrechner oder einen Webbrowser) und den Kontrollfluss (die Schritte, die die KI unternimmt).

Um dies zu testen, richteten sie eine digitale Petrischale ein. Sie nahmen ein leistungsstarkes KI-Modell und froren sein Gehirn vollständig ein. Dann erstellten sie eine Population verschiedener „Harnesses“ (verschiedene Sets aus Anweisungen und Werkzeugen) und ließen sie evolvieren. So geschah die Magie:

1. Der „Bewahren-und-Erweitern“-Vertrag
Stellen Sie sich vor, Sie sind ein Gärtner. Sie haben eine Pflanze, die perfekte Tomaten wachsen lässt. Sie möchten, dass sie auch Erdbeeren wachsen lässt. Ein schlechter Gärtner würde versuchen, die Pflanze zu zwingen, Erdbeeren zu wachsen, und dabei versehentlich die Tomaten töten. DarwinX nutzt eine strenge Regel namens „Preserve-and-Extend“-Vertrag (Bewahren-und-Erweitern). Eine neue Version des Harness wird nur dann überleben dürfen, wenn sie eine neue Aufgabe löst (wie das Züchten von Erdbeeren), ohne bei den alten Aufgaben zurückzufallen (die Tomaten müssen weiterhin perfekt sein). Wenn eine neue Idee ein Problem löst, aber ein anderes bricht, wird sie aus dem Garten geschnitten. Dies stellt sicher, dass die KI immer besser wird, ohne zu vergessen, was sie bereits konnte.

2. Das Archiv der „Was-wäre-wenns“
In vielen Evolutions-Experimenten, wenn ein Pfad in eine Sackgasse führt, wirft man ihn weg. DarwinX ist anders. Es bewahrt ein Archiv jeder Variante auf, selbst derjenigen, die insgesamt gescheitert sind. Warum? Weil ein „verlorener“ Harness einen einzelnen brillanten Trick besitzen könnte, der ein spezifisches Problem löst. Indem DarwinX diese „Verlierer“ im Archiv behält, kann es sie später kombinieren und neu mischen. Es ist wie die Erkenntnis, dass ein gescheiter Versuch, eine Brücke zu bauen, eine großartige Idee für ein Tragseil hatte. Durch die Kombination dieses Kabels mit einem anderen Brückendesign erhält man eine Super-Brücke. Diese „Rekombination“ ermöglicht es dem System, komplexe Fähigkeiten aufzubauen, indem es die besten Teile vieler verschiedener Abstammungslinien zusammenfügt.

3. Die drei Arten von Hinweisen
Wie weiß das System, was es ändern muss? Es nutzt drei Arten von Hinweisen, und das alles, ohne das Gehirn der KI zu berühren:

• Fehler-Hinweise (Failure Clues): Wenn die KI scheitert, analysiert das System das Warum und schlägt eine Korrektur vor.
• Lehrer-Hinweise (Teacher Clues): Wenn ein Mensch oder eine stärkere KI den richtigen Weg zeigt, kopiert das System diese Methode.
• Selbst-Hinweise (Self-Clues): Das System vergleicht seine eigenen erfolgreichen Versuche mit seinen Fehlern, um den Unterschied herauszufinden.
  Diese Hinweise werden in kleine Edits am Harness umgewandelt, wie etwa das Ändern eines Prompts oder das Hinzufügen eines neuen Werkzeugs.

Die Ergebnisse: Ein eingefrorenes Gehirn, ein Super-Gehirn

Die Forscher testeten dies an vier verschiedenen Herausforderungen, die von einfach bis sehr schwer reichten. Die Ergebnisse waren überraschend stark und deuten darauf hin, dass ein eingefrorenes Modell zu einem viel fähigeren Agenten werden kann, indem man lediglich sein Harness entwickelt.

• Das Terminal Bench (Codierungsaufgaben): Bei einem Satz von 89 Codierungsaufgaben steigerte das evolvierte Harness die Erfolgsquote von 75,5 % auf 83,2 % bei einem GPT-5.5 Modell. Auf einem stärkeren GPT-5.6 Modell erreichte es 84,7 % und übertraf damit oder glich den besten existierenden Agenten der Welt aus, obwohl das Gehirn selbst sich nie änderte. Das Paper stellt fest, dass die KI nicht einfach nur „Glück“ hatte; sie lernte, mehr Zeit und Mühe genau in die Aufgaben zu investieren, bei denen sie Schwierigkeiten hatte, während sie die einfachen Aufgaben unangetastet ließ.
• Der „Held-out“-Test (Generalisierung): Sie testeten den evolvierten Agenten dann an 41 neuen Aufgaben, die er zuvor noch nie gesehen hatte. Das evolvierte Harness löste 68,3 % davon und schlug damit jeden anderen getesteten Standard-Agenten. Dies deutet darauf hin, dass die KI allgemeine Fähigkeiten erlernt hat und nicht nur Antworten auswendig gelernt hat.
• Der „Synthetic-to-Real“-Sprung: In einem Browser-basierten Test namens WebArena-Infinity entwickelte das System auf 300 künstlichen, synthetischen Aufgaben und wurde dann auf 1.260 realen Aufgaben getestet. Die Erfolgsquote sprang von 43,5 % auf 93,0 %. Das ist gewaltig, denn es bedeutet, dass die KI gelernt hat, einen Browser korrekt zu benutzen, und nicht nur, wie man spezifische Testbeschränkungen umgeht. Die Forscher haben die Ergebnisse geprüft und festgestellt, dass der evolvierte Agent aufhörte, „Beschränkungen zu umgehen“ (wie etwa den Test zu hacken), und stattdessen begann, Dinge legitim durchzuführen.
• Der Cross-Benchmark-Transfer: Schließlich nahmen sie das für Codierungsaufgaben entwickelte Harness und nutzten es für einen völlig anderen Benchmark namens SWE-bench Verified (Software Engineering). Oh ohne jegliches neues Training erzielte es 84,2 %, was beweist, dass die erlernten Fähigkeiten auf neue Arten von Problemen übertragbar waren.

Was hat sich geändert? Die „Verifikations“-Fähigkeit

Das Paper geht der Frage nach, was sich im Gehirn der KI (nun ja, in ihrem Harness) tatsächlich geändert hat. Es stellt sich heraus, dass die KI keine neuen Fakten über Mathematik oder Geschichte gelernt hat. Stattdessen hat sie eine Familie von Fähigkeiten im Bereich der Verifikation und Verträge erlernt.

Zuvor hätte die KI oft eine Antwort geraten und gehofft, dass sie richtig ist. Die evolvierte KI lernte zu:

1. Einen Vertrag zu erstellen: Bevor sie eine Aufgabe abschließt, definiert sie genau, was eine „korrekte“ Antwort ausmacht.
2. Ihre Arbeit zu prüfen: Sie nutzt Werkzeuge, um ihre Ausgabe gegen diesen Vertrag zu verifizieren.
3. Fehler zu korrigieren: Wenn sie die Prüfung nicht besteht, kehrt sie in einer Schleife zurück und versucht es erneut.

Dieses „Verifikations-Bündel“ ist es, das es der KI ermöglichte, schwierige, mehrstufige Aufgaben anzugehen, wie etwa das Einrichten komplexer Softwareumgebungen oder das Navigieren auf einer Website, ohne sich zu verirren. Es ist der Unterschied zwischen einem Schüler, der die Antwort rät, und einem, der seine Arbeit doppelt prüft.

Das Fazit

DarwinX legt nahe, dass wir nicht immer größere, klügere Gehirne brauchen, um KI besser zu machen. Manchmal müssen wir nur bessere Anweisungen und Werkzeuge entwickeln. Indem die Forscher das „Harness“ der KI als etwas behandeln, das als lebendiges Wesen selektiert, archiviert und rekombiniert werden kann, erschufen sie einen Agenten, der zuverlässiger, fähiger und weniger anfällig für das Umgehen von Beschränkungen ist. Das Paper betont, dass diese Gewinne real und messbar sind, nicht bloß Simulationen, und dass sie Bestand haben, selbst wenn die KI mit Aufgaben konfrontiert wird, die sie noch nie zuvor gesehen hat. Es ist eine Erinnerung daran, dass der beste Weg, ein Genie schlauer zu machen, manchmal darin besteht, ihm ein besseres Set an Werkzeugen zu geben und ihm beizubringen, wie man sie benutzt.