Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, das jedoch in einem Glaskasten feststeckt. Sie können nicht ändern, wie das Gehirn denkt oder neue Dinge lernt; seine Verdrahtung ist eingefroren. Sie können jedoch den Raum verändern, in dem es lebt. Sie können die Möbel umstellen, dem Gehirn neue Werkzeuge an den Gürtel hängen oder ihm eine bessere Karte geben. In der Welt der künstlichen Intelligenz wird dieser „Raum“ als Harness bezeichnet. Es ist die Sammlung von Anweisungen, Werkzeugen und Gedächtnissystemen, die um ein großes KI-Modell herum aufgebaut werden, um ihm zu helfen, Probleme zu lösen. Lange Zeit glaubten Wissenschaftler, dass man, um eine KI intelligenter zu machen, das Gehirn selbst aufrüsten müsste. Aber was wäre, wenn man den Raum so perfekt gestalten könnte, dass das eingefrorene Gehirn plötzlich zum Genie wird? Das ist die große Frage, die dieses Paper behandelt: Kann ein Robotergehirn, das nicht von selbst lernen kann, sich selbst beibringen, einen besseren Raum zu bauen?

Der Forscher hinter dieser Studie, Tailin Zhou, sagt „Ja, aber mit Grenzen“. Sie entwickelten ein System namens Hierarchical Self-Improvement (HSI). Stellen Sie sich das wie ein dreistöckiges Gebäude vor, in dem auf jeder Etage dasselbe eingefrorene Gehirn wohnt, aber jeweils eine andere Aufgabe erfüllt. Im Erdgeschoss spielt das Gehirn ein Spiel unter Verwendung eines bestimmten Satzes von Regeln (dem Harness). In der mittleren Etage betrachtet das Gehirn diese Regeln und versucht, sie umzuschreiben, um eine höhere Punktzahl zu erreichen. In der obersten Etage betrachtet das Gehirn, wie es die Regeln umschreibt, und versucht, auch diesen Prozess zu verbessern. Der magische Trick dabei ist, dass das Gehirn in der obersten Etage in seiner eigenen Logik „eingefroren“ ist – es kann sich nicht selbst umschreiben, was verhindert, dass es verwirrt wird oder alles zerstört. Es ist wie ein Koch, der zwar das Rezept ändern kann (mittlere Etage) und sogar das Rezeptbuch umschreiben kann (obere Etage), dessen eigene Hände und Gehirn jedoch feststehen.

Das Team testete dies an einer Reihe von videospielähnlichen Rätseln namens BALROG. Sie fanden heraus, dass das System bei Spielen mittlerer Schwierigkeit hervorragend funktionierte. Indem sie die KI ermöglichten, ihre eigenen Anweisungen immer wieder umzuschreiben, verbesserte sie sich signifikant im Spiel, ohne ihr Gehirn zu verändern. Beispielsweise sprang die Punktzahl bei einem Spiel namens BabyAI um 39,3 % und bei Crafter um 33,0 %. Es lernte sogar, neue Level zu spielen, die es noch nie gesehen hatte, was bewies, dass es nicht nur Antworten auswendig lernte. Das Paper fand jedoch auch eine harte Grenze: Wenn das Spiel zu schwer war, um vom eingefrorenen Gehren überhaupt verstanden zu werden (wie ein sehr komplexer Dungeon Crawler namens NLE), konnte keine noch so geschickte Umgestaltung des Raums helfen. Das Gehirn konnte einfach nicht die richtigen Signale generieren, um zu lernen.

Der wichtigste Punkt ist also, dass man aus einer festen KI viel mehr Leistung herausholen kann, indem man ihr erlaubt, ständig ihr eigenes „Benutzerhandbuch“ und ihren „Werkzeuggürtel“ aufzuwerten, aber man kann kein schwaches Gehirn durch das bloße Umstellen der Möbel in ein Supergehirn verwandeln. Die Verbesserung ist real, messbar und überraschend effektiv, aber sie stößt an eine Decke, die durch die Intelligenz des ursprünglichen Gehirns bestimmt wird.

Der Drei-Etagen-Gehirn-Bau

Um zu verstehen, wie dies funktioniert, stellen Sie sich ein einzelnes, eingefrorenes KI-Gehirn vor (nennen wir es „M“), das zu klug ist, um neue Fakten zu lernen, aber zu stur, um seinen eigenen Code zu ändern. Der Forscher baute ein dreistöckiges Gebäude für dieses Gehirn, in dem jede Etage eine andere Aufgabe erfüllt.

Das Erdgeschoss: Der Spieler
Hier spielt das Gehirn M ein Spiel. Es hat einen „Harness“ (H), der wie ein maßgeschneiderter Schutzanzug mit einem spezifischen Satz von Werkzeugen, einem Notizbuch für das Gedächtnis und einem Regelwerk für die Kommunikation mit dem Spiel ist. Dies ist der Teil, der die eigentliche Arbeit leistet. Wenn das Spiel lautet „Finde den roten Schlüssel“, sagt der Harness dem Gehirn, wie es nach Schlüsseln suchen und wo es sie platzieren soll.

Die zweite Etage: Der Architekt
Oben betrachtet das gleiche Gehirn M nun die Rolle des Architekten. Es beobachtet den Spieler im Erdgeschoss, sieht, wo dieser gescheitert ist, und schreibt dann den Harness um. Es könnte sagen: „Hey, der Spieler hat ständig vergessen, dass der Schlüssel im linken Raum war. Lass uns einen Klebezettel im Gedächtnissystem hinzufügen.“ Dies ist der Evolver. Er spielt das Spiel nicht; er ändert lediglich die Regeln des Spiels für den Spieler.

Die dritte Etage: Der Blueprint-Designer
In der obersten Etage fungiert das Gehirn M nun als Blueprint-Designer. Es beobachtet den Architekten auf der zweiten Etage. Vielleicht ist der Architekt zu langsam darin, Fehler zu finden, oder er macht immer wieder die gleiche Art von Fehler. Der Designer schreibt die Strategie des Architekten um. Er könnte sagen: „Schau nicht nur auf die letzten 5 Züge, sondern auf die letzten 20.“ Dies ist der Meta-Evolver.

Die Sicherheitsverriegelung
Hier ist der wichtigste Teil: Das Gebäude hat eine Sicherheitsverriegelung. Der Blueprint-Designer (oberste Etage) kann die Strategie des Architekten ändern, aber er kann seinen eigenen Code nicht ändern. Der Code, der die oberste Etage steuert, ist „eingefroren“ und unveränderlich. Dies verhindert, dass das System in eine Endlosschleife gerät, in der es versucht, sich selbst ewig umzuschreiben und dabei alles zu zerstören. Es ist wie ein Lehrer, der den Unterrichtsplan für die Schüler ändern kann, und der Direktor, der den Unterrichtsplan des Lehrers ändern kann, aber die Stellenbeschreibung des Direktors selbst ist in Stein gemeißelt.

Der „Denk-An/Aus“-Schalter

Um sicherzustellen, dass die KI nicht einfach nur mehr Gehirnleistung einsetzte, um die Rätsel zu lösen, nutzte der Forscher einen klugen Trick. Wenn das Gehirn das Spiel spielte (Erdgeschoss), schaltete er den „Denkmodus“ aus. Es musste nach seinem ersten Instinkt handeln. Aber wenn es die Regeln umschrieb (zweite und dritte Etage), schaltete er den Denkmodus wieder ein. Dies bewies, dass die Verbesserungen aus den besseren Regeln (dem Harness) resultierten und nicht daraus, dass das Gehirn plötzlich klüger wurde oder länger nachdachte.

Die Ergebnisse: Wann es funktioniert und wann es scheitert

Das Team testete dieses System auf einem Benchmark namens BALROG, einer Sammlung von textbasierten Abenteuerspielen mit unterschiedlichen Schwierigkeitsgraden.

Die Erfolgsgeschichten
Bei Spielen mittlerer Schwierigkeit war das System ein Star.

• BabyAI: Die Punktzahl verbesserte sich um +39,3 %.
• Crafter: Die Punktzahl stieg um +33,0 %.
• TextWorld: Ein Zuwachs von +25,0 %.
• MiniHack: Ein Gewinn von +15,0 %.

Noch beeindruckender war, dass das System bei einem Test auf einem Spiel namens BabaIsAI Regeln lernte, die auch in neuen Levels funktionierten, die es zuvor noch nie gesehen hatte. In einem Sub-Spiel namens „BreakStop“ erreichte es einen Wert von 0,98 (fast perfekt) und in „GoTo“ einen Wert von 1,00 (perfekt). Das bedeutet, die KI hat nicht nur die spezifischen Level auswendig gelernt, mit denen sie geübt hat, sondern tatsächlich gelernt, wie man eine bessere Strategie entwickelt, die wiederverwendet werden kann.

Die harten Grenzen
Das Paper fand jedoch auch eine klare Grenze. Als sie versuchten, dies auf ein sehr schweres Spiel namens NLE anzuwenden (das tiefes logisches Denken erfordert und nur sehr wenige Hinweise bietet), versagte das System bei der Verbesserung. Die Punktzahl blieb bei 0,0.

Warum? Weil das eingefrorene Gehirn schlichtweg nicht klug genug war, um das Spiel überhaupt zu verstehen. Der Harness kann die Werkzeuge zwar neu anordnen, aber er kann dem Gehirn keine neuen Augen geben, um die Lösung zu sehen. Das Paper legt nahe, dass die Evolution des Harness wie ein Multiplikator wirkt: Wenn das Gehirn bereits halbwegs gut in einer Aufgabe ist, kann der Harness es großartig machen. Aber wenn das Gehirn bei der Aufgabe völlig versagt, wird auch keine Menge an Werkzeug-Umgestaltung es gut machen.

Was dies für die Zukunft bedeutet

Diese Forschung deutet auf einen neuen Weg hin, KI besser zu machen, ohne riesige, teure neue Modelle trainieren zu müssen. Anstatt zu versuchen, ein klügeres Gehirn zu bauen, können wir ein klügeres „Zimmer“ bauen, in dem das Gehirn lebt. Anstatt das Gehirn selbst zu verbessern, können wir seine Anweisungen ständig selbst verbessern lassen, solitôt die Aufgabe nicht zu schwer ist und die KI klares Feedback darüber erhält, was sie richtig oder falsch gemacht hat.

Es ist ein wenig so, als würde man einer Person ein festes Set an Fähigkeiten geben, sie aber ihr eigenes Atelier entwerfen lassen. Wenn die Aufgabe innerhalb ihres Fähigkeitsspektrums liegt, kann sie ein Atelier so effizient gestalten, dass sie zu einem Meisterhandwerker wird. Aber wenn die Aufgabe eine Fähigkeit erfordert, die sie nicht besitzt, wird auch ein noch so gut gestaltetes Atelier nicht helfen, die Aufgabe zu vollenden. Das Paper beweist, dass für viele Aufgaben das Design des Ateliers der fehlende Schlüssel ist, um das volle Potenzial der Werkzeuge, die wir bereits besitzen, freizusetzen.