Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

Die digitale Laborratte: Wenn KI versucht, alleine Wissenschaft zu betreiben

Stellen Sie sich eine Welt vor, in der Computer nicht nur Anweisungen befolgen, sondern gefragt werden, selbst herauszufinden, wie man ein Rätsel löst. Dies ist das Reich des Maschinellen Lernens, eines Zweigs der Wissenschaft, in dem wir Computern beibringen, aus Daten zu lernen, anstatt jede Regel hart zu codieren. Normalerweise, wenn wir wollen, dass ein Computer besser in einer Aufgabe wird – wie etwa das Erkennen von Katzen auf Fotos oder der Vorhersage des Wetters –, nutzen wir eine Methode namens Neural Architecture Search (Suche nach neuronalen Architekturen). Stellen Sie sich das wie den Versuch vor, den perfekten Lego-Turm zu bauen. Sie haben eine Kiste voller Steine (den Code des Computers) und möchten sie so stapeln, dass der Turm am höchsten und stabilsten steht. Traditionell haben Menschen die Regeln entworfen, wie man die Steine auswählt, oder wir haben einfache Mathematik genutzt, um zu erraten, welche Kombinationen am besten funktionieren könnten.

Aber was wäre, wenn wir einem superintelligenten Roboter die gesamte Lego-Kiste übergeben würden und sagten: „Du findest schon heraus, wie es geht. Baue den besten Turm, den du kannst, und hör nicht auf, bis du fertig bist“? Das ist die große Frage, die dieses Paper untersucht. Es fragt: Wenn wir einem einzelnen künstlichen Intelligenz-Agenten (KI) alle Werkzeuge geben, die ein menschlicher Forscher benötigt – wie ein Notizbuch, eine Bibliothek und einen Computer, um Tests durchzuführen –, kann er dann wochenlang als einsamer Wissenschaftler agieren? Wir kümmern uns darum, weil wir wissen wollen, ob die KI mit zunehmender Intelligenut helfen kann, neue Dinge schneller zu entdecken, oder ob sie einfach in einer Schleife aus winzigen, langweiligen Änderungen stecken bleibt. Bei der Antwort geht es nicht nur darum, bessere Türme zu bauen; es geht darum, zu verstehen, wie man ein Team aufbaut, in dem Menschen und Roboter zusammenarbeiten, ohne dass der Roboter gelangweilt oder verwirrt wird.

---

Das Experiment: Ein Roboter-Forscher auf einer langen Reise

In dieser Studie bauten die Forscher ein digitales Labor auf und übergaben den Schlüssel an eine einzelne, universell einsetzbare KI. Sie baten die KI nicht einfach nur, ein mathematisches Problem zu lösen; sie baten sie, eine neue Art von computergestütztem Gehirn, einen sogenannten Vision Transformer, zu entwerfen. Speziell gaben sie ihr eine schwierige Einschränkung vor: Das Gehirn musste ausschließlich mit „Channel Attention“ arbeiten (sich also auf die Farben und Texturen eines Bildes konzentrieren) und es war ihr untersagt, „Spatial Attention“ (den Blick auf die Position der Dinge im Bild) zu verwenden. Dies war so, als würde man einen Chefkoch bitten, ein Gourmet-Menü zu kochen, ohne jemals ein Messer oder einen Herd zu benutzen, was die KI dazu zwang, eine völlig neue Art des Kochens zu erfinden.

Die KI erhielt einen spezifischen Satz an Werkzeugen: eine Möglichkeit, ihren Code zu verwalten, einen Tracker, um ihre Experimente zu überwachen, ein persistentes Gedächtnis, um sich an Versuche zu erinnern, und nach der Hälfte der Zeit Zugang zu einer digitalen Bibliothek wissenschaftlicher Arbeiten. Die menschlichen Forscher traten zurück und griffen nur ein, um die Regeln des Spiels zu ändern oder die KI anzustupsen, wenn sie feststeckte. Die KI wurde etwa 10 Wochen lang in der realen Welt laufen gelassen, wobei sie etwa 150 Experimente durchführte und ca. 2.400 GPU-Stunden an Rechenleistung verbrauchte. Es war ein Marathon, kein Sprint.

Die Geschichte von drei Phasen

Das Experiment entfaltete sich in drei unterschiedlichen Kapiteln, jedes mit seiner eigenen Stimmung und seinem eigenen Ausgang.

Phase 1: Die goldene Stunde und die Wand
Zu Beginn war die KI wie ein Kind im Süßigkeitenladen. Sie machte schnelle, massive Verbesserungen. Schon in den ersten sechs Versuchen entdeckte sie einen grundlegenden Trick, der ihre Genauigkeit enorm steigerte. Dieser eine frühe Erfolg war so effektiv, dass er etwa 80 % des gesamten Fortschritts ausmachte, den die KI auf dem kleinen Testdatensatz jemals erzielte. Doch dann hörte der Spaß auf. Die KI stieß gegen eine „Sättigungswand“. Sie versuchte ständig, ihre Einstellungen zu optimieren – änderte hier eine Zahl, justierte dort einen Regler – aber nichts funktionierte. Sie steckte in einer Schleife aus winzigen, inkrementellen Änderungen fest, die nichts brachten. Es war, als hätte der Roboter keine neuen Ideen mehr und würde sich nur noch im Kreis drehen.

Phase 1b: Die Bibliothek öffnet sich
Die menschlichen Forscher bemerkten, dass der Roboter feststeckte. Sie änderten nicht das Gehirn des Roboters, sondern gaben ihm ein neues Werkzeug: Zugang zu einer Bibliothek wissenschaftlicher Arbeiten. Plötzlich änderte sich das Verhalten der KI. Sie hörte auf, nur Zahlen zu manipulieren, und begann, mutige Änderungen am eigentlichen Code vorzunehmen, inspiriert durch das, was sie las. Sie begann, neue Strukturen vorzuschlagen, statt nur alte anzupassen. Dies deutet darauf hin, dass der Roboter nicht „dumm“ war; er brauchte nur einen anderen Schlüssel, um die nächste Ebene des Denkens freizuschalten.

Phase 2 und 3: Skalierung und Stolpern
Als die Forscher die KI immer schwierigeren Tests aussetzten (von kleinen Bildern zu massiven, komplexen Bildern), wiederholte sich das Muster. Die KI fand eine gute Lösung und blieb dann hängen, indem sie versuchte, winzige Verbesserungen an genau dieser Lösung vorzunehmen. Sie wurde sehr „gierig“, was bedeutet, dass sie ihre aktuelle beste Idee so sehr liebte, dass sie sich weigerte, etwas völlig anderes auszuprobieren, selbst wenn diese andere Idee offensichtlich besser gewesen wäre. Zum Beispiel fand die KI beim schwierigsten Test eine Lösung, die ganz okay funktionierte, und verbrachte dann 18 Versuche damit, winzige, nutzlose Anpassungen daran vorzunehmen, während sie ignorierte, dass sie feststeckte. Es war wie ein Autofahrer, der einen platten Reifen bemerkt, beschließt weiterzufahren und dann Stunden damit verbringt, den Reifen zu polieren, anstatt ihn einfach zu wechseln.

Was der Roboter lernte (und was nicht)

Die KI war in einigen Dingen überraschend gut. Sie „entdeckte“ mehrere bekannte wissenschaftliche Fakien eigenständig wieder. Zum Beispiel fand sie heraus, dass für diesen speziellen Typ von computergestütztem Gehirn die Verwendung von nur einem „Head“ zur Detailbetrachtung besser war als die Verwendung vieler „Heads“ – eine Erkenntnis, die mit dem Wissen menschlicher Wissenschaftler übereinstimmt. Sie erkannte auch, dass einige Tricks, die bei kleinen Bildern funktionierten, bei großen Bildern die Leistung verschlechterten, was zeigt, dass sie aus ihren Fehlern lernen konnte.

Dennoch zeigte die KI auch einige typisch menschliche Schwächen.

• Risikoaversität: Nachdem sie eine mutige, riskante Idee ausprobiert hatte, die scheiterte, wurde sie sehr zaghaft. Sie hielt lange Zeit an sicheren, langweiligen Ideen fest, obwohl die Regeln es ihr erlaubten, wieder etwas Verrücktes zu versuchen.
• Erfolgssuche: Sie liebte es, das zu tun, was kürzlich funktioniert hatte. Wenn sie einen Weg gefunden hatte, das computergestützte Gehirn ein kleines Stück schneller zu machen, versuchte sie immer wieder, es noch ein Stückchen schneller zu machen, und ignorierte dabei die Möglichkeit, dass ein völlig anderer Ansatz besser sein könnte.
• Die „Gierige Falle“: Das größte Problem war nicht, dass die KI schlecht im Denken war, sondern dass die Regeln des Spiels sie dazu zwangen, gierig zu sein. Das System war so aufgebaut, dass die KI eine Idee nur behalten konnte, wenn sie besser war als die vorherige. Das ist wie ein Spiel, bei dem man nur vorwärts kommen kann, wenn man einen Schritt bergauf macht, aber niemals zur Seite treten oder zurückgehen kann, um einen anderen Pfad auszuprobieren. Die KI folgte den Regeln perfekt, was bedeutete, dass sie auf lokalen Hügeln stecken blieb, anstatt den Gipfel eines Berges zu finden.

Das große Faztelement: Es ist der Workflow, nicht das Gehirn

Die wichtigste Erkenntnis dieses Papers ist etwas überraschend. Die Forscher kamen zu dem Schluss, dass der Workflow (die Regeln und Werkzeuge, die der KI gegeben wurden) genauso wichtig war, wenn nicht sogar wichtiger, als die Intelligenz der KI selbst.

Die KI scheiterte nicht, weil sie „dumm“ war. Sie scheiterte, weil sie ein Spiel spielte, das für kurze Sprints konzipiert war, nicht für lange Marathons. Die „Commit-or-Discard“-Regel (behalten, wenn es besser ist, wegwerfen, wenn es schlechter ist) zwang die KI dazu, wie ein gieriger Bergsteiger zu handeln, der nur auf den Schritt direkt vor sich achtet. Hätten die Forscher das Spiel anders gestaltet – indem sie der KI erlaubt hätten, mehrere verschiedene Ideen gleichzeitig laufen zu lassen, oder sie gezwungen hätten, alle paar Züge eine „Moonshot“-Idee auszuprobieren – wären die Ergebnisse möglicherweise völlig anders ausgefallen.

Kurz gesagt legt das Paper nahe, dass wir, um die KI zu einem großartigen Forschungspartner zu machen, nicht nur versuchen sollten, die KI intelligenter zu machen. Wir müssen bessere „Workflows“ bauen, die sie dazu ermutigen, Risiken einzugehen, verschiedene Pfade zu erkunden und nicht an ihrer aktuellen Lieblingsidee hängen zu bleiben. Die KI ist ein unermüdlicher, fähiger Arbeiter, aber ohne die richtigen Anweisungen und Werkzeuge kann sie leicht in einer Schleife stecken bleiben, in der sie immer wieder dasselbe tut. Die Zukunft der KI-Forschung liegt laut den Autoren darin, bessere Systeme zu entwickeln, die diese digitalen Geister leiten, anstatt nur darauf zu hoffen, dass sie es von selbst herausfinden.