HELIX: Model-Harness Co-evolution for Recursive Self-Improvement

Stellen Sie sich vor, Sie versuchen, einem brillanten, aber unerfahrenen Lehrling beizubringen, wie man eine kaputte Uhr repariert. In der Welt der künstlichen Intelligenz ist der „Lehrling“ das KI-Modell – ein riesiges Gehirn, das viele Fakten kennt, aber nicht weiß, wie man sich in der realen Welt verhält. Lange Zeit dachten Wissenschaftler, der einzige Weg, den Lehrling besser zu machen, bestünde darin, das Gehirn intelligenter zu machen. Sie fütterten ihn mit mehr Büchern, mehr Daten und komplexeren Lektionen.

Aber es gibt einen Haken: Der Lehrling arbeitet nicht im Vakuum. Er arbeitet in einer Werkstatt. Diese Werkstatt ist das „Harness“ (das Geschirr/die Umgebung). Es ist der Satz aus Regeln, Werkzeugen und Anweisungen, die dem Lehrling sagen, wann er einen Schraubendreher aufheben soll, wie er um Hilfe bittet, was er tun soll, wenn er ein Zahnrad fallen lässt, und wann er mit der Arbeit aufhören soll. Wenn die Werkstatt unordentlich ist, wird der Lehrling verwirrt. Wenn die Werkzeuge stumpf sind, scheitert der Lehrling, selbst wenn er ein Genie ist. Das Papier, das Sie gleich lesen werden, legt nahe, dass wir, um den Lehrling wirklich zu verbessern, nicht nur sein Gehirn aufrüsten müssen; wir müssen das Gehirn und die Werkstatt gemeinsam aufrüsten, in einer Schleife, in der sich beide gegenseitig helfen, besser zu werden.

---

Die Helix: Ein Tanz zwischen Gehirn und Werkstatt

Treffen Sie HELIX, ein neues System, das von Forschern der Universität Hongkong entwickelt wurde. Betrachten Sie HELIX als einen Meisterhandwerker, der erkennt, dass das Geheimnis beim Bau eines perfekten Roboters nicht nur darin besteht, das Gehirn des Roboters intelligenter zu machen. Es geht darum, zu erkennen, dass das „Gehirn“ des Roboters (das KI-Modell) und seine „Werkstatt“ (das Harness) beste Freunde sind, die gemeinsam erwachsen werden müssen.

Normalerweise, wenn wir versuchen, KI besser zu machen, behandeln wir das Gehirn und die Werkstatt als getrennte Dinge. Wir bauen ein Gehirn, bauen dann eine Werkstatt darum herum und hoffen, dass sie miteinander auskommen. Aber HELIX argumentiert, dass dies so ist, als würde man versuchen, einem Schwimmer etwas beizubringen, indem man nur seine Muskeln verändert, während die Wassertemperatur und die Poolregeln exakt gleich bleiben. Der Schwimmer mag zwar stärker werden, aber er könnte trotzdem ertrinken, wenn das Wasser zu kalt oder die Regeln verwirrend sind.

Die große Idee: Ko-Evolution
HELIX führt ein Konzept namens „Model-Harness Co-evolution“ ein. Stellen Sie sich ein Videospiel vor, in dem Sie einen Charakter spielen. Der Charakter ist das Modell, und die Spielsteuerung (die Knöpfe, die Physik, die Karte) ist das Harness.

• Der alte Weg: Sie „grinden“ stundenlang, um Ihren Charakter stärker zu machen, aber Sie spielen immer wieder auf demselben langweiligen, kaputten Level.
• Der HELIX-Weg: Sie spielen ein Level. Wenn Sie gewinnen, lernen Sie, wie Sie gewonnen haben. Wenn Sie verlieren, lernen Sie, warum Sie verloren haben. Dann passen Sie die Spielsteuerung (das Harness) an, um das nächste Level etwas anders zu gestalten, und Sie passen das Training Ihres Charakters (das Modell) basierend auf dem an, was passiert ist. Sie machen dies immer und immer wieder. Der Charakter wird besser im Spiel, und das Spiel wird besser darin, den Charakter zu lehren.

Wie HELIX funktioniert: Der Build-Update-Rebuild-Zyklus

Das Papier beschreibt einen dreistufigen Tanz namens Build-Update-Rebuild. So läuft er im HELIX-System ab:

1. Build (Bauen): Das System nimmt ein festes KI-Gehirn und baut eine Reihe verschiedener „Werkstätten“ für es. Es ist, als würde man 65 verschiedene Versionen einer Werkstatt bauen, jede mit leicht unterschiedlichen Werkzeugen, Regeln oder Sicherheitskontrollen.
2. Update (Aktualisieren): Das KI-Gehirn versucht, ein Problem zu lösen (wie das Beheben von Fehlern in einem Code) in allen 65 Werkstätten. Einige Werkstätten helfen ihm zum Erfolg; andere lassen ihn auf lustige Weise scheitern. HELIX wirft die Fehlschläge nicht einfach weg. Es speichert sie! Es erstellt einen „Geschwister“-Datensatz: „Hier ist, wie das Gehirn es in Werkstatt A gelöst hat, und hier ist, wie es in Werkstatt B gescheitert ist.“ Diese Aufzeichnungen werden zu einem speziellen Trainingshandbuch für das Gehirn.
3. Rebuild (Neu bauen): Das Gehirn wird durch das Trainingshandbuch ein wenig intelligenter. Aber nun passen die alten Werkstätten vielleicht nicht mehr so gut zum neuen, intelligenteren Gehirn. Also baut HELIX die Werkstätten neu, entwirft neue Werkzeuge und Regeln, die zu den neuen Superkräften des Gehirns passen.

Was sie herausgefunden haben: Mehr als nur ein besseres Gehirn

Die Forscher testeten diese Idee mit einem Satz von 100 Coding-Aufgaben (wie dem Beheben von Fehlern in Computerprogrammen). Sie starteten mit einem Standard-Setup namens „Pi“ und ließen HELIX 64 neue Variationen der Werkstatt entwickeln.

Die Ergebnisse:

• Die beste einzelne Werkstatt: Durch das Kombinieren und Mischen von Teilen verschiedener Werkstätten fand HELIX ein spezifisches Setup, das 52 von 100 Aufgaben löste. Das ursprüngliche Setup löste nur 50. Es war kein riesiger Sprung, aber es bewies, dass die Änderung der Werkstatt tatsächlich hilft, das Gehirn besser arbeiten zu lassen.
• Die Kraft des Portfolios: Das ist der wirklich coole Teil. Wenn man sich alle 65 Werkstätten zusammen ansieht, haben sie 79 von 100 Aufgaben gelöst. Das bedeutet, dass, obwohl keine einzelne Werkstatt perfekt war, die Gruppe der Werkstätten viel mehr Bereiche abdeckte. Es ist wie das Team von 65 verschiedenen Mechanikern; selbst wenn kein einzelner Mechaniker jedes Auto reparieren kann, kann das Team fast alles reparieren.
• Die Goldgrube der Daten: Die wichtigste Erkenntnis war nicht nur die Anzahl der gelösten Aufgaben. Es waren die Daten. Durch das Durchlaufen der verschiedenen Werkstätten generierte HELIX 438 verifizierte Trainingsdatensätze. Dies waren nicht nur einfache „Gewonnen“ oder „Verloren“-Ergebnisse. Es waren detaillierte Geschichten: „Diese Lösung funktionierte, war aber unordentlich“, „Diese Lösung schlug fehl, weil sie eine Sicherheitsregel verletzte“ und „Diese Lösung war perfekt“. Diese reichhaltigen Daten sind genau das, was die KI braucht, um zu lernen, wie sie das nächste Mal besser denkt.

Warum das wichtig ist

Das Papier legt nahe, dass wir die Verbesserung von KI durch die falsche Brille betrachtet haben. Wir dachten: „Wenn wir das Gehirn nur größer machen, wird es alles lösen.“ HELIX zeigt, dass das Gehirn nur die halbe Geschichte ist. Die Umgebung, in der es lebt – die Regeln, die Werkzeuge, die Sicherheitskontrollen – ist genauso wichtig.

Indem HELIX das Gehirn und die Werkstatt als ein Team behandelt, das gemeinsam evolviert, schafft es einen Zyklus der Selbstverbesserung. Die Werkstatt hilft dem Gehirn zu lernen, und das intelligentere Gehirn hilft dabei, eine bessere Werkstatt zu entwerfen. Es ist eine Schleife, die immer enger und effizienter wird.

Die Forscher betonen vorsichtig, dass dies kein Zauberstab ist, der alles gelöst hat. Sie fanden heraus, dass nicht jede neue Werkstatt besser war; einige waren schlechter. Sie merkten auch an, dass sie mit diesen Daten noch gar nicht ein neues Gehirn trainiert haben – sie haben die Daten lediglich gesammelt. Aber sie haben bewiesen, dass die Methode funktioniert: Man kann ein System erschaffen, das hochwertige, verifizierte Lernmaterialien generiert, indem man einfach die Art und Weise entwickelt, wie die KI mit der Welt interagiert.

Kurz gesagt: HELIX ist ein Entwurf für eine Zukunft, in der KI nicht nur von selbst intelligenter wird; sie wird intelligenter, weil wir ihr einen besseren Spielplatz gebaut haben, und dann haben wir einen noch besseren Spielplatz für die intelligentere Version gebaut, und so weiter. Es ist der Unterschied zwischen dem Lehren eines Kindes beim Schwimmen in einer Badewanne gegenüber dem Lehren in einem Pool, der seine Form an die wachsenden Fähigkeiten des Kindes anpasst.