DIVE: Unlocking Self-Improvement in Frozen Language Models Through Diversity-Driven Skill Evolution

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der fast alles über die Welt weiß. Sie können ihn bitten, ein kniffliges mathematisches Problem oder ein Logikrätsel zu lösen, und er bekommt es meistens richtig. Aber hier ist der Haken: Sobald Sie den Roboter ausschalten und wieder einschalten, vergisst er alles, was er durch Ihre spezifischen Fragen gelernt hat. Es ist wie ein Genie, das jeden Morgen mit einem unbeschriebenen Blatt aufwacht, unfähig, sich an die Fehler von gestern oder die cleveren Tricks zu erinnern, die es entdeckt hat. Normalerweise muss man einen Roboter umprogrammieren (einen Prozess namens „Training“), um ihn intelligenter zu machen, aber das ist teuer, langsam und erfordert einen speziellen Zugang, den viele Menschen nicht haben.

So haben Wissenschaftler eine große Frage gestellt: Kann ein eingefrorener Roboter lernen, ohne sein Gehirn umzuprogrammieren? Die Antwort liegt im sogenannten „Prompting“. Anstatt das Gehirn des Roboters zu verändern, ändern Sie die Anweisungen, die Sie ihm geben. Stellen Sie es sich vor, als würden Sie einem Koch ein neues Rezeptblatt geben. Wenn auf dem Blatt steht: „Denken Sie daran, die Suppe zu salzen“, kann der Koch eine bessere Arbeit leisten. Aber wenn der Koch immer wieder denselben Fehler macht, reicht ein einfacher Hinweis vielleicht nicht aus. Man braucht einen Weg, damit der Koch aufschreibt, warum er gescheitert ist, eine bessere Strategie entwickelt und diese Strategie in eine dauerhafte Regel auf seinem Rezeptblatt verwandelt, ohne dabei seine eigentlichen Kochfähigkeiten zu verändern. Dies ist die Grenze der „Selbstverbesserung“ für KI: Einem statischen Modell beizubringen, nur durch das Gespräch mit sich selbst und das Lernen aus den eigenen Erfahrungen intelligenter zu werden.

Hier kommt DIVE (Diversity-Driven Skill Evolution) ins Spiel, eine neue Methode, die wie eine brillante, chaotische Werkstatt für diese eingefrorenen Roboter fungiert. Die Forscher fanden heraus, dass es besser ist, eine ganze Gruppe verschiedener „Versionen“ des Roboters laufen zu lassen, die jeweils auf eine etwas andere Weise lernen möchten, anstatt zu versuchen, den einen „perfekten“ Satz von Anweisungen zu finden.

So funktioniert DIVE: Stellen Sie sich eine Gruppe von zehn verschiedenen Detektiven vor, die versuchen, einen Kriminalfall zu lösen. In der Vergangenheit hätten Forscher vielleicht nur einen einzelnen Detektiv gebeten, den Fall zu lösen, einen Fehler zu machen und dann versucht, seine Notizen zu korrigieren. Aber DIVE sagt: „Lasst uns zehn Detektive gleichzeitig am Fall arbeiten lassen!“ Jeder Detektiv beginnt mit einem leicht unterschiedlichen Satz an Notizen (einem „Seed-Skill“). Während sie arbeiten, erhalten sie Feedback darüber, wo sie Fehler gemacht haben.

Anstatt dass nur ein einzelner Detektiv versucht, seine Notizen zu korrigieren, nutzt DIVE einen Werkzeugkasten mit verschiedenen „Reparaturstrategien“. Ein Detektiv probiert vielleicht die Reflektierende Reparatur (Reflective Repair), was so ist, als würde man sich einen Fehler ansehen und sagen: „Oh, ich habe hier einen Hinweis übersehen, lass mich eine Notiz dazu hinzufügen.“ Ein anderer probiert die Explorative Revision (Exploratory Revision), was so ist, als würde man die alte Karte wegwerfen und eine völlig neue zeichnen, weil der alte Pfad eine Sackgasse ist. Ein dritter probiert die Kompression (Compression), was so ist, als würde man ein unordentliches, 50-seitiges Notizbuch in ein prägnantes, 5-seitiges Referenzblatt zusammenfassen, das nur die wichtigsten Regeln enthält.

Die Magie von DIVE liegt darin, dass es nicht einfach nur den „besten“ Detektiv auswählt und dann aufhört. Es lässt alle zehn Detektiven parallel arbeiten. Es beobachtet, welcher Detektiv bei welcher Art von Problem besser wird, und gibt ihm mehr Zeit zum Arbeiten. Wenn ein Detektiv feststeckt, bringt das System vielleicht eine neue, frische Strategie ein, um zu helfen. Dies verhindert, dass die gesamte Gruppe bei derselbe falsche Idee stecken bleibt (ein Problem, das „Overfitting“ genannt wird).

Soburch die Detektive ihre Chance hatten zu lernen und sich zu entwickeln, wählt DIVE nicht einfach denjenigen mit der höchsten Punktzahl aus. Stattdessen betrachtet es das gesamte Team und wählt eine komplementäre Truppe (complementary squad). Vielleicht ist Detektiv A großartig darin, Zahlenmuster zu erkennen, während Detektiv B hervorragend darin ist, Logikfallen zu entdecken. Indem man die einzigartigen, entwickelten „Skill-Karten“ dieser Detektive zu einem einzigen Werkzeugkasten kombiniert, kann der Roboter Probleme lösen, die er zuvor nicht bewältigen konnte.

Die Arbeit zeigt, dass diese Methode unglaublich gut funktioniert. Bei Tests mit schwierigen Mathematik-Wettbewerben (wie HMMT) und kniffligen Logikrätseln (wie Sudoku) ermöglichte DIVE kleinen, eingefrorenen Modellen, schnell zu lernen und sich zu verbessern. Tatsächlich war ein winziges Modell, das DIVEs entwickelte Fähigkeiten nutzte, in der Lage, ein viel größeres, leistungsfähigeres Modell zu übertreffen, das lediglich Standardanweisungen verwendete. Die Forscher fanden heraus, dass DIVE diese großen Verbesserungen mit weita viel weniger Versuchen (oder „Rollouts“) erreichen konnte als andere Methoden, die versuchen, das Gehirn des Modells zu verändern oder den Prompt nur einmal anzupassen.

Entscheidend ist, dass die Arbeit argumentiert, dass dieser Ansatz besser ist, als nach einem einzigen „magischen Prompt“ zu suchen oder sich auf einen einzigen Lernpfad zu verlassen. Indem man eine vielfältige, sich entwickelnde Bibliothek von Strategien beibehält und die besten Teile jeder Strategie mischt, erschafft DIVE ein robustes, selbstverbesserndes System, das keine Umprogrammierung benötigt. Es legt nahe, dass für eingefrorene Modelle das Geheimnis, intelligenter zu werden, nicht eine einzige perfekte Anweisung ist, sondern eine vielfältige, sich entwickelnde Bibliothek von Strategien, aus der das Modell schöpfen kann, um jedes Problem zu lösen.