On-Policy Self-Distillation without Any Supervision

Stellen Sie sich eine Welt vor, in der riesige, digitale Gehirne – sogenannte Large Language Models (LLMs) – lernen, komplexe Rätsel wie mathematische Aufgaben zu lösen. Lange Zeit brauchten diese Gehirne einen menschlichen Lehrer, der ihnen über die Schulter schaute, auf jeden Fehler hinwies und ihnen die richtigen Antworten gab. Das ist wie ein Schüler, der eine Prüfung ablegt, bei dem der Lehrer die richtigen Antworten flüstert, noch bevor er die Frage überhaupt beendet hat. Aber was wäre, wenn der Lehrer nicht da wäre? Was wäre, wenn das Gehirn lernen müsste, sich selbst zu lehren? Dies ist die große Frage, die sich Forscher stellen: Kann ein Modell intelligenter werden, indem es einfach nur seine eigene Arbeit betrachtet, ohne jegliche Hilfe von außen?

Um die neue Idee in dieser Arbeit zu verstehen, müssen Sie zwei Dinge wissen. Erstens gibt es eine Technik namens „Distillation“ (Destillation), die so ist, als würde ein Schüler versuchen, den Gedankengang eines Meisters zu kopieren. Normalerweise ist der „Meister“ eine separate, größere oder intelligentere KI. Zweitens gibt es das „On-Policy“-Lernen, was bedeutet, dass der Schüler genau an den Antworten übt, die er selbst generiert, anstatt alte, vorgefertigte Beispiele zu studieren. Die große Hürde war bisher immer, dass ein Modell selbst dann, wenn es versucht, sich selbst zu lehren, immer noch eine „Goldstandard“-Antwort benötigt, um zu wissen, ob es richtig oder falsch liegt. Ohne diese externe Wahrheit könnte das Modell einfach immer weiter seine Fehler üben und dabei immer wieder selbstbewusst falsch liegen.

Dieses Paper stellt einen cleveren Trick namens U-OPSD (Unsupervised On-policy Self-Distillation) vor. Die Forscher haben entdeckt, dass ein Modell keinen menschlichen Lehrer oder einen „Gold“-Antwortschlüssel benötigt, um zu lernen. Stattdessen kann es wie ein Raum voller identischer Zwillinge agieren, die denselben Test machen. Wenn ein Zwilling eine seltsame Antwort gibt, aber neun andere einer anderen Antwort zustimmen, hat die Gruppe einen „Konsens“ gefunden. Das Paper legt nahe, dass diese Übereinstimmung ein starkes Signal ist, um zu sagen: „Okay, das ist wahrscheinlich der richtige Weg.“

So geschieht die Magie: Das Modell generiert viele verschiedene Versuche (genannt „Rollouts“), um ein mathematisches Problem zu lösen. Dann hält es eine Abstimmung ab. Wenn eine Mehrheit der Versuche bei einer Antwort übereinstimmt, wird diese Antwort zur „Pseudo-Lösung“ – einem künstlichen, aber vertrauenswürdigen Antwortschlüssel, der vollständig vom Modell selbst erstellt wurde. Das Modell betrachtet dann die Versuche, die von der Mehrheit abweichen. Dies sind die „falschen“ Pfade. Das Modell fungiert als Lehrer für sich selbst und zeigt den „falschen“ Pfaden, wie sie Schritt für Schritt zu dem „richtigen“ Pfad werden. Es ist wie ein Schüler, der einen langen, verwirrten Aufsatz geschrieben hat, und dann erkennt, dass die meisten seiner Freunde einen klaren, korrekten Aufsatz geschrieben haben, und dann seinen eigenen Aufsatz umschreibt, um der Logik der Gruppe zu entsprechen, aber nur die Teile korrigiert, bei denen er vom Weg abgekommen ist.

Die Ergebnisse sind ziemlich überraschend. Die Forscher testeten dies bei mehreren schwierigen Mathematik-Wettbewerben (wie AIME und MATH500) unter Verwendung verschiedener Modellgrößen (4 Milliarden und 8 Milliarden Parameter). Sie fanden heraus, dass diese „Selbstlehr“-Methode, die gar keine externe Überwachung nutzt, tatsächlich besser funktionierte als Methoden, die auf menschlich verifizierten Antworten im „Non-Thinking“-Modus (wo das Modell schnell antwortet) basieren. In diesem Modus verbesserten die selbstgelehrten Modelle ihre Ergebnisse um 8,5 % und 10,7 % im Vergleich zu ihrem Ausgangspunkt und übertrafen damit sogar die Methoden, die die „Gold“-Antworten verwendeten. Im „Thinking“-Modus (wo das Modell sich Zeit nimmt, um zu schlussfolgern) waren die Ergebnisse jedoch anders: Die selbstgelehrten Modelle schnitten gleichwertig mit oder leicht vor den überwachten Methoden ab und stimmten diese eng an.

Das Paper argumentet, dass dies deshalb funktioniert, weil die eigene Übereinstimmung des Modells ein mächtiges Signal ist. Wenn das Modell selbstbewusst genug ist, um eine Mehrheitsentscheidung zu treffen, weiß es, dass es auf dem richtigen Weg ist. Wenn es mit sich selbst uneins ist, findet dort das Lernen statt. Die Forscher legen nahe, dass der Engpass für die Intelligenz dieser Modelle nicht ein Mangel an Antwortschlüsseln ist, sondern die Fähigkeit, die eigenen Inkonsistenzen zu erkennen und zu beheben. Durch die Verwendung dieser „Mehrheitsentscheidungs“-Strategie kann das Modell evolvieren und sich verbessern, indem es einen Raum voller verwirrter Zwillinge in ein einziges, intelligenteres Genie verwandelt.