Why the Third Axis Is Freedom

Das große KI-Ratespiel

Stellen Sie sich vor, Sie bringen einem Roboter bei, Bilder zu zeichnen. In der Welt der künstlichen Intelligenz geschieht dies normalerweise durch einen Prozess, der „generatives Training“ genannt wird. Der Roboter versucht, ein Bild zu erstellen, und wenn es von dem Beispiel abweicht, das Sie ihm gezeigt haben, erhält er eine „Strafe“ oder einen schlechten Wert. Der Robot möchte diese Strafe minimieren, also lernt er, das Beispiel so perfekt wie möglich zu kopieren. Aber hier ist der Haken: Wenn der Roboter nur lernt, die eine am häufigsten vorkommende Antwort auszuspucken, könnte er zwar sehr gut darin werden, genau diese eine Sache zu kopieren, aber schrecklich darin, mit allem Neuen oder Anderen umzugehen. Er wird zu einem starren Papagei statt zu einem kreativen Künstler.

Lange Zeit fragten sich Wissenschaftler, wie man diese Modelle flexibler machen kann. Sie entdeckten einen Trick namens „Explorative Modellierung“. Anstatt den Roboter zu bitten, nur eine einzige Vermutung anzustellen, bitten Sie ihn, viele Vermutungen gleichzeitig anzustellen – sagen wir, zehn verschiedene Zeichnungen. Dann bestrafen Sie nur die eine, die dem Ziel am nächsten kommt, und ignorieren die anderen neun. Dies zwingt den Roboter dazu, eine größere Vielfalt an Ideen in seinem Kopf zu behalten, in der Hoffnung, dass eine davon die richtige sein wird. Diese Idee wurde kürzlich als eine neue „dritte Achse“ des KI-Trainings bezeichnet, was darauf hindeutet, dass die Fähigkeit, viele verschiedene „Modi“ oder Versionen einer Antwort zu halten, der Schlüssel dazu ist, KI intelligenter zu machen.

Aber ist das Halten vieler Ideen dasselbe wie intelligent zu sein? Dieses Paper stellt eine tiefere Frage: Liegt die Magie in der Anzahl der Vermutungen oder in der Freiheit, die der Roboter hat, zu wählen? Der Autor argumenttiert, dass es nicht ausreicht, einfach nur zu zählen, wie viele Vermutungen ein Modell macht – das ist nicht die ganze Geschichte. Stattdessen ist das wahre Geheimnis die „Freiheit“ – was in diesem Kontext bedeutet, wie viele verschiedene Wege das Modell nehmen darf, um korrekt zu sein, ohne die Regeln zu brechen. Es ist der Unterschied zwischen einem Roboter, der gezwungen ist, aus einer winzigen Liste von zehn Optionen zu wählen, und einem Roboter, der es erlaubt ist, aus einer riesigen Bibliothek von Möglichkeiten zu wählen, selbst wenn er derzeit nur einige wenige davon nutzt. Das Paper untersucht, ob diese „Freiheit“ tatsächlich dabei hilft, dass die KI besser lernt, anstatt nur die rohe Anzahl der Vermutungen.

Die dritte Achse ist Freiheit, nicht nur eine Zählung

Der Autor, Michael Timothy Bennett, wirft einen frischen Blick auf diese „dritte Achse“ des KI-Trainings. Er argumentiert, dass, während die bisherige Idee der „generativen Expressivität“ (die Fähigkeit, viele Modi zu halten) interessant ist, sie eigentlich ein wenig ein Ablenkungsmanöver (Red Herring) ist. Der wahre Held der Geschichte ist die Freiheit.

Betrachten Sie das Verhalten eines Modells wie ein Regelwerk für ein Spiel. Eine „schwache“ Regel ist eine Regel, die Sie nicht sehr einschränkt. Zum Beispiel ist eine Regel, die besagt: „Du kannst jedes beliebige Hemd tragen“, schwach, weil sie Millionen von Möglichkeiten zulässt. Eine „starke“ Regel, die besagt: „Du musst ein rotes Hemd tragen“, ist stark, weil sie Ihnen nur eine einzige Wahl lässt. Bennett argumentiert, dass die besten KI-Modelle diejenigen sind, die ihre Regeln so „schwach“ wie möglich halten, während sie dennoch korrekt bleiben. Diese „Schwäche“ ist das, was er Freiheit nennt. Es ist das Volumen der kompatiblen Vervollständigungen, die das Modell sich noch vorstellen kann. Wenn ein Modell zu starr (zu stark) ist, könnte es scheitern, wenn sich die Welt verändert. Wenn es frei (schwach) ist, kann es sich an neue Situationen anpassen, weil es sich nicht auf einen einzigen engen Pfad festgelegt hat.

Das Paper stellt die Idee infrage, dass die „dritte Achse“ einfach nur die Anzahl der Ausgaben ist, die ein Modell produzieren kann (seine „Modus-Anzahl“). Bennett zeigt, dass ein Modell theoretisch eine riesige Anzahl erlaubter Ausgaben haben könnte, aber dennoch schrecklich darin wäre, zu generalisieren, wenn es immer nur eine davon nutzt. Umgekehrt könnte ein Modell mit einem kleineren Satz erlaubter Ausgaben unglaublich leistungsfähig sein, wenn es seine Aufmerksamkeit gleichmäßig über sie verteilt. Das Paper beweist mathematisch, dass Freiheit eine Eigenschaft der Funktion des Modells ist (was es tatsächlich tut), nicht seiner Form (wie viele Parameter oder Schichten es hat). Man kann die Größe des Modells oder die Daten, die es sieht, ändern, aber wenn die „Freiheit“ seines Verhaltens gleich bleibt, bleibt auch seine Fähigkeit zur Generalisierung gleich.

Die Magie von „Best-of-K“

Wie erlangen wir also diese Freiheit? Das Paper untersucht eine Methode namens Explorative Modellierung (XM), bei der ein Modell $K$ Kandidaten generiert und den besten auswählt. Der Autor leitet eine mathematische Formel ab, die genau zeigt, wie dieser Prozess funktioniert.

Stellen Sie sich vor, Sie suchen einen bestimmten Schlüssel in einem dunklen Raum.

• Wenn Sie nur einmal suchen ($K=1$), könnten Sie den Schlüssel übersehen, selbst wenn er direkt vor Ihnen liegt.
• Wenn Sie zehnmal suchen ($K=10$), steigt Ihre Chance, den Schlüssel zu finden.

Das Paper zeigt, dass dieser Prozess des „zehnmal Suchens“ wie eine Lupe für die Freiheit des Modells wirkt. Er erschafft keine neue Freiheit aus dem Nichts; statattdessen belohnt er Modelle, die ein breites „Zulassungsprofil“ (Permission Profile) haben. Wenn ein Modell viele verschiedene Ausgaben zulässt (hohe Freiheit), ist der „Best-of-K“-Prozess viel wahrscheinlicher in der Lage, eine gute Übereinstimmung zu finden. Wenn das Modell starr ist und nur eine Ausgabe zulässt, hilft es wenig, zehnmal zu suchen, da alle zehn Versuche wahrscheinlich dieselbe langweilige Sache sind.

Der Autor beweist, dass mit zunehmendem $K$ (der Anzahl der Vermutungen) der Trainingsprozess das Modell natürlich dazu drängt, „schwächer“ (freier) zu werden. Es hört auf, versuchen zu wollen, eine perfekte Kopie von nur einer Sache zu sein, und beginnt stattdessen, ein breiteres Spektrum an Möglichkeiten abzudecken. Dies gilt besonders dann, wenn die Ziele (die Dinge, die das Modell zu lernen versucht) nicht alle gleich sind. Wenn einige Ziele selten und andere häufig sind, wird ein kleines $K$ das Modell dazu bringen, sich nur auf die häufigen zu konzentrieren. Aber wenn $K$ größer wird, ist das Modell gezwungen, auch den seltenen Dingen Aufmerksamkeit zu schenken, und verteilt seine „Zulassung“ schließlich über alle gültigen Optionen.

Die Experimente: Die Theorie auf die Probe gestellt

Das Paper bleibt nicht nur im Bereich der Mathematik; es führt zwei große Experimente durch, um zu sehen, ob dies in der realen Welt neuronaler Netze Bestand hat.

Experiment 1: Macht mehr Raten das Modell freier?
Die Forscher trainierten KI-Modelle mit unterschiedlichen Werten für $K$ (von 1 bis 32). Sie maßen die „Freiheit“ der trainierten Modelle, indem sie zählten, wie viele verschiedene gültige Ausgaben die Modelle tatsächlich produzieren durften.

• Das Ergebnis: Wenn sie ein höheres $K$ verwendeten, wurden die Modelle signifikant freier. Beispielsweise erhöhte die Steigerung von $K$ von 1 auf 8 unter uniformen Zielen die „mittlere Log-Freiheit“ um etwa 8,3. Die Modelle wurden nicht nur besser im Raten; sie erweiterten tatsächlich ihr „Zulassungsprofil“, um mehr gültige Möglichkeiten einzuschließen. Dies bestätigte, dass die Trainingsmethode erfolgreich das Budget an „Vermutungen“ in funktionale Freiheit umwandelt.

Experiment 2: Macht die Auswahl des „freieren“ Modells es besser?
Hier trainierten die Forscher eine Reihe von Modellen und mussten dann das beste Modell für eine neue Situation auswählen (in der sich die Regeln des Spiels leicht geändert hatten). Sie verglichen zwei Arten der Auswahl:

1. Child-Validation: Das Modell auswählen, das bei den ursprünglichen Trainingsdaten (der „Kind“-Aufgabe) am besten abschnitt.
2. Freedom Selection: Das Modell auswählen, das die höchste „Freiheits-Punktzahl“ hatte, selbst wenn es bei der ursprünglichen Aufgabe nicht die absolut beste Leistung erbrachte.

• Das Ergebnis: Die Methode „Freedom Selection“ gewann 29 von 30 Malen. Die Modelle, die aufgrund ihrer Freiheit ausgewählt wurden, schnitten in der neuen, ausgewogenen Situation viel besser ab (Verbesserung der Trefferquote von etwa 0,317 auf 0,389). Dies deutet darauf darauf hin, dass die Auswahl nach Freiheit ein Modell auswählt, das robuster und anpassungsfähiger an Veränderungen ist, selbst wenn es auf den spezifischen Daten, mit denen es trainiert wurde, etwas weniger perfekt erscheint.

Das große Ganze: Mittel vs. Zweck

Das Paper schließt mit einer klaren Unterscheidung zwischen dem Werkzeug und dem Ziel.

• Exploration (die $K$ Vermutungen) ist das Mittel. Es ist der Mechanismus, das Budget, die Art und Weise, wie wir das Modell zwingen, sich umzusehen.
• Freiheit ist das Ziel. Es ist die eigentliche Eigenschaft des Modells, die es gut in der Generalisierung macht.

Der Autor argumentiert, dass „generative Expressivität“ (die Idee, dass das Halten vieler Modi das Ziel ist) nur ein Stellvertreter für Freiheit ist. Es ist eine Art, die Möglichkeiten zu zählen, aber es verpasst die Nuance dessen, wie diese Möglichkeiten genutzt werden. Ein Modell kann eine hohe Modus-Anzahl haben und dennoch starr sein, wenn es sie nicht gut nutzt. Wahre Generalisierung kommt von Freiheit – der Fähigkeit des Modells, für viele kompatible Zukünfte offen zu bleiben.

Am Ende legt das Paper nahe, dass die „dritte Achse“ des KI-Trainings schon immer die Freiheit war. Die neuen Methoden wie die explorative Modellierung sind nur ein cleverer Weg, um Modelle weniger eingeschränkt, weniger starr und bereit für das zu trainieren, was die Zukunft ihnen entgegenwirft. Indem wir mit mehr Vermutungen trainieren, bringen wir der KI nicht nur bei, besser zu raten; wir bringen ihr bei, freier zu sein.