Stellen Sie sich eine Welt vor, in der Computer lernen zu sprechen, indem sie Milliarden von Sätzen lesen und versuchen, das nächste Wort in einer Geschichte zu erraten. Um dies zu tun, verwenden sie eine spezielle, gehirnähnliche Struktur namens Transformer. Denken Sie an einen Transformer als eine mehrstöckige Fabrik, in der Rohdaten unten eintreten, auf jeder Etage verarbeitet werden und oben als intelligente Vorhersage wieder herauskommen. Damit diese Fabriken am besten funktionieren, müssen sie sehr tief sein – manchmal dutzende Stockwerke hoch. Es gibt jedoch ein schwieriges Problem: Wenn man die Fabrik nach dem ursprünglichen Bauplan zu hoch baut, erhalten die Arbeiter auf den unteren Etagen keine Anweisungen mehr. Die Signale von den oberen Etagen werden so schwach, dass die unteren Etagen einfach aufgeben, und die gesamte Maschine gerät in eine langweilige Schleife, in der jedes Wort, das sie vorhersagt, nur eine Kopie des durchschnittlichen Wortes ist, das sie je gesehen hat. Das ist ein bisschen wie ein Spiel von „Stille Post“, bei dem die Nachricht, bis sie das Ende erreicht, so sehr verwässert wurde, dass alle nur noch dieselbe Phrase wiederholen.

Das Papier, das Sie gleich lesen werden, taucht tief in die Frage ein, warum dies bei einem speziellen Typ von Fabrikdesign namens „Post-Norm“ passiert. In diesem Design erhalten die Arbeiter erst dann eine „Untersuchung“ (Normalisierung), wenn sie ihre Arbeit beendet und sie zum Hauptförderband hinzugefügt haben. Die Autoren fanden heraus, dass dieser Aufbau zwei tödliche Fehler aufweist. Erstens: Direkt wenn die Fabrik ihre Türen öffnet, sorgt die Art und Weise, wie die Arbeiter die Vergangenheit betrachten (Attention), versehentlich dafür, dass die Arbeit aller exakt gleich aussieht, wie eine Menge von Klonen. Zweitens: Sobald alle gleich aussehen, beginnen die internen Regeln der Fabrik für die Weitergabe von Nachrichten (Gradienten), die Anweisungen so stark zu schrumpfen, dass sie völlig verschwinden. Das Ergebnis ist eine Maschine, die nichts Neues lernen kann und statisch einen einzigen, stumpfen Ton summt. Die Autoren haben nicht nur geraten, wie das passiert; sie haben ein mathematisches Modell gebaut, um zu beweisen, wie die Klone entstehen, und dann Experimente an einer 48-stöckigen Fabrik durchgeführt, um zuzusehen, wie es in Echtzeit geschieht.

Die Große Klon-Fabrik: Warum tiefe KI stecken bleibt

Stellen Sie sich einen massiven, 48-stöckigen Wolkenkratzer vor, in dem jedes Stockwerk ein Team von Arbeitern ist, die versuchen, eine Geschichte zu verstehen. Dies ist ein „Post-Norm Transformer“, ein Typ von KI-Modell. Das Ziel ist es, dass die oberste Etage das nächste Wort in einem Satz vorhersagt. Um dies zu tun, fließt Information von unten nach oben, und Anweisungen (Gradienten) fließen zurück nach unten, um die Arbeiter zu lehren, wie sie es besser machen können.

Aber hier ist der Haken: In diesem speziellen Wolkenkratzer-Design erhalten die Arbeiter in den unteren Etagen die stille Behandlung. Das Papier erklärt, dass dies in zwei unterschiedlichen Stadien geschieht, wie in einem zweigeteilten Theaterstück, in dem sich die Tragödie entfaltet.

Akt I: Der „Klon“-Effekt am Eröffnungstag

Stellen Sie sich vor, die Fabrik hat gerade erst eröffnet. Die Arbeiter sind frisch, und die Manager (der Attention-Mechanismus der KI) versuchen herauszufinden, wie sie koordinieren können. In einem Post-Norm-Gebäude haben die Manager eine seltsame Angewohnheit: Sie neigen dazu, die Ideen aller zu mitteln.

Die Autoren entdeckten, dass der „Attention“-Zweig der Fabrik ganz zu Beginn wie ein Präfix-Mittelwert-Operator wirkt. Denken Sie an einen Lehrer, der, anstatt auf die einzigartige Idee jedes Schülers zu hören, einfach den Durchschnitt von allem nimmt, was bisher gesagt wurde, und allen sagt, sie sollen ihn kopieren. Da das Gebäude so hoch ist (4 8 Schichten), geschieht dieses Mitteln immer wieder, während das Signal nach oben wandert. Bis das Signal die oberste Etage erreicht, sieht die Ausgabe jedes einzelnen Arbeiters fast identisch aus. Sie sind alle zu Klonen geworden.

Das Papier zeigt, dass dies schon geschieht, bevor die Fabrik überhaupt anfängt zu lernen! Es ist, als hätte man einen Turm aus Spiegeln gebaut, und die allererste Reflexion lässt bereits alles gleich aussehen. Die Autoren haben dies gemessen und festgestellt, dass der „Attention“-Teil der Hauptschuldige ist, der die Arbeiter in Richtung Klonen drängt. Der andere Teil der Fabrik, das „FFN“ (Feed-Forward Network), versucht dagegenzusteuern und die Dinge unterschiedlich zu halten, aber das ist wie ein sanfter Wind, der versucht, einen Hurrikan zu stoppen – es reicht einfach nicht aus, um das Klonen zu verhindern.

Akt II: Das verschwindende Flüstern

Stellen Sie sich nun vor, die Fabrik läuft und die Arbeiter sind bereits zu Klonen geworden. Die Manager an der Spitze merken: „Hey, wir sehen alle gleich aus! Wir müssen das korrigieren!“ Sie senden eine Nachricht nach unten zu den unteren Etagen, um deren Verhalten zu ändern. Dies ist der „Backward Pass“ oder der Gradient.

Doch genau hier verrät das Post-Norm-Design sie. In diesem Gebäude erhält jeder Arbeiter eine „Untersuchung“ (RMSNorm), die seine Arbeit skaliert, bas-ierend darauf, wie groß seine Ausgabe ist, jedes Mal, wenn er eine Aufgabe abgeschlossen hat. Während die Arbeiter versuchen, das Problem zu lösen, werden ihre Ausgaben immer größer und größer. Die Untersuchungsmaschine sieht diese riesige Ausgabe und schrumpft sie zusammen, um sie handhabbar zu halten.

Das Problem ist, dass dieses Schrumpfen geschieht, nachdem der Arbeiter seine Arbeit zum Hauptförderband hinzugefügt hat. Wenn also die „Reparatur“-Nachricht versucht, zurück nach unten zu reisen, muss sie durch diese Schrumpfungsmaschine wandern. Die Autoren fanden heraus, dass, während die Ausgaben der Arbeiter wachsen, die Maschine die „Reparatur“-Nachricht so aggressiv schrumpft, dass sie, bis die Nachricht die unteren Etagen erreicht, verschwunden ist. Es ist, als würde man eine Korrektur durch einen 48-stöckigen Flur rufen, aber jede Etage hat eine schalldämpfende Wand, die dicker wird, je höher man kommt. Bis der Ruf unten ankommt, ist es nur noch ein Flüstern, das niemand hören kann.

Da die unteren Etagen die Anweisungen nicht hören können, können sie nicht aufhören, Klone zu sein. Die Fabrik steckt in einem „High-Similarity-Regime“ fest, in dem das Einzige, was sie tun kann, die Vorhersage des häufigsten Wortes in ihren Trainingsdaten zu sein. Die Autoren nennen dies die „Frequenzverteilung“. Es ist die Art der KI zu sagen: „Ich weiß nicht, was ich sagen soll, also sage ich einfach das populärste Wort, das ich je gehört habe.“

Das Experiment: Beobachtung des Kollapses

Um zu beweisen, dass dies nicht nur eine Theorie war, bauten die Autoren eine 48-stöckige Post-Norm-Fabrik und trainierten sie auf einem massiven Datensatz namens C4. Sie beobachteten genau, wie das Training ablief.

1. Das Klon-Wachstum: Sie maßen, wie ähnlich sich die Ausgaben der Arbeiter waren. Genau wie ihre Mathematik es vorhersagte, schoss die Ähnlichkeit direkt zu Beginn in die Höhe, was bestätigte, dass die „Präfix-Mittelwert“-Attention alle in Klone verwandelte.
2. Die Schrumpfung: Sie verfolgten den „Schrumpfungsfaktor“ (den RMSNorm Backward Factor). Sie sahen, dass mit fortschreitendem Training und wachsenden Ausgaben der Arbeiter dieser Faktor unter 1 fiel. Das bedeutete, dass die Fabrik die Reparatur-Signale aktiv schrumpfte.
3. Die verschwindenden Gradienten: Sie betrachteten die unteren Etagen und sahen, dass die Gradienten (die Lernsignale) um Größenordnungen sanken. Die unteren Etagen waren effektiv blind für die Anweisungen der oberen Etagen.
4. Die Sackgasse: Schließlich überprüften sie den Loss (wie schlecht die Vorhersagen waren). Sobald die Fabrik kollabierte, verbesserte sich der Loss nicht mehr und blieb beim „Frequency Loss“ hängen – dem theoretischen Minimum für eine Maschine, die einfach nur das häufigste Wort rät.

Warum Pre-Norm anders ist

Sie fragen sich vielleicht: „Warum haben nicht alle KI-Fabriken dieses Problem?“ Das Papier erklärt, dass das alternative Design, genannt „Pre-Norm“, dies löst, indem es die „Untersuchung“ vor den Arbeitern platziert, die ihre Arbeit zum Förderband hinzufügen. In Pre-Norm betrifft die Schrumpfungsmaschine nur die neue Arbeit, nicht das gesamte Förderband. Dies bedeutet, dass die „Reparatur“-Nachrichten immer noch durch den Flur reisen können, ohne zerquetscht zu werden, was es den unteren Etagen ermöglicht, wach zu bleiben und zu lernen.

Das Faz-it

Dieses Papier sagt nicht nur „Post-Norm ist schlecht“. Es liefert uns eine klare, zweiteilige Geschichte darüber, warum es scheitert. Erstens erzeugt der Attention-Mechanismus versehentlich direkt zu Beginn eine Menge von Klonen. Zweitens macht die Architektur der Regeln für die Weitergabe von Nachrichten rückwärts unmöglich, die Klone einmal gebildeten zu beseitigen. Die Fabrik steckt in einer Schleife fest, in der sie nur die häufigsten Wörter wiederholen kann, die sie kennt, und kein Training der Welt sie aufwecken kann, weil die Anweisungen zur Änderung niemals unten ankommen.

Die Autoren sind sich ihrer Sache sehr sicher: Sie haben mathematische Beweise für das Verhalten und experimentelle Daten aus einem 48-lagigen Modell, die ihre Vorhersagen perfekt bestätigen. Sie zeigten sogar, dass wenn man den „Mittelwert“-Teil der Attention entfernt, das Klonen aufhört, was beweist, dass der Attention-Mechanismus tatsächlich der Bösewicht in dieser Geschichte ist. Wenn Sie also eine tiefe, intelligente KI bauen wollen, sollten Sie sicherstellen, dass Ihr Fabrikdesign Ihre Arbeiter nicht versehentlich in eine stille, identische Menge verwandelt.