Stellen Sie sich vor, Sie versuchen, einen Wolkenkratzer aus tausenden winzigen, identischen Lego-Steinen zu bauen. In der Welt der künstlichen Intelligenz sind diese „Bausteine“ mathematische Schichten, die Informationen verarbeiten, und der „Wolkenkratzer“ ist ein tiefes neuronales Netz, das komplexe Aufgaben wie das Erkennen von Katzen auf Fotos oder das Schreiben von Geschichten erlernen kann. Je tiefer das Gebäude ist, desto komplexere Probleme kann es lösen. Aber es gibt einen Haken: Während man immer mehr Schichten übereinanderstapelt, wird das Signal, das vom Boden zur Spitze reisen will, oft gedämpft, verzerrt oder geht völlig verloren. Es ist, als würde man versuchen, ein Geheimnis durch hundert Menschen zu flüstern; bis es am Ende ankommt, ist die Botschaft verstümmelt oder verschwunden.

Um dies zu beheben, erfanden Ingenieure einen cleveren Trick namens „Skip Connection“. Stellen Sie sich das wie den Bau eines superschnellen Aufzugsschachts mitten durch Ihren Lego-Turm vor. Anstatt die Nachricht durch jeden einzelnen Stein kriechen zu lassen, lässt der Aufzug sie an den lauten, chaotischen Mittelabschnitten vorbeizischen und sicher oben ankommen. Dies hält das Signal stark. Es gibt jedoch ein verborgenes Problem, das diese Arbeit untersucht: Selbst wenn die Lautstärke der Nachricht hoch bleibt, könnte ihr Inhalt dennoch flachgewalzt werden. Stellen Sie sich vor, während die Nachricht reist, würden alle verschiedenen Farben der Lego-Steine in einen einzigen Grauton umschlagen. Die Nachricht ist zwar noch da, aber sie hat ihre Reichhaltigkeit und Vielfalt verloren. In der Mathematik nennt man das „Rank Collapse“ (Rangkollaps), wobei das Netzwerk seine Fähigkeit verliert, die Welt in vielen verschiedenen Richtungen zu sehen, und in einer engen, langweiligen Perspektive stecken bleibt.

Diese Arbeit mit dem Titel „Transforming Rank“ taucht tief in die Blaupausen moderner KI ein, um genau zu verstehen, wie das Design dieser Lego-Türme diesen Verlust an Farbe beeinflusst. Die Forscher, unter der Leitung von Katie Everett vom MIT, behandeln das Netzwerk wie eine Detektivgeschichte und untersuchen, wie Skip Connections, Normalisierungsschichten (die das Signal vor dem Explodieren bewahren) und die spezifische Anordnung mathematischer Operationen zusammenwirken. Sie entdecken, dass der berühmte „Aufzugsschacht“ (Skip Connection) nicht nur das Volumen des Signals rettet, sondern tatsächlich dessen Vielfalt bewahrt, indem er es um die Teile des Netzwerks herumleitet, die dazu neigen, alles grau werden zu lassen. Sie finden jedoch auch einen kniffligen Zielkonflikt: Wenn man sich zu sehr auf den Aufzug verlässt, hört der Turm auf, ein tiefer, denkender Turm zu sein, und beginnt, wie ein Haufen separater, flacher Räume zu agieren, die nicht miteinander kommunizieren. Die Arbeit kartiert genau, wie man diese Kräfte ausbalanciert, und zeigt, dass die Platzierung des „Aufzugs“ und die Breite der „Flure“ im Inneren des Turms die geheimen Zutaten sind, die die KI-Mentalität farbenfroh und fähig halten, selbst wenn sie hunderte von Schichten tief wird.

Das große Lego-Turm-Rätsel

Wie also verhindern wir, dass ein tiefes neuronales Netz zu einem langweiligen, grauen Klumpen wird? Die Autoren dieser Arbeit beschlossen, den „Feedforward-Block“ zu untersuchen, der im Grunde der Standardraum im Wolkenkratzer der KI ist. In einem typischen Raum kommen Informationen herein, werden gestreckt, durch einen Filter (eine Aktivierungsfunktion) gepresst und dann wieder zusammengedrückt. Das Problem ist, dass dieser Streck- und Stauchungsprozess ein wenig wie ein Fotokopierer ist, der bei jedem Gebrauch ein wenig Detail verliert. Wenn man ein Dokument hundertmal kopiert, wird der Text schließlich unleserlich. In einem neuronalen Netz bedeutet dies, dass der „Rang“ (ein Maß dafür, in wie vielen verschiedenen Richtungen die Information fließen kann) mit zunehmender Tiefe sinkt.

Die Arbeit beginnt mit der Neubewertung der „Skip Connection“, jenem berühmten Aufzugsschacht. Die meisten Menschen dachten, der Aufzug sei nur dazu da, um das Signal vor dem zu Leise- oder zu Lautwerden zu schützen. Doch die Autoren zeigen, dass seine wahre Superkraft darin besteht, den Rang zu retten. Indem sie das Signal erlauben, den chaotischen „Streck- und Stauchungs“-Raum zu umgehen und direkt durch den Aufzug zu fahren, bewahrt das Netzwerk seine Vielfalt. Es gibt jedoch einen Haken. Wenn der Aufzug zu stark und der chaotische Raum zu schwach ist, lernt das Signal nie etwas Neues aus dem Raum; es überspringt ihn einfach. Das Netzwerk agiert dann wie eine Menge von Menschen, die ihre eigenen separaten Gedanken schreien (ein „Ensemble“), anstatt wie ein einziger tiefer Denker, bei dem jede Schicht auf der letzten aufbaut. Die Autoren fanden heraus, dass das Gleichgewicht zwischen dem Aufzug und dem chaotischen Raum durch ein einfaches Verhältnis gesteuert wird: wie groß der Beitrag des Raums im Vergleich zum Aufzug ist.

Die Geheimzutat: Wo man den Normalisierer platziert

Eine der größten Entdeckungen der Arbeit betrifft die „Normalisierung“, einen Schritt, der die Zahlen im Netzwerk davon abhält, verrückt zu spielen. Lange Zeit stritten Ingenieure darüber, wo man diesen Schritt platziert: vor dem chaotischen Raum (Pre-Norm) oder nach dem Aufzug (Post-Norm). Die Arbeit zeigt, dass diese Wahl nicht nur über die Stabilität der Zahlen entscheidet; sie ist der Hauptschalter für das Verhältnis zwischen Aufzug und Raum.

Wenn man den Normalisierer nach dem Aufzug platziert (Post-Norm), setzt er die Größe des Signals jedes Mal zurück. Dies hält das Verhältnis zwischen dem Raum und dem Aufzug konstant. Das Ergebnis? Das Signal verliert Schicht für Schicht an Vielfalt, und schließlich kollabiert der gesamte Turm zu einem grauen Klumpen. Die Autoren schließen die Idee explizit aus, dass der „Projektions“-Teil des Normalisierers (der bestimmte Richtungen entfernt) der Hauptschuldige ist. Sie führten Simulationen durch, die zeigten, dass der Kollaps auch dann stattfindet, wenn man diesen Teil entfernt. Der wahre Übeltäter ist das konstante Verhältnis, das verhindert, dass das Signal sich erholt.

Wenn man den Normalisierer hingegen vor den chaotischen Raum platziert (Pre-Norm), darf das Signal wachsen, während es den Turm hinaufreist. Da das Signal größer wird, wird der Beitrag des chaotischen Raums im Vergleich zum Aufzug relativ kleiner. Das bedeutet, dass sich das Verhältnis ändert, während man tiefer geht. Das Signal verliert in den frühen Schichten zwar etwas an Vielfalt, aber da sich das Verhältnis ständig verschiebt, verlieren die späteren Schichten nicht mehr so viel. Der Rang verschwindet nicht; er erreicht einen „Boden“ und bleibt dort. Dies erklärt, warum moderne riesige KI-Modelle (wie jene, die Code schreiben oder mit Ihnen chatten) fast immer Pre-Norm verwenden: Es verhindert, dass das Netzwerk kollabiert, auch wenn dies bedeutet, dass die tiefen Schichten etwas weniger „aktiv“ werden.

Der Zwei-Matrizen-Zaubertrick

Die Arbeit löst auch ein Rätsel darüber, warum der chaotische Raum in diesen Türmen zwei Sätze mathematischer Operationen hat anstatt nur einem. Normalerweise streckt der Raum das Signal viermal breiter, wendet einen Filter an und presst es dann wieder zusammen. Warum macht man das nicht einfach in einem Schritt?

Die Autoren fanden heraus, dass man mit nur einer Matrix (einem Schritt) einen „Mittelwert-Spike“ (Mean Spike) entwickelt. Stellen Sie sich vor, jedes Mal, wenn das Signal durch den Raum geht, fügt es versehentlich ein winziges bisschen „graues Rauschen“ in dieselbe Richtung hinzu. Wenn man dies hundertmal macht, wächst dieses winzige Stück Rauschen zu einem riesigen, dominanten Spike heran, der alle anderen Farben verdrängt. Das Signal wird zu einer einzigen, langweiligen Linie.

Aber wenn man zwei Matrizen verwendet, wirkt die zweite wie ein magischer Mixer. Sie nimmt diesen wachsenden Spike und zerstreut ihn, sodass das Rauschen verteilt wird und nicht dominiert. Dies hält das Signal farbenfroh und verhindert den Kollaps. Die Arbeit zeigt, dass dies der Grund ist, warum moderne Transformer zwei Matrizen verwenden: Es geht nicht nur darum, mehr Leistung zu haben, sondern darum, das Rauschen zu dekorellieren, damit das Netzwerk nicht in einer einzigen Richtung stecken bleibt.

Die Weitenerweiterungsschwelle

Schließlich betrachtet die Arbeit, wie breit der „Flur“ innerhalb des chaotischen Raums sein sollte. Sie fanden eine spezifische Schwelle, die auf einem mathematischen Gesetz basiert, dem Marchenko-Pastur-Gesetz. Wenn der Flur zu schmal ist, tötet der Filter (die Aktivierungsfunktion) zu viele Richtungen ab, und das Signal bleibt stecken. Aber wenn man den Flur auf eine bestimmte Breite erweitert (zum Beispiel viermal breiter als der Input), gibt man dem Signal genug Raum, um den Filter zu überleben. Die Autoren berechneten, dass man für gängige Filter wie ReLU mindestens eine 2-fache Erweiterung benötigt, um das Signal voller Vielfalt zu halten, aber die in der Praxis verwendete 4-fache Erweiterung viel sicherer ist und das Signal in hervorragendem Zustand hält.

Das große Ganze: Ein Drei-Wege-Zielkonflikt

Am Ende zeichnet die Arbeit das Bild des Architekturdesigns als einen empfindlichen Balanceakt. Man hat drei Dinge, die um die Aufmerksamkeit kämpfen:

1. Rank Collapse: Das Signal wird grau und verliert seine Vielfalt.
2. Ensemble-Verhalten: Das Signal überspringt den Lernprozess und agiert wie ein Haufen flacher Räume.
3. Parameteranzahl: Die Kosten für das Hinzufügen von mehr Bausteinen (wie der zweiten Matrix und breiteren Fluren), um das Problem zu lösen.

Die Autoren schlagen vor, dass die besten Designs diesen Zielkonflikt navigieren. Sie nutzen Skip Connections, um das Signal um die gefährlichen Teile herumzuleiten, aber sie stimmen das „Branch-to-Skip“-Verhältnis so ab, dass das Signal dennoch lernt. Sie verwenden zwei Matrizen und breite Flure, um das Signal innerhalb der Räume farbenfroh zu halten. Und sie verwenden Pre-Norm, um dem Signal zu erlauben, natürlich zu wachsen, was verhindert, dass das Verhältnis in einem kollabierenden Muster stecken bleibt.

Die Arbeit bestätigt diese Ideen durch Simulationen und Messungen an Netzwerken, die auf dem CIFAR-10-Datensatz trainiert wurden (ein Standardtest für Bilderkennung). Sie fanden heraus, dass Netzwerke, in denen der initiale Rang kollabierte, nicht lernen konnten, während jene, die einen moderaten Rang beibehielten, erfolgreich waren. Dies deutet darauf an, dass das „Geheimrezept“ moderner KI nicht nur darin besteht, Modelle größer zu machen, sondern darin, die interne Rohrleitung sorgfältig zu gestalten, um die Vielfalt des Signals durch die tiefen, dunklen Tiefen des Netzwerks lebendig zu halten.