🤖 machine learning

A Geometric Analysis of Sign-Magnitude Asymmetry in a ReLU + RMSNorm Block under Ternary Quantization

Dieses Papier liefert eine geometrische Erklärung für die Robustheit von Pre-Norm-Transformern gegenüber der ternären Gewichtsquantisierung und zeigt, dass die durch ReLU verursachte Richtungsasymmetrie in Kombination mit den Projektionseigenschaften von RMSNorm dazu führt, dass Phasenflip-Störungen deutlich mehr Ausgangsenergie erzeugen als Betragsstörungen, während Ausreißermerkmale in realen Modellen Abweichungen von dieser theoretischen Schranke erklären.

Ursprüngliche Autoren: Lei Dong

Veröffentlicht 2026-05-20

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Lei Dong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum das „Vorzeichen" wichtiger ist als die „Größe"

Stellen Sie sich vor, Sie versuchen, ein komplexes Lied zu verstehen. Sie könnten die Lautstärke jedes Instruments (Magnitude) hören oder nur die Richtung, in die sie spielen (Vorzeichen: positiv oder negativ).

Lange Zeit glaubten Forscher, man benötige die Lautstärke, um die Musik zu verstehen. Doch neuere Experimente zeigten etwas Überraschendes: Wenn man ein riesiges KI-Modell (einen Transformer) nimmt und alle Lautstärkeninformationen verwirft, wobei man nur die Richtung behält (ob Gewichte +1, -1 oder 0 sind), funktioniert das Modell immer noch fast perfekt.

Dieses Papier fragt: Warum ist die Richtung so viel wichtiger als die Lautstärke?

Die Autoren liefern eine geometrische Erklärung, die drei Hauptakteure einbezieht: Vorzeichen, ReLU (ein Torwächter) und RMSNorm (ein Filter).

Die drei Akteure und ihre Rollen

1. Der Gewichtsvektor (Der Pfeil)

Stellen Sie sich die Gewichte der KI als einen riesigen Pfeil vor, der in einem hochdimensionalen Raum in eine bestimmte Richtung zeigt.

Die Entdeckung: Das Papier beweist, dass das Vorzeichen (die Richtung, in die der Pfeil zeigt) etwa 64 % der nützlichen Information des Pfeils enthält.
Die Analogie: Stellen Sie sich einen Kompass vor. Zu wissen, dass der Kompass nach „Norden" zeigt, sagt Ihnen viel. Zu wissen, dass der Kompass „Norden" zeigt, aber auch „etwas schwerer" ist, sagt Ihnen fast nichts Neues. Das Papier zeigt, dass zufällige Änderungen in der „Schwere" (Magnitude) meist Rauschen sind, während Änderungen in der „Richtung" (Vorzeichen) das eigentliche Signal darstellen.

2. ReLU (Das Einweg-Tor)

ReLU ist eine Aktivierungsfunktion, die wie ein Tor wirkt. Wenn das Signal positiv ist, lässt es es durch. Wenn es negativ ist, blockiert es es (macht es zu Null).

Der Effekt: Dieses Tor schafft eine „einseitige" Welt. Es behandelt positive und negative Signale unterschiedlich.
Die Analogie: Stellen Sie sich einen Fluss mit einem Damm vor, der Wasser nur dann fließen lässt, wenn es sich schnell genug flussabwärts bewegt. Wenn Sie das Wasser leicht rückwärts drücken (ein Vorzeichenwechsel), stoppt der Damm es vollständig. Wenn Sie nur ändern, wie hart das Wasser vorwärts drückt (Magnitude), lässt der Damm es trotzdem durch. Dies erzeugt ein verstecktes Ungleichgewicht.

3. RMSNorm (Der Richtungsfilter)

RMSNorm ist ein Normalisierungsschritt, der alle Signale auf die gleiche „Länge" (Magnitude) zwingt, aber ihre Richtung beibehält.

Der Effekt: Es wirkt wie ein Sieb, das alles filtert, was in die gleiche Richtung wie der Hauptfluss zeigt, aber alles behält, was seitwärts zeigt (transversal).
Die Analogie: Stellen Sie sich einen Windkanal vor. Wenn Sie einen Ball gerade durch den Tunnel werfen (radial), absorbiert der Windkanal den Aufprall. Wenn Sie einen Ball seitwärts werfen (transversal), lässt der Windkanal ihn durch und er trifft das Ziel.

Die Kernentdeckung: Die „2,75-fache" Überraschung

Das wichtigste mathematische Ergebnis des Papiers ist eine spezifische Zahl: $\pi / (\pi - 2) \approx 2,75$ .

Hier ist, was das in einfacher Sprache bedeutet:
Wenn Sie einen Fehler in den Gewichten der KI machen, gibt es zwei Möglichkeiten, dies zu tun:

Vorzeichen umkehren: Ändern Sie ein +1 in ein -1.
Magnitude ändern: Ändern Sie ein +1 in ein +0,5 (wobei das Vorzeichen gleich bleibt).

Wenn Sie diese Fehler mit der gleichen „Energie" machen (mathematisch ausgedrückt: mit derselben Frobenius-Norm), verursacht das Vorzeichen-Umkehren 2,75-mal mehr Schaden für die Ausgabe der KI als die Magnitude-Änderung.

Warum?

Vorzeichen-Umkehrungen: Wegen des ReLU-Tors ändert das Umkehren eines Vorzeichens oft die Richtung des Signals drastisch. Wenn dies auf den RMSNorm-Filter trifft, lässt der Filter fast den gesamten Schaden durch (weil er seitwärts zeigt).
Magnitude-Änderungen: Da das Vorzeichen gleich bleibt, blockiert das ReLU-Tor das Signal nicht. Der RMSNorm-Filter sieht diese Änderung als „in die richtige Richtung zeigend" an und absorbiert den Großteil davon, wodurch der Schaden ausgeglichen wird.

Das Urteil: Die KI ist viel empfindlicher gegenüber falscher Richtung als gegenüber falscher Größe. Deshalb funktioniert „Ternäre Quantisierung" (nur Vorzeichen und Nullen behalten) so gut.

Die „Ausreißer"-Wendung: Warum reale Modelle noch empfindlicher sind

Die obige Mathematik sagt einen Unterschied von 2,75-fach voraus. Als die Autoren dies jedoch an einem realen, massiven KI-Modell (TinyLlama) testeten, stellten sie fest, dass der Schaden viel höher war (in einigen Fällen bis zu 1.000-fach).

Warum die Lücke?
Die Mathematik ging davon aus, dass die internen Signale der KI gleichmäßig verteilt waren (wie ein glatter Nebel). Aber in realen Modellen sind die Signale „spitz". Einige spezifische Neuronen (sogenannte Ausreißer) sind unglaublich laut und aktiv, während die meisten leise sind.

Die Analogie: Stellen Sie sich einen Chor vor, in dem alle mit der gleichen Lautstärke singen. Wenn eine Person ihre Tonhöhe ändert (Vorzeichenwechsel), ist es spürbar. Aber in einer realen KI stellen Sie sich vor, eine Person schreit bei 100 Dezibel, während die anderen flüstern. Wenn Sie das Vorzeichen dieser schreienden Person umkehren, klingt der ganze Chor völlig anders.
Die Erkenntnis: Das Papier zeigt, dass diese „schreienden" Ausreißer den Schaden von Vorzeichenwechseln um einen Faktor verstärken, der mit ihrem Lautstärkequadrat zusammenhängt ( $n\alpha^2$ ). Dies erklärt, warum reale Modelle so empfindlich auf Vorzeichenfehler reagieren, weit über die einfache 2,75-fache Vorhersage hinaus.

Was ist mit Ternärer Quantisierung? (Die „gute" Nachricht)

Das Papier erklärt auch, warum „Ternäre Quantisierung" (Nutzung nur von -1, 0, +1) funktioniert.

Wenn Sie Gewichte auf -1, 0 oder +1 quantisieren, führen Sie im Wesentlichen eine „Magnitude-Änderung" durch (Sie passen die Größe an, behalten aber das Vorzeichen bei).
Da die KI von Natur aus „blind" für Magnitude-Änderungen ist (dank des RMSNorm-Filters, der sie absorbiert), ist diese Art von Fehler harmlos.
Das Papier berechnet, dass selbst wenn das ReLU-Tor einige Signale umkehrt, der Fehler größtenteils „radial" bleibt (vom Filter absorbiert), was die KI sehr tolerant gegenüber dieser spezifischen Art von Kompression macht.

Zusammenfassung der wichtigsten Erkenntnisse

Richtung ist König: In modernen KI-Architekturen trägt das Vorzeichen eines Gewichts die wichtigsten Informationen. Die Größe ist meist Rauschen.
Die 2,75-fache Regel: In einem vereinfachten Modell verursacht das Umkehren eines Vorzeichens fast dreimal so viel Schaden wie das Ändern der Größe.
Der Filter-Effekt: RMSNorm wirkt wie ein Filter, der Größenfehler auslöscht, aber Vorzeichenfehler durchlässt.
Der Ausreißer-Effekt: Reale KI-Modelle haben „laute" Neuronen. Das Umkehren des Vorzeichens dieser lauten Neuronen verursacht massive Schäden, was erklärt, warum reale Modelle noch empfindlicher sind als die einfache Mathematik vorhersagt.
Kein magischer Multiplikator: Die Autoren testeten, ob sich dieser Schaden vervielfacht (multipliziert), wenn das Signal durch viele Schichten geht. Das tut er nicht. Der Schaden wächst nicht exponentiell mit der Tiefe; die „Lautstärke" der Ausreißer ist der wahre Grund für die hohe Empfindlichkeit.

Kurz gesagt: Das Papier beweist, dass KI-Modelle wie ein Kartenhaus gebaut sind, bei dem die Richtung der Karten wichtig ist, ihre Dicke aber nicht. Solange Sie die Richtung richtig halten, können Sie die Karten sehr dünn machen (oder sogar nur Vorzeichen), und das Haus wird trotzdem stehen.

Technische Zusammenfassung: Eine geometrische Analyse der Vorzeichen-Magnituden-Asymmetrie in einem ReLU + RMSNorm-Block unter ternärer Quantisierung

1. Problemstellung

Jüngste Fortschritte bei Large Language Models (LLMs) mit extrem niedriger Bitbreite, insbesondere BitNet b1.58, zeigen, dass Pre-Norm-Transformer-Architekturen mit Gewichten, die auf die ternäre Menge $\{-1, 0, +1\}$ beschränkt sind, operieren können, während sie erhebliche sprachliche Fähigkeiten beibehalten. Dieses Phänomen ist bemerkenswert, da die ternäre Quantisierung alle Magnitudeninformationen verwirft und nur Vorzeichenmuster und Sparsity erhält. Obwohl empirische Evidenz (z. B. die Lottery-Ticket-Hypothese) nahelegt, dass Gewichts-Vorzeichen kritischer sind als Magnituden, fehlte bisher eine rigorose theoretische Erklärung dafür, warum das Vorzeichen spezifisch in Pre-Norm (RMSNorm)-Architekturen unverhältnismäßig viel funktionale Information trägt. Dieser Beitrag zielt darauf ab, eine geometrische Erklärung für diese Vorzeichen-Magnituden-Asymmetrie zu liefern.

2. Methodik

Die Autoren verwenden eine Kombination aus asymptotischer geometrischer Analyse, Störungstheorie und empirischer Validierung an synthetischen Modellen sowie realen LLMs (TinyLlama-1.1B, Qwen2.5).

Theoretischer Rahmen: Die Kernanalyse konzentriert sich auf ein zweischichtiges Modell bestehend aus einer linearen Schicht, einer ReLU-Aktivierung und einer RMSNorm-Schicht ( $\hat{y} = \text{RMSNorm}(W_2 \cdot \text{ReLU}(W_1 \hat{x}))$ ). Die Gewichte werden als i.i.d. Gaußsch verteilt angenommen, und die Eingaben sind delokalisiert (gleichverteilt auf der Kugel).
Störungsanalyse: Die Studie vergleicht zwei Arten von Gewichtsstörungen mit gleicher erwarteter Frobenius-Norm:
1. Vorzeichen-Umkehr: Zufälliges Umkehren des Vorzeichens von Einträgen (Einführung eines vorzeichenändernden Fehlers).
2. Magnituden (Vorzeichen-erhaltend): Hinzufügen von Rauschen, das das ursprüngliche Vorzeichen der Gewichte erhält (Einführung eines vorzeichen-erhaltenden Fehlers).
Geometrische Werkzeuge: Die Analyse nutzt die Fréchet-Ableitung von RMSNorm (identifiziert als transversaler Projektor), die Bussgang-Konstante für Vorzeichen-Quantisierung und den Satz von Price für ReLU-Korrelationen.
Experimentelle Validierung: Experimente verifizieren theoretische Grenzen an synthetischen Daten und testen die Kumulierung von Effekten über Schichten hinweg sowie den Einfluss von „Ausreißer-Features" (Verletzungen der Delokalisierungsannahme) auf reale Modelle.

3. Hauptbeiträge und Ergebnisse

3.1 Die Asymmetrie-Konstante $\pi/(\pi-2)$

Das primäre theoretische Ergebnis des Papiers (Satz 3) stellt fest, dass in einem zweischichtigen ReLU + RMSNorm-Modell mit i.i.d. Gaußschen Gewichten Vorzeichen-Umkehr-Störungen etwa 2,75-fach ( $\pi/(\pi-2)$ ) mehr transversale Ausgangsenergie erzeugen als vorzeichen-erhaltende Magnituden-Störungen gleicher Norm, wenn die Umkehrrate $p \to 0$ geht.

Mechanismus: Die Asymmetrie ergibt sich aus einem zweistufigen geometrischen Prozess:
1. ReLU erzeugt gerichtete Asymmetrie: Die Struktur der vorzeichen-erhaltenden Störung richtet sich über die Bussgang-Konstante ( $\cos^2 \to 2/\pi$ ) am Gewichtsvektor aus. ReLU propagiert diese Ausrichtung, was zu einem hohen „radialen Anteil" (Energie, die mit der Ausgangsrichtung ausgerichtet ist) für Magnituden-Störungen führt ( $R_{mag} \approx 2/\pi$ ). Umgekehrt erzeugen Vorzeichen-Umkehrungen einen nahezu null radialen Anteil ( $R_{sign} \approx p$ ).
2. RMSNorm legt die Asymmetrie offen: RMSNorm wirkt als radialer Filter (Satz 2) und projiziert Komponenten heraus, die mit dem Ausgangsvektor ausgerichtet sind. Es absorbiert $\approx 63,7\%$ ( $2/\pi$ ) der Magnituden-Störungsenergie, erhält aber $\approx 99\%$ der Vorzeichen-Umkehr-Energie (für kleines $p$ ). Das Verhältnis der verbleibenden transversalen Energie beträgt $\frac{1-p}{1-2/\pi} \approx \frac{\pi}{\pi-2}$ .

3.2 Charakterisierung des ternären Quantisierungsfehlers

Das Papier charakterisiert den ternären Quantisierungsfehler (Satz 4) als eine vorzeichen-erhaltende Störung.

Die winklige Ausrichtung zwischen dem ursprünglichen Ausgang und dem quantisierten Ausgang konvergiert zu $\cos^2 \theta \to 2/\pi$ .
Entscheidend ist, dass der post-ReLU radiale Anteil des ternären Fehlers mit $\approx 0,365$ berechnet wird, was innerhalb von 0,4 % des prä-ReLU-Werts ( $1 - 2/\pi$ ) liegt. Dies impliziert, dass ReLU für die radiale/transversale Zerlegung des ternären Fehlers annähernd transparent ist, was bedeutet, dass sich der Fehler hinsichtlich der RMSNorm-Filterung ähnlich wie das idealisierte Magnituden-Störungsmodell verhält.

3.3 Widerlegung der Multi-Schichten-Kumulierung

Eine natürliche Hypothese besagt, dass der ein-Schichten-Faktor von 2,75× in tiefen Netzwerken multiplikativ kumuliert und die extreme Sensitivität realer Modelle erklärt. Die Autoren widerlegen dies (Abschnitt 7.1, Tabelle 3).

Experimente an synthetischen und trainierten Modellen (TinyLlama) zeigen, dass das Verhältnis der transversalen Energie mit der Tiefe abnimmt oder ein Plateau erreicht, anstatt exponentiell zu wachsen.
Die große Vorzeichen-Sensitivität, die in realen Modellen beobachtet wird, ist nicht auf eine Kumulierung durch die Tiefe zurückzuführen.

3.4 Die Rolle von Ausreißer-Features

Das Papier identifiziert Ausreißer-Features (schwere Verteilungen der Aktivierungen, die die Delokalisierungsannahme verletzen) als die wahre Quelle der Lücke zwischen der theoretischen 2,75×-Basislinie und der massiven Sensitivität, die in realen Modellen zu sehen ist.

Hebel-Theorie: Für eine Eingabedimension mit Amplitude $\alpha$ erzeugt eine einzelne Vorzeichen-Umkehr eine post-ReLU-Energie, die im Vergleich zu einem delokalisierten Eintrag um einen Faktor $R \approx n\alpha^2$ verstärkt wird (Anhang E).
Empirische Validierung: Bei TinyLlama-1.1B verursacht das Umkehren von Vorzeichen in „Ausreißer-Spalten" (top 5 % nach Aktivierungs-Magnitude) $\sim 1.265$ -fach mehr Perplexity-Schaden als Nicht-Ausreißer-Spalten. Wenn jedoch die Anzahl der Umkehrungen und die Nichtlinearität von Perplexity (PPL) gegenüber dem negativen Log-Likelihood (NLL) berücksichtigt werden, stabilisiert sich der Hebel im linearen Antwortbereich ( $p \le 0,5\%$ ) auf $\sim 10$ -fach, was der theoretischen Vorhersage $n \cdot E[\alpha^2]$ entspricht.

4. Bedeutung und Behauptungen

Das Papier behauptet, eine geometrische Erklärung für die Robustheit von Pre-Norm-Transformern gegenüber ternärer Quantisierung zu liefern:

Vorzeichen-Dominanz: Vorzeichenmuster erfassen $\approx 63,7\%$ der gerichteten Energie von Gewichtsvektoren (Fakt 1), während Magnituden mit zufälligen Vorzeichen verschwindende gerichtete Information tragen.
Architektonische Synergie: Die spezifische Kombination aus vorzeichen-erhaltender Struktur + ReLU + RMSNorm erzeugt einen Mechanismus, bei dem vorzeichen-ändernde Fehler selektiv in der transversalen (funktionalen) Richtung verstärkt werden, während vorzeichen-erhaltende Fehler (wie ternäre Quantisierung) weitgehend durch die radiale Filterung von RMSNorm absorbiert werden.
Abweichung in der realen Welt: Die extreme Sensitivität realer Modelle gegenüber Vorzeichen-Umkehrungen ist keine inhärente Eigenschaft der Tiefe, sondern eine Konsequenz von Ausreißer-Features, die die für die Basis-Theorie erforderlichen Delokalisierungsannahmen verletzen.

5. Einschränkungen und offene Probleme

Die Autoren weisen ausdrücklich auf mehrere Einschränkungen hin:

Ein-Schichten-Theorie: Die Konstante $\pi/(\pi-2)$ wurde für ein zweischichtiges Spielzeug-Modell abgeleitet; das Verhalten des gesamten Transformer-Stacks wird nicht vollständig erfasst.
Gaußsche Annahme: Reale trainierte Gewichte sind nicht i.i.d. Gaußsch verteilt, was zu Abweichungen von der $2/\pi$ -Grenze in empirischen Messungen führt.
Aktivierungsfunktionen: Die geschlossenen Formelergebnisse beruhen auf der Halbraum-Struktur von ReLU. Die Erweiterung auf gated Aktivierungen (SwiGLU/GeGLU), die in modernen LLMs verwendet werden, bleibt offen, obwohl Experimente qualitativ ähnliches Verhalten nahelegen.
Multi-Schichten-Propagation: Das genaue Gesetz, das beschreibt, wie sich der radiale Anteil $R$ über die Tiefe in residualen Strömen entwickelt, bleibt ein offenes Problem.
Energie-zu-Verlust-Mapping: Eine rigorose Abbildung von Störungsenergie auf Perplexity/NLL für nicht-lineare Bereiche bleibt teilweise ungelöst, obwohl das Papier starke empirische Korrelationen liefert.

Zusammenfassend argumentiert das Papier, dass der Erfolg der ternären Quantisierung in Pre-Norm-Modellen eine geometrische Unvermeidlichkeit der Interaktion des RMSNorm-Filters mit vorzeichen-erhaltenden Störungen in einem ReLU-aktivierten Raum ist, während die extreme Fragilität dieser Modelle gegenüber Vorzeichen-Umkehrungen durch schwere Verteilungen von Ausreißer-Features und nicht durch die architektonische Tiefe getrieben wird.