🤖 machine learning

The Quantization Benefits of Residual-Free Transformers

Dieses Papier zeigt, dass residuelle Verbindungen in Transformern die Nicht-Gaußsche Aktivierung und Quantisierungsfehler verstärken, jedoch führt der Ersatz durch residualfreie Architekturen, die mittels orthogonaler Initialisierung und spektraler Optimierung trainiert werden, zu Modellen mit nahezu gaußschen Aktivierungen, die bei minimalem Verlust der Vollpräzisionsleistung deutlich robuster gegenüber der Quantisierung mit niedriger Bitbreite sind.

Ursprüngliche Autoren: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yiping Ji, Mahalakshmi Sabanayagam, Peyman Moghadam, Hemanth Saratchandran, Simon Lucey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „schwerlastige" Stau

Stellen Sie sich vor, Sie versuchen, eine massive Datenmenge (wie eine riesige Bibliothek voller Bücher) über ein Computernetzwerk zu bewegen, um eine superintelligente KI zu trainieren. Um diesen Transport schneller und günstiger zu gestalten, möchten Sie die Bücher zu winzigen, leichten Broschüren verkleinern. Dies nennt man Quantisierung.

Doch es gibt einen Haken. Bei Standard-KI-Modellen (sogenannten Transformern) ist die zu bewegende Datenmenge nicht ordentlich organisiert. Es ist wie eine Bibliothek, in der 99 % der Bücher dünne Broschüren sind, aber 1 % riesige, schwere Enzyklopädien darstellen. Diese „schweren Enzyklopädien" nennt man Ausreißer.

Wenn Sie versuchen, alle Bücher auf dieselbe kleine Größe zu schrumpfen, um Platz zu sparen, passen die winzigen Broschüren perfekt, aber die schweren Enzyklopädien werden zerquetscht und verlieren alle ihre Informationen. Dies führt dazu, dass die KI Fehler macht. Aktuelle Lösungen versuchen, spezielle „Schwerlast-LKWs" nur für die Enzyklopädien zu bauen, doch dies ist kompliziert und teuer.

Die Entdeckung des Papers: Der „Residual"-Täter

Die Autoren dieses Papers stellten eine andere Frage: Warum gibt es überhaupt so viele schwere Enzyklopädien?

Sie entdeckten, dass das Problem nicht nur in den Daten liegt, sondern in der Architektur (dem Bauplan) der KI. Insbesondere machten sie die Residual-Verbindung dafür verantwortlich.

Die Analogie: Stellen Sie sich eine Staffel vor.
- Standard-KI (Residual): Der Läufer gibt das Staffelholz an die nächste Person weiter, behält aber auch sein eigenes Holz und fügt es zum Haufen hinzu. Über 20 oder 30 Runden (Schichten) hinweg wird dieser Haufen an Staffelhölzern riesig, unordentlich und unvorhersehbar. Dieses „Aufstapeln" erzeugt diese schweren Ausreißer.
- Die neue Idee (Residual-Free): Der Läufer gibt das Staffelholz weiter und lässt sein eigenes los. Der nächste Läufer beginnt frisch mit nur dem neuen Holz. Der Haufen wird nie unordentlich; er bleibt ordentlich und einheitlich.

Das Paper zeigt, dass dieses „Aufstapeln" in Standardmodellen die Daten dazu zwingt, „schwerlastig" (voll von Ausreißern) zu werden, was es sehr schwierig macht, sie zu verkleinern (zu quantisieren), ohne Qualität zu verlieren.

Die Lösung: Eine „Residual-Free"-Diät

Die Autoren schlagen vor, KI-Modelle ohne diese „aufstapelnden" Verbindungen zu bauen. Sie nennen sie Residual-Free Transformer.

Doch es gibt ein Problem: Das Entfernen des „aufstapelnden" Mechanismus macht das Training der KI sehr schwierig. Es ist wie der Versuch, einen Marathon ohne das Sicherheitsnetz eines Staffelholzes zu laufen; man könnte stolpern und fallen.

Um dies zu beheben, entwickelten die Autoren ein spezifisches „Trainingsrezept", damit diese neuen Modelle funktionieren:

Orthogonale Initialisierung: Starten Sie das Modell mit Gewichten, die perfekt ausbalanciert sind, wie eine perfekt symmetrische Schneeflocke, damit die Daten von Anfang an nicht verzerrt werden.
Spezielle Optimierer: Verwenden Sie eine bestimmte Art von „Trainer" (mathematischer Optimierer), der das Modell während des Trainings im Gleichgewicht hält, anstatt es unordentlich werden zu lassen.
Temperaturskalierung: Passen Sie die „Hitze" des Modells an, je tiefer es wird, um einen reibungslosen Datenfluss zu gewährleisten.

Die Ergebnisse: Der „Gaußsche" Goldilocks-Bereich

Als sie diese neuen Modelle trainierten, geschah etwas Magisches. Anstatt ein paar riesige Enzyklopädien und viele Broschüren zu haben, wurden die Daten perfekt einheitlich.

Die Analogie: Stellen Sie sich eine Menschenmenge vor.
- Altes Modell: Ein paar Riesen und viele Zwerge. Wenn Sie versuchen, sie alle in einen kleinen Bus zu packen (niedrig-bit Quantisierung), werden die Riesen zerquetscht und der Bus geht kaputt.
- Neues Modell: Alle haben genau die gleiche Durchschnittsgröße. Sie können sie alle perfekt in einen winzigen Bus packen, ohne dass jemand zerquetscht wird.

In mathematischen Begriffen behalten die neuen Modelle ihre Daten „nahe-Gaußsch" (eine schöne, glockenförmige Kurve), während die alten Modelle „schwerlastig" werden.

Der Kompromiss: Etwas langsamer, viel besser komprimierbar

Das Paper fand einen klaren Kompromiss:

Volle Präzision (Keine Verkleinerung): Die neuen „Residual-Free"-Modelle sind etwas weniger intelligent als die alten „Residual"-Modelle, wenn sie in voller Größe ausgeführt werden.
Niedrige Präzision (Verkleinert): Wenn Sie sie verkleinern, um Platz zu sparen (unter Verwendung von niedrig-bit Zahlen), bleiben die neuen Modelle intelligent, während die alten Modelle versagen.

Das Fazit:
Wenn Sie eine massive KI auf begrenzter Hardware (wie einem Telefon oder einem kleinen Server) ausführen müssen und die Daten verkleinern müssen, arbeitet die alte Art, KI zu bauen, tatsächlich gegen Sie. Indem Sie die „aufstapelnden" Verbindungen entfernen und ein spezifisches Trainingsrezept verwenden, können Sie Modelle bauen, die von Natur aus für die Komprimierung geeignet sind. Dies spart enorme Mengen an Speicher und Energie, ohne die Genauigkeit wesentlich zu beeinträchtigen.

Zusammenfassung der Behauptungen

Ursache: Residual-Verbindungen (der „aufstapelnde" Mechanismus) verursachen, dass Daten unordentlich und voller Ausreißer werden.
Wirkung: Diese Unordnung führt dazu, dass die Standard-Datenkomprimierung (Quantisierung) versagt und die Genauigkeit sinkt.
Lösung: Das Entfernen von Residual-Verbindungen, kombiniert mit spezifischen Initialisierungs- und Optimierungstechniken, hält die Daten sauber und einheitlich.
Ergebnis: Diese neuen Modelle sind viel robuster gegenüber Komprimierung, was eine effiziente Bereitstellung mit einfachen, einheitlichen Komprimierungsmethoden ermöglicht, auch wenn sie bei voller Präzision etwas weniger genau sind.

Technisches Fazit: Die Quantisierungsvorteile residual-freier Transformer

Problemstellung
Die Skalierung großer Foundation-Modelle wird zunehmend durch den Kommunikationsaufwand für die Übertragung von Aktivierungen, Gradienten und Optimierer-Zuständen über Beschleuniger im verteilten Training begrenzt. Eine Low-Bit-Quantisierung bietet eine Lösung zur Kompression dieser Tensoren, doch Standard-Transformer-Architekturen erzeugen häufig Aktivierungen mit schweren Verteilungsenden, die von Ausreißern dominiert werden. Diese nicht-gaußschen Aktivierungsverteilungen machen eine einfache Low-Bit-Quantisierung stark verlustbehaftet und erfordern komplexe, spezialisierte Techniken nach dem Training (z. B. gemischte Präzision zur Behandlung von Ausreißern, skalierung pro Kanal oder gelernte Rotationen), um die Genauigkeit zu erhalten. Die Arbeit geht davon aus, dass diese Schwierigkeit bei der Quantisierung nicht lediglich eine Eigenschaft des Quantisierers ist, sondern fundamental in der Transformer-Architektur selbst begründet liegt, speziell im Vorhandensein von residualen Verbindungen.

Methodik
Die Autoren untersuchen die Beziehung zwischen Architektur und Aktivierungsstatistik durch einen kontrollierten Vergleich von Standard-Transformer mit residualen Verbindungen und residual-freien Transformer.

Theoretische Analyse: Die Autoren analysieren die Entwicklung der schichtweisen Aktivierungsstatistik, wobei sie sich speziell auf die Exzess-Kurtosis (ein Maß für die Schwere der Verteilungsenden und die Abweichung von der Gaußverteilung) konzentrieren.
- Sie zeigen, dass dichte Mischung (inhärent in den Self-Attention- und MLP-Blöcken) als gaußisierender Operator wirkt, der die Exzess-Kurtosis um einen Faktor von $O(1/d)$ kontrahiert, wenn die Gewichtsmatrizen nahezu isometrisch bleiben.
- Umgekehrt bewahren residuale Verbindungen den Eingabezustand, während sie einen transformierten Zweig hinzufügen. Theoretische Lemmata zeigen, dass dieser additive Pfad die $1/d$ -Kontraktion der Exzess-Kurtosis verhindert, wodurch sich Nicht-Gaußschheit über die Schichten hinweg akkumuliert und verstärkt.
- Die Analyse unterscheidet zudem zwischen Optimierern: Spektrale/Ordnung-zwei-Optimierer (z. B. Shampoo, Muon) erhalten die nahezu isometrische Geometrie der Gewichtsmatrizen, während koordinatenweise Updates (z. B. AdamW, Sign GD) diese Isometrie schnell zerstören und den gaußisierenden Effekt selbst in residual-freien Netzwerken abschwächen.
Praktisches Trainingsrezept: Um residual-freie Transformer trainierbar zu machen (und historische Probleme wie Kollaps des Rangs und Versagen der Signalpropagation zu überwinden), schlagen die Autoren eine spezifische Kombination von Techniken vor:
- Orthogonale Initialisierung: Initialisierung der Gewichtsmatrizen (insbesondere $W_Q, W_K, W_V, W_O, W_U, W_D$ ) als skalierte orthogonale Matrizen, um eine gut konditionierte, dichte Mischung zu Beginn sicherzustellen.
- Spektrale/Ordnung-zwei-Optimierung: Nutzung von Optimierern wie KL Shampoo, Muon oder SOAP, um die nahezu isometrische Geometrie der Gewichte während des gesamten Trainings zu erhalten.
- Tiefenbewusste Attention-Skalierung: Einführung eines Temperaturskalierungsfaktors $\tau_\ell = \beta^{-\ell}$ für den Attention-Mechanismus, um eine Signalabschwächung oder Sättigung bei zunehmender Tiefe zu verhindern.

Hauptbeiträge

Architektonische Quelle der Quantisierungsschwierigkeit: Die Arbeit identifiziert residuale Verbindungen als eine primäre architektonische Quelle für Nicht-Gaußschheit der Aktivierungen. Sie zeigt, dass residuale Mischung die Exzess-Kurtosis bewahrt und verstärkt, während residual-freie Mischung sie kontrahiert.
Theoretische Erklärung durch Exzess-Kurtosis: Die Autoren liefern einen theoretischen Rahmen, der erklärt, warum residual-freie Modelle nahezu gaußsche Aktivierungen beibehalten können. Dies beruht auf der Synergie aus orthogonaler Initialisierung (die den korrekten geometrischen Ausgangspunkt liefert) und spektraler Optimierung (die diese Geometrie erhält), was es der dichten Mischung ermöglicht, höherordentliche Momente kontinuierlich zu unterdrücken.
Ein quantisierungsfreundliches Trainingsrezept: Die Autoren zeigen, dass residual-freie Transformer mit dem vorgeschlagenen Rezept (Orthogonale Init + Optimierung zweiter Ordnung + Tiefenbewusste Skalierung) effektiv trainiert werden können und dabei eine Leistung erzielen, die der residualer Modelle in voller Präzision entspricht, während sie nahezu gaußsche Aktivierungsstatistik beibehalten.

Experimentelle Ergebnisse
Die Autoren bewerteten 24-schichtige Modelle, die auf dem FineWeb-Edu-Datensatz trainiert und auf acht Benchmarks für gesunden Menschenverstand getestet wurden (z. B. ARC, BoolQ, HellaSwag).

Aktivierungsstatistik: Residual-freie Modelle, die mit KL Shampoo trainiert wurden, behielten die Exzess-Kurtosis über alle Schichten und Trainingsschritte hinweg nahe Null, was auf nahezu gaußsche Aktivierungen hindeutet. Im Gegensatz dazu entwickelten residuale Modelle (selbst solche, die mit KL Shampoo trainiert wurden) schwere, nicht-gaußsche Verteilungsenden mit signifikant höherer Exzess-Kurtosis.
Robustheit gegenüber Quantisierung: Unter einfacher gleichmäßiger Quantisierung (ohne Behandlung von Ausreißern oder gelernte Rotationen):
- Vollpräzision (BF16): Residual-freie Modelle zeigten einen geringen Leistungsabfall (ca. 1–2 % durchschnittliche Genauigkeit) im Vergleich zu residualen Baselines.
- Niedrige Präzision: Bei abnehmender Präzision (z. B. W8A8, W8A6) erlitten residuale Modelle einen starken Genauigkeitsverlust (bis zu 8–10 %). Residual-freie Modelle zeigten eine deutlich höhere Robustheit und übertrafen residuale Modelle um +2,7 % bei W8A8 und +6,6 % bei W8A6.
- Signalqualität: Residual-freie Modelle erreichten konsistent ein höheres Signal-zu-Quantisierungs-Rausch-Verhältnis (SQNR) und einen niedrigeren normalisierten mittleren quadratischen Fehler (MSE) über alle Bitbreiten hinweg.

Bedeutung und Behauptungen
Die Arbeit behauptet, die erste zu sein, die die für die Quantisierung relevanten Konsequenzen residual-freier Architekturen identifiziert und untersucht. Ihr zentrales Argument ist, dass Robustheit gegenüber Quantisierung nicht nur als Kompressionsproblem nach dem Training, sondern als architektonische und Optimierungs-Herausforderung betrachtet werden sollte.

Die Autoren behaupten, dass durch das Entfernen residualer Verbindungen und den Einsatz eines spezifischen Trainingsrezepts Foundation-Modelle geschaffen werden können, die intrinsisch komprimierbarer sind. Obwohl sie Einschränkungen anerkennen – wie eine moderate Genauigkeitslücke in voller Präzision und die Notwendigkeit weiterer Skalierung auf tiefere Netzwerke – motiviert die Arbeit eine Verschiebung hin zu einem „quantisierungsfreundlichen" Architekturentwurf. Die Ergebnisse deuten darauf hin, dass zukünftige Foundation-Modelle Architektur, Optimierung und Kompression gemeinsam betrachten könnten, um die Kommunikations- und Speicheraufwände zu reduzieren, die derzeit das Training und den Einsatz im großen Maßstab einschränken.