The Quantization Benefits of Residual-Free Transformers

Technische Samenvatting: De Kwantiseringsvoordelen van Residu-Vrije Transformers

Probleemstelling
De schaalvergroting van grote fundamentele modellen wordt steeds meer geblokkeerd door de communicatie-overschrijding die nodig is om activaties, gradiënten en optimizer-toestanden over versnellers te transfereren tijdens gedistribueerde training. Low-bit kwantisatie biedt een oplossing om deze tensoren te comprimeren, maar standaard Transformer-architecturen produceren vaak activaties met een zware staart die worden gedomineerd door uitschieters. Deze niet-Gaussische activatiedistributies maken eenvoudige low-bit kwantisatie zeer verliesgevend, wat complexe, gespecialiseerde post-trainingstechnieken vereist (zoals gemengde precisie voor uitschieterbehandeling, schaling per kanaal of geleerde rotaties) om de nauwkeurigheid te behouden. Het artikel stelt dat deze kwantisatie-moeilijkheid niet louter een eigenschap van de kwantisator is, maar fundamenteel geworteld ligt in de Transformer-architectuur zelf, specifiek in de aanwezigheid van residu-verbindingen.

Methodologie
De auteurs onderzoeken de relatie tussen architectuur en activatiestatistieken via een gecontroleerde vergelijking van standaard residu-Transformers en residu-vrije Transformers.

1. Theoretische Analyse: De auteurs analyseren de evolutie van activatiestatistieken op laagniveau, met name gericht op excess kurtosis (een maat voor de zwaarte van de staart en afwijking van Gaussisch gedrag).

   • Zij tonen aan dat dichte mixing (inherent aan de self-attention- en MLP-blokken) fungeert als een Gaussischmakende operator, die excess kurtosis contracteert met een factor $O(1/d)$ wanneer gewichtsmatrices dicht bij isometrisch blijven.
   • Omgekeerd behouden residu-verbindingen de inputtoestand terwijl ze een getransformeerde tak toevoegen. Theoretische lemma's tonen aan dat dit additieve pad de $1/d$-contractie van excess kurtosis verhindert, waardoor niet-Gaussischheid zich kan ophopen en versterken over de lagen heen.
   • De analyse maakt bovendien onderscheid tussen optimizers: Spectrale/tweede-orde optimizers (zoals Shampoo, Muon) behouden de bijna-isometrische geometrie van gewichtsmatrices, terwijl coördinaatsgewijze updates (zoals AdamW, Sign GD) deze isometrie snel vernietigen, waardoor het Gaussischmakende effect zelfs in residu-vrije netwerken verzwakt.

2. Praktische Trainingsrecept: Om residu-vrije Transformers trainbaar te maken (en historische problemen zoals rank-collapse en falen van signaalpropagatie te overwinnen), stellen de auteurs een specifieke combinatie van technieken voor:

   • Orthogonale Initialisatie: Het initialiseren van gewichtsmatrices (specifiek $W_Q, W_K, W_V, W_O, W_U, W_D$) als geschaalde orthogonale matrices om goed geconditioneerde, dichte mixing aan het begin te garanderen.
   • Spectrale/Tweede-orde Optimalisatie: Het gebruik van optimizers zoals KL Shampoo, Muon of SOAP om de bijna-isometrische geometrie van de gewichten tijdens de hele training te behouden.
   • Diepte-bewuste Attention-schaling: Het introduceren van een temperatuur-schaalfactor $\tau_\ell = \beta^{-\ell}$ in het attention-mechanisme om signaalverzwakking of saturatie te voorkomen naarmate de diepte toeneemt.

Belangrijkste Bijdragen

1. Architecturale Bron van Kwantiseringsmoeilijkheid: Het artikel identificeert residu-verbindingen als een primaire architecturale bron van niet-Gaussische activaties. Het toont aan dat residu-mixing excess kurtosis behoudt en versterkt, terwijl residu-vrije mixing deze contracteert.
2. Theoretische Uitleg via Excess Kurtosis: De auteurs bieden een theoretisch kader dat uitlegt waarom residu-vrije modellen bijna-Gaussische activaties kunnen behouden. Dit rust op de synergie van orthogonale initialisatie (die het juiste geometrische startpunt biedt) en spectrale optimalisatie (die die geometrie behoudt), waardoor dichte mixing continu hogere orde momenten kan onderdrukken.
3. Een Kwantisatie-vriendelijk Trainingsrecept: De auteurs tonen aan dat residu-vrije Transformers effectief getraind kunnen worden met het voorgestelde recept (Orthogonale Init + Tweede-orde Optimalisatie + Diepte-bewuste Schaling), waarbij prestaties vergelijkbaar zijn met residu-modellen in volledige precisie, terwijl bijna-Gaussische activatiestatistieken behouden blijven.

Experimentele Resultaten
De auteurs evalueerden 24-laagse modellen getraind op het FineWeb-Edu-dataset en getest op acht benchmarks voor gezond verstand-redenering (zoals ARC, BoolQ, HellaSwag).

• Activatiestatistieken: Residu-vrije modellen getraind met KL Shampoo behielden excess kurtosis dicht bij nul over alle lagen en trainingsstappen heen, wat wijst op bijna-Gaussische activaties. In tegenstelling hiermee ontwikkelden residu-modellen (zelfs die getraind met KL Shampoo) zwaarstaartige, niet-Gaussische activaties met aanzienlijk hogere excess kurtosis.
• Kwantiseringsrobustheid: Onder eenvoudige uniforme kwantisatie (zonder uitschieterbehandeling of geleerde rotaties):
  • Volledige Precisie (BF16): Residu-vrije modellen vertoonden een kleine prestatiedaling (ongeveer 1-2% gemiddelde nauwkeurigheid) ten opzichte van residu-baselines.
  • Lage Precisie: Naarmate de precisie afnam (bijv. W8A8, W8A6), leden residu-modellen onder scherpe degradatie van de nauwkeurigheid (tot een daling van 8-10%). Residu-vrije modellen vertoonden aanzienlijk hogere robustheid, met een prestatievoorsprong van +2,7% bij W8A8 en +6,6% bij W8A6 ten opzichte van residu-modellen.
  • Signaaltrouw: Residu-vrije modellen behaalden consistent een hoger Signal-to-Quantization-Noise Ratio (SQNR) en een lagere Normalized Mean Squared Error (MSE) over alle bit-breedtes heen.

Betekenis en Beweringen
Het artikel beweert de eerste te zijn die de kwantisatie-relevante gevolgen van residu-vrije architecturen identificeert en bestudeert. De centrale stelling is dat kwantisatie-robustheid niet alleen moet worden gezien als een post-training compressieprobleem, maar als een architecturale en optimalisatie-uitdaging.

De auteurs stellen dat door residu-verbindingen te verwijderen en een specifiek trainingsrecept toe te passen, fundamentele modellen kunnen worden gecreëerd die intrinsiek compacter zijn. Hoewel beperkingen worden erkend – zoals een bescheiden gat in de nauwkeurigheid bij volledige precisie en de noodzaak tot verdere schaalvergroting voor diepere netwerken – motiveert het werk een verschuiving naar "kwantisatie-vriendelijk" architectuurontwerp. De resultaten suggereren dat toekomstige fundamentele modellen architectuur, optimalisatie en compressie gezamenlijk kunnen overwegen om de communicatie- en geheugenoverschrijdingen te verminderen die momenteel grootschalige training en implementatie beperken.