🤖 machine learning

A Geometric Analysis of Sign-Magnitude Asymmetry in a ReLU + RMSNorm Block under Ternary Quantization

Dit artikel biedt een geometrische verklaring voor de robuustheid van pre-norm Transformers tegen ternaire gewichtsquantisatie, door aan te tonen dat ReLU-geïnduceerde directionele asymmetrie gecombineerd met de projectie-eigenschappen van RMSNorm zorgt dat tekenflip-verstoringen aanzienlijk meer uitvoerenergie genereren dan magnitude-verstoringen, terwijl afwijkende kenmerken in echte modellen afwijkingen van deze theoretische ondergrens verklaren.

Oorspronkelijke auteurs: Lei Dong

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lei Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Waarom "Teken" Belangrijker is dan "Grootte"

Stel je voor dat je probeert een complex liedje te begrijpen. Je zou naar het volume van elk instrument kunnen luisteren (grootte) of gewoon naar de richting waarin ze spelen (teken: positief of negatief).

Lange tijd dachten onderzoekers dat je het volume nodig had om de muziek te begrijpen. Maar recente experimenten toonden iets verrassends aan: als je een enorm AI-model (een Transformer) neemt en alle voluminformatie weggooit, en alleen de richting bewaart (of de gewichten +1, -1 of 0 zijn), werkt het model nog bijna perfect.

Dit paper vraagt zich af: Waarom is de richting zo veel belangrijker dan de grootte?

De auteurs geven een geometrische uitleg met drie hoofdrolspelers: Teken, ReLU (een poortwachter) en RMSNorm (een filter).

De Drie Personages en Hun Rollen

1. Het Gewichtsvector (De Pijl)

Stel je de gewichten van de AI voor als een gigantische pijl die in een specifieke richting wijst in een ruimte met vele dimensies.

De Ontdekking: Het paper bewijst dat het teken (de richting waarin de pijl wijst) ongeveer 64% van de bruikbare informatie van de pijl bevat.
De Analogie: Stel je een kompas voor. Als je weet dat het kompas naar het "Noorden" wijst, weet je al veel. Als je weet dat het kompas "Noord" is, maar ook "iets zwaarder", vertelt dat je bijna niets nieuws. Het paper toont aan dat willekeurige veranderingen in de "zwaarte" (grootte) voornamelijk ruis zijn, terwijl veranderingen in de "richting" (teken) het echte signaal zijn.

2. ReLU (De Eénrichtingspoort)

ReLU is een activatiefunctie die werkt als een poort. Als het signaal positief is, laat hij het door. Als het negatief is, blokkeert hij het (zet het op nul).

Het Effect: Deze poort creëert een "scheve" wereld. Hij behandelt positieve en negatieve signalen verschillend.
De Analogie: Stel je een rivier voor met een dam die alleen water stroomafwaarts laat stromen als het snel genoeg beweegt. Als je het water een beetje terugduwt (een tekenflip), stopt de dam het volledig. Als je alleen verandert hoe hard het water vooruit duwt (grootte), laat de dam het nog steeds door. Dit creëert een verborgen onevenwicht.

3. RMSNorm (Het Richtingsfilter)

RMSNorm is een normalisatiestap die alle signalen dezelfde "lengte" (grootte) forceert, maar hun richting behoudt.

Het Effect: Het werkt als een zeef die alles wegneemt dat in dezelfde richting wijst als de hoofdstroom, maar alles behoudt dat zijwaarts wijst (transversaal).
De Analogie: Stel je een windtunnel voor. Als je een bal recht de tunnel in gooit (radiaal), absorbeert de windtunnel de klap. Als je een bal zijwaarts gooit (transversaal), laat de windtunnel hem door en raakt hij het doelwit.

De Kernontdekking: De "2,75x" Verrassing

Het belangrijkste wiskundige resultaat van het paper is een specifiek getal: $\pi / (\pi - 2) \approx 2,75$ .

Hier is wat dat in gewone taal betekent:
Als je een fout maakt in de gewichten van de AI, zijn er twee manieren om dat te doen:

Teken Flip: Verander een +1 in een -1.
Grootte Veranderen: Verander een +1 in een +0,5 (het teken blijft hetzelfde).

Als je deze fouten maakt met dezelfde "energie" (wiskundig gezien, dezelfde Frobenius-norm), veroorzaakt de Teken Flip 2,75 keer meer schade aan de output van de AI dan de Grootte-verandering.

Waarom?

Teken Flips: Vanwege de ReLU-poort verandert het flippen van een teken vaak de richting van het signaal drastisch. Wanneer dit het RMSNorm-filter raakt, laat het filter bijna al die schade door (omdat het zijwaarts wijst).
Grootte Veranderingen: Omdat het teken hetzelfde blijft, blokkeert de ReLU-poort het signaal niet. Het RMSNorm-filter ziet deze verandering als "in de juiste richting wijzend" en absorbeert het grootste deel ervan, waardoor de schade wordt opgeheven.

Het Oordeel: De AI is veel gevoeliger voor het verkeerd krijgen van de richting dan voor het verkeerd krijgen van de grootte. Dit is waarom "Ternary Quantization" (alleen tekens en nullen bewaren) zo goed werkt.

De "Outlier" Twist: Waarom Realistische Modellen Nog Gevoeliger Zijn

De wiskunde hierboven voorspelt een verschil van 2,75x. Echter, toen de auteurs dit testten op een echt, enorm AI-model (TinyLlama), vonden ze dat de schade veel hoger was (tot wel 1.000x in sommige gevallen).

Waarom het verschil?
De wiskunde ging ervan uit dat de interne signalen van de AI gelijkmatig verspreid waren (zoals een gladde mist). Maar in echte modellen zijn de signalen "spits". Een paar specifieke neuronen (genaamd outliers) zijn ongelooflijk luid en actief, terwijl de meeste stil zijn.

De Analogie: Stel je een koor voor waar iedereen even hard zingt. Als één persoon zijn toonhoogte verandert (tekenflip), is dat merkbaar. Maar in een echte AI, stel je voor dat één persoon schreeuwt op 100 decibel terwijl de rest fluistert. Als je het teken van die schreeuwer omdraait, klinkt het hele koor compleet anders.
De Bevinding: Het paper toont aan dat deze "schreeuwerige" outliers de schade van tekenflips versterken met een factor die gerelateerd is aan hun luidheid in het kwadraat ( $n\alpha^2$ ). Dit verklaart waarom echte modellen zo gevoelig zijn voor tekenfouten, veel verder dan de basisvoorspelling van 2,75x.

Wat Is Er Met Ternary Quantization? (Het "Goede" Nieuws)

Het paper legt ook uit waarom "Ternary Quantization" (alleen -1, 0, +1 gebruiken) werkt.

Wanneer je gewichten kwantiseert naar -1, 0 of +1, maak je in feite een "Grootte Verandering" (je past de grootte aan maar houdt het teken hetzelfde).
Omdat de AI van nature "blind" is voor grootteveranderingen (dankzij het RMSNorm-filter dat ze absorbeert), is dit type fout onschadelijk.
Het paper berekent dat zelfs met de ReLU-poort die sommige signalen omdraait, de fout grotendeels "radiaal" blijft (geabsorbeerd door het filter), waardoor de AI zeer tolerant is voor dit specifieke type compressie.

Samenvatting van Belangrijkste Punten

Richting is Koning: In moderne AI-architecturen draagt het teken van een gewicht de belangrijkste informatie. De grootte is voornamelijk ruis.
De 2,75x Regel: In een vereenvoudigd model veroorzaakt het omdraaien van een teken bijna 3 keer meer schade dan het veranderen van de grootte.
Het Filter Effect: RMSNorm werkt als een filter dat groottefouten opheft maar tekenfouten laat passeren.
Het Outlier Effect: Echte AI-modellen hebben "luide" neuronen. Het omdraaien van het teken van deze luide neuronen veroorzaakt enorme schade, wat verklaart waarom echte modellen gevoeliger zijn dan de simpele wiskunde voorspelt.
Geen Magische Vermenigvuldiger: De auteurs testten of deze schade zich ophoopt (vermenigvuldigt) naarmate het signaal door vele lagen gaat. Dat doet het niet. De schade groeit niet exponentieel met de diepte; de "luidheid" van outliers is de echte reden voor de hoge gevoeligheid.

In het kort: Het paper bewijst dat AI-modellen gebouwd zijn als een huis van kaarten waarbij de richting van de kaarten ertoe doet, maar hun dikte niet. Zolang je de richting goed houdt, kun je de kaarten heel dun maken (of zelfs alleen tekens), en het huis zal nog steeds staan.

Technische Samenvatting: Een Geometrische Analyse van Asymmetrie tussen Teken en Grootte in een ReLU + RMSNorm-blok onder Ternaire Kwantisering

1. Probleemstelling

Recente doorbraken in uiterst low-bit Large Language Models (LLMs), specifiek BitNet b1.58, tonen aan dat pre-norm Transformer-architecturen kunnen opereren met gewichten die beperkt zijn tot de ternaire verzameling $\{-1, 0, +1\}$ , terwijl ze aanzienlijke linguïstische capaciteit behouden. Dit fenomeen is opmerkelijk omdat ternaire kwantisatie alle informatie over de grootte (magnitude) verwijdert en alleen tekenpatronen en sparsiteit behoudt. Hoewel empirisch bewijs (bijvoorbeeld de Loterijticket-hypothese) suggereert dat gewichtstekens belangrijker zijn dan grootte, ontbreekt een rigoureuze theoretische verklaring voor waarom het teken specifiek in pre-norm (RMSNorm)-architecturen overproportioneel functionele informatie draagt. Dit artikel streeft naar het bieden van een geometrische verklaring voor deze asymmetrie tussen teken en grootte.

2. Methodologie

De auteurs maken gebruik van een combinatie van asymptotische geometrische analyse, perturbatietheorie en empirische validatie op zowel synthetische modellen als echte LLMs (TinyLlama-1.1B, Qwen2.5).

Theoretisch Kader: De kernanalyse richt zich op een tweelaagsmodel bestaande uit een lineaire laag, een ReLU-activatie en een RMSNorm-laag ( $\hat{y} = \text{RMSNorm}(W_2 \cdot \text{ReLU}(W_1 \hat{x}))$ ). De gewichten worden verondersteld i.i.d. Gaussisch te zijn, en invoer is gedelokaliseerd (uniform op de sfeer).
Perturbatie-analyse: De studie vergelijkt twee soorten gewichtsperturbaties met gelijke verwachte Frobenius-norm:
1. Tekenomkering: Willekeurig omkeren van het teken van elementen (introduceren van een tekenalternerende fout).
2. Grootte (tekenbehoudend): Toevoegen van ruis die het oorspronkelijke teken van de gewichten behoudt (introduceren van een tekenbehoudende fout).
Geometrische Hulpmiddelen: De analyse maakt gebruik van de Fréchet-afgeleide van RMSNorm (geïdentificeerd als een transversale projector), de Bussgang-constante voor tekenkwantisatie en Price's stelling voor ReLU-correlaties.
Experimentele Validatie: Experimenten verifiëren theoretische grenzen op synthetische data en testen de cumulatieve effecten over lagen heen en de impact van "uitbijter-kenmerken" (schendingen van de delokalisatie-aanname) op echte modellen.

3. Belangrijkste Bijdragen en Resultaten

3.1 De $\pi/(\pi-2)$ Asymmetrie-constante

Het primaire theoretische resultaat van het artikel (Stelling 3) stelt vast dat in een tweelaags ReLU + RMSNorm-model met i.i.d. Gaussische gewichten, tekenomkerende perturbaties ongeveer 2,75 keer ( $\pi/(\pi-2)$ ) meer transversale uitgangsenergie produceren dan tekenbehoudende grootteperturbaties van gelijke norm, naarmate de omkeer-frequentie $p \to 0$ .

Mechanisme: De asymmetrie ontstaat uit een tweestaps geometrisch proces:
1. ReLU creëert directionele asymmetrie: De tekenbehoudende perturbatiestructuur aligneert met het gewichtsvector via de Bussgang-constante ( $\cos^2 \to 2/\pi$ ). ReLU propageert deze alignering, wat resulteert in een hoge "radiale fractie" (energie die aligneert met de uitgangsrichting) voor grootteperturbaties ( $R_{mag} \approx 2/\pi$ ). Omgekeerd produceren tekenomkeringen een bijna nul radiale fractie ( $R_{sign} \approx p$ ).
2. RMSNorm blootlegt de asymmetrie: RMSNorm fungeert als een radiaal filter (Stelling 2), dat componenten die aligneren met de uitgangsvector projecteert. Het absorbeert $\approx 63,7\%$ ( $2/\pi$ ) van de energie van de grootteperturbatie, maar behoudt $\approx 99\%$ van de energie van tekenomkeringen (voor kleine $p$ ). De verhouding van overlevende transversale energie is $\frac{1-p}{1-2/\pi} \approx \frac{\pi}{\pi-2}$ .

3.2 Karakterisering van Ternaire Kwantiseringsfout

Het artikel karakteriseert ternaire kwantisatiefout (Stelling 4) als een tekenbehoudende perturbatie.

De hoekige alignering tussen de oorspronkelijke uitgang en de gekwantiseerde uitgang convergeert naar $\cos^2 \theta \to 2/\pi$ .
Cruciaal is dat de post-ReLU radiale fractie van ternaire fout wordt berekend op $\approx 0,365$ , wat binnen 0,4% ligt van de pre-ReLU-waarde ( $1 - 2/\pi$ ). Dit impliceert dat ReLU ongeveer transparant is voor de radiale/transversale decompositie van ternaire fout, wat betekent dat de fout zich gedraagt als het geïdealiseerde grootteperturbatiemodel met betrekking tot RMSNorm-filtering.

3.3 Weerspreking van Multi-Layer Cumulatie

Een natuurlijke hypothese is dat de factor van 2,75× voor een enkele laag multiplicatief cumuleert over diepe netwerken, wat de extreme gevoeligheid van echte modellen verklaart. De auteurs weerleggen dit (Sectie 7.1, Tabel 3).

Experimenten op synthetische en getrainde modellen (TinyLlama) tonen aan dat de verhouding van transversale energie afneemt of plateauert met diepte, in plaats van exponentieel te groeien.
De grote tekengevoeligheid die wordt waargenomen bij echte modellen is niet te wijten aan cumulatie door diepte.

3.4 De Rol van Uitbijter-kenmerken

Het artikel identificeert uitbijter-kenmerken (zwaarstaart-activatieverdelingen die de delokalisatie-aanname schenden) als de ware bron van de kloof tussen de theoretische 2,75×-basislijn en de enorme gevoeligheid die wordt gezien bij echte modellen.

Heffingstheorie: Voor een invoerdimensie met amplitude $\alpha$ , produceert een enkele tekenomkering post-ReLU-energie die wordt versterkt met een factor $R \approx n\alpha^2$ ten opzichte van een gedelokaliseerde invoer (Bijlage E).
Empirische Validatie: Bij TinyLlama-1.1B veroorzaakt het omkeren van tekens in "uitbijterkolommen" (top 5% op basis van activatiegrootte) $\sim 1.265\times$ meer perplexiteitsschade dan niet-uitbijterkolommen. Echter, wanneer rekening wordt gehouden met het aantal omkeringen en de nonlineariteit van Perplexiteit (PPL) versus Negatieve Log-Likelihood (NLL), stabiliseert de heffing op $\sim 10\times$ in het lineaire responsregime ( $p \le 0,5\%$ ), wat overeenkomt met de theoretische voorspelling $n \cdot E[\alpha^2]$ .

4. Betekenis en Beweringen

Het artikel claimt een geometrische verklaring te bieden voor de robuustheid van pre-norm Transformers tegen ternaire kwantisatie:

Teken-dominantie: Tekenpatronen vangen $\approx 63,7\%$ van de directionele energie van gewichtsvector op (Feit 1), terwijl grootte met willekeurige tekens een verwaarloosbare directionele informatie draagt.
Architecturale Synergie: De specifieke combinatie van tekenbehoudende structuur + ReLU + RMSNorm creëert een mechanisme waarbij tekenalternerende fouten selectief worden versterkt in de transversale (functionele) richting, terwijl tekenbehoudende fouten (zoals ternaire kwantisatie) grotendeels worden geabsorbeerd door het radiale filteren van RMSNorm.
Afwijking in de Realiteit: De extreme gevoeligheid van echte modellen voor tekenomkeringen is geen intrinsieke eigenschap van diepte, maar een gevolg van uitbijter-kenmerken die de delokalisatie-aannames schenden die nodig zijn voor de basistheorie.

5. Beperkingen en Open Problemen

De auteurs merken expliciet enkele beperkingen op:

Theorie voor enkele laag: De $\pi/(\pi-2)$ -constante is afgeleid voor een tweelaags toy-model; het gedrag van de volledige transformer-stack wordt niet volledig vastgelegd.
Gaussische aanname: Echte getrainde gewichten zijn niet i.i.d. Gaussisch, wat leidt tot afwijkingen van de $2/\pi$ -limiet in empirische metingen.
Activatiefuncties: De resultaten in gesloten vorm zijn gebaseerd op de half-ruimtestructuur van ReLU. Uitbreiding naar gegateerde activaties (SwiGLU/GeGLU) die worden gebruikt in moderne LLMs blijft open, hoewel experimenten kwalitatief vergelijkbaar gedrag suggereren.
Propagatie over meerdere lagen: De exacte wet die regelt hoe de radiale fractie $R$ evolueert over diepte in residustromen, blijft een open probleem.
Mapping van energie naar verlies: Een rigoureuze mapping van perturbatie-energie naar Perplexiteit/NLL voor niet-lineaire regimes blijft gedeeltelijk onopgelost, hoewel het artikel sterke empirische correlaties biedt.

Kortom, het artikel betoogt dat het succes van ternaire kwantisatie in pre-norm-modellen een geometrische onvermijdelijkheid is van het RMSNorm-filter dat interageert met tekenbehoudende perturbaties in een door ReLU geactiveerde ruimte, terwijl de extreme fragiliteit van deze modellen voor tekenomkeringen wordt gedreven door zwaarstaart-uitbijter-kenmerken in plaats van architecturale diepte.