🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

Dieser Beitrag identifiziert eine fundamentale negative Gewichtsdrift, die durch die Wechselwirkung zwischen Standardverlustfunktionen und positiv verzerrten Aktivierungen verursacht wird, welche in tiefen Netzwerken zu einer hohen Aktivierungssparsamkeit und Genauigkeitsabstürzen führt, wodurch die Autoren die abgeschnittenen ReLU $^2$ und GELU $^2$ als wirksame Lösungen vorschlagen, die Sparsamkeit, Stabilität und Leistung in Einklang bringen.

Ursprüngliche Autoren: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen eine massive, komplexe Maschine, die aus Tausenden winziger Schalter (Neuronen) besteht, die lernen, Muster zu erkennen. Seit Jahren optimieren Ingenieure diese Maschinen durch Versuch und Irrtum, indem sie Funktionen hinzufügen, die gut zu funktionieren scheinen, ohne vollständig zu verstehen, warum sie funktionieren.

Diese Arbeit mit dem Titel "Bug or Feature2" untersucht eine verborgene Eigenart beim Lernen dieser Maschinen. Die Autoren entdeckten einen „Geist" in der Maschine: eine Tendenz der internen Einstellungen (Gewichte), sich langsam in negative Richtung zu verschieben, was dazu führt, dass viele Schalter vollständig abgeschaltet werden.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die „Negative Drift" (Das Tauziehen)

Stellen Sie sich vor, die Maschine startet mit allen Einstellungen perfekt um Null herum ausgeglichen. Die Autoren fanden heraus, dass aufgrund der Art und Weise, wie die Maschine ihre Fehler berechnet (unter Verwendung standardmäßiger mathematischer Formeln namens „Verlustfunktionen") und wie sie Informationen verarbeitet (unter Verwendung von „Aktivierungsfunktionen" wie ReLU), ein subtiler, unsichtbarer Tauziehen stattfindet.

Der Mechanismus: In den allerersten Sekunden des Trainings drückt die Mathematik die Einstellungen leicht in die negative Richtung.
Das Ergebnis: Sobald eine Einstellung negativ wird, bleibt sie negativ. Es ist wie ein Ball, der einen Hügel hinunterrollt; einmal in Bewegung, rollt er weiter, bis er gegen eine Wand stößt. Dies geschieht sogar, wenn die Maschine mit zufälligen, sinnlosen Daten gefüttert wird. Es ist ein Fehler im Trainingsprozess selbst, nicht in den Daten.

2. Die „Stummen Schalter" (Aktivierungs-Sparsity)

Stellen Sie sich nun vor, diese Schalter sind Glühbirnen.

Mit ReLU (eine gängige Schalterart): Wenn die Einstellung negativ driftet, geht die Glühbirne komplett aus und bleibt aus. Die Autoren fanden heraus, dass in einigen Modellen (wie einem kleinen Sprachmodell namens GPT-nano) bis zu 90 % der Glühbirnen ausgehen und stumm bleiben.
Die Frage: Ist das ein Bug oder ein Feature?
- Bug: Wenn zu viele Lichter ausgehen, könnte die Maschine blind werden und das Lernen einstellen.
- Feature: Wenn die Maschine ihre Arbeit mit weniger leuchtenden Lichtern erledigen kann, könnte sie effizienter sein.

3. Die „Klippe" (Die Gefahrenzone)

Die Forscher testeten, wie viel Stille die Maschine verkraften konnte, bevor sie zusammenbrach. Sie fanden eine scharfe „Klippe".

Die Sicherheitszone: Wenn Sie bis zu 70 % der Schalter ausschalten, funktioniert die Maschine fast genauso gut wie zuvor. Sie ist überraschend robust.
Die Klippe: Wenn Sie versuchen, mehr als 70 % auszuschalten (sagen wir 80 % oder 90 %), bricht die Leistung der Maschine zusammen. Es ist wie der Versuch, ein Auto mit nur einem Rad zu fahren; es funktioniert gut, bis Sie eine bestimmte Geschwindigkeit erreichen, dann fällt es auseinander.
Die Ausnahme: Maschinen mit „Skip Connections" (wie ResNet oder Transformer) sind wie Autos mit Ersatzrädern; sie können viel mehr Stille verkraften, bevor sie abstürzen.

4. Das „Quadrieren"-Experiment (ReLU2)

Die Autoren probierten eine neue Schalterart namens ReLU2 aus, die das Signal quadriert (macht große Zahlen noch größer).

Das Problem: Dies erzeugte „Spitzen". Stellen Sie sich vor, einige Glühbirnen blitzen plötzlich so hell auf, dass sie durchbrennen oder das System blenden. In den mittleren Schichten der Maschine wurden diese Spitzen gefährlich groß.
Die Lösung: Sie fanden heraus, dass das Clipping der Spitzen (eine Obergrenze dafür, wie hell die Birne werden darf) das Problem löste.
Der Gewinner: Ein „Clipped ReLU2" funktionierte besser als das Original, und ein „Clipped GELU2" (ein anderer glatter Schalter) erzielte beim Sprachmodell tatsächlich die beste Leistung und die niedrigste Fehlerrate.

5. Der „Einfrieren"-Trick (Rechenleistungseffizienz)

Die „Drift" findet hauptsächlich in den ersten Schritten des Trainings statt. Danach stabilisieren sich die Einstellungen.

Die Idee: Normalerweise berechnet die Maschine ihr „Schwerpunktzentrum" (Normalisierungsstatistiken) jedes Mal neu, wenn sie ein neues Bild oder einen neuen Satz sieht. Das ist langsam.
Der Hack: Die Autoren fanden heraus, dass Sie diese Berechnungen einfrieren können, sobald die anfängliche Drift sich beruhigt hat (nach einer kurzen „Warm-up"-Phase). Sie hören auf, neu zu berechnen, und verwenden einfach die Zahlen vom Anfang.
Der Vorteil: Dies macht das Training der Maschine etwa 25–30 % schneller, ohne ihre endgültige Intelligenz zu beeinträchtigen. Es ist wie das Einstellen des Thermostats, sobald der Raum die richtige Temperatur erreicht hat, anstatt jede Sekunde die Temperatur zu überprüfen.

Zusammenfassung

Die Arbeit zeigt auf, dass moderne KI-Modelle natürlicherweise „tote Zonen" entwickeln, in denen viele Neuronen aufgrund einer mathematischen Eigenart beim Lernen aufhören zu arbeiten.

Es ist kein Fehler in den Daten; es ist ein Fehler in der Optimierungsmathematik.
Stille ist in Ordnung bis zu einem gewissen Punkt (70 %), aber zu viel Stille führt zum Absturz.
Neue Schalter (Quadratische Funktionen) können mächtig sein, benötigen aber ein „Clipping", um gefährliche Spitzen zu verhindern.
Das Einfrieren früher Berechnungen kann das Training erheblich beschleunigen.

Die Autoren schließen daraus, dass das, was wie ein zufälliger Nebeneffekt aussieht, tatsächlich ein kontrollierbarer Mechanismus ist, der, wenn er verstanden wird, uns helfen kann, schnellere und effizientere KI zu entwickeln.

Technische Zusammenfassung: Bug oder Feature2: Gewichtsdrift, Aktivierungs-Sparsity und Spikes

Problemstellung

Das moderne Design neuronaler Architekturen hat sich durch inkrementelle empirische Entscheidungen entwickelt, doch die intrinsischen Mechanismen, die die Trainingsdynamik steuern, bleiben teilweise unverstanden. Dieser Artikel identifiziert eine systematische negative Gewichtsdrift, die durch das Zusammenspiel standardmäßiger Verlustfunktionen (MSE, Kreuzentropie) und positiv verzerrter Aktivierungsfunktionen (z. B. ReLU, GELU, SiLU) in Abwesenheit einer mittenzentrierenden Normalisierung induziert wird.

Das Kernproblem besteht darin, dass während der frühen Trainingsiterationen der Gradientenabstieg die Gewichte in Richtung negativer Werte treibt. Dies geschieht, weil der erwartete Gradient bezüglich positiver Voraktivierungen nicht-negativ ist. Folglich verschieben sich die Voraktivierungen nach unten, wodurch mehr Neuronen unter null fallen. Wenn diese durch Aktivierungsfunktionen wie ReLU geleitet werden, werden die negativen Voraktivierungen auf null gequetscht, was eine harte Aktivierungs-Sparsity induziert. Die Autoren untersuchen, ob diese emergente Sparsity eine vorteilhafte Eigenschaft für die Effizienz oder ein schädlicher Bug ist, der die Modellleistung beeinträchtigt. Zudem untersucht der Artikel pathologische Aktivierungs-Spikes, die in quadrierten Aktivierungsfunktionen (z. B. ReLU2) innerhalb von Transformer-Architekturen beobachtet werden.

Methodik

1. Formale Analyse der Gewichtsdrift

Die Autoren liefern einen formalen Beweis für ReLU-basierte Multi-Layer Perceptrons (MLPs) bei der Initialisierung.

Theoretischer Rahmen: Sie definieren eine effektive Gewichtsmatrix $V_{eff}$ , die die Komposition nachfolgender linearer Schichten und ReLU-Tore darstellt.
Hauptsatz: Unter einer nullmittelwertigen i.i.d.-Gewichtsinitialisierung weisen die Zeilen von $V_{eff}$ einen Mittelwert von null, aber eine nicht-negative Kreuzkorrelation auf ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
Gradientenanalyse: Sowohl für MSE- als auch für Kreuzentropieverluste ist der erwartete Gradient bezüglich jeder positiven Voraktivierung nicht-negativ. Da der Gradientenabstieg die Gewichte in negativer Richtung des Gradienten aktualisiert ( $w \leftarrow w - \eta \nabla w$ ), treibt dieser konsistent positive Gradient die Gewichte in Richtung negativer Werte.
Selbstverstärkender Zyklus: Wenn die Gewichte negativ werden, verschieben sich die Voraktivierungen weiter unter null, was den Anteil toter Neuronen erhöht und die Drift verstärkt.

2. Empirische Validierung

Die Autoren verifizieren diese Dynamiken über diverse Settings hinweg:

Architekturen: MLP, ResNet-18, MaxViT, MP-SENet und GPT-nano.
Aktivierungen: ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU und ReLU2.
Daten: Training sowohl auf realen Datensätzen (CIFAR-10, ImageNet-1K, FineWeb) als auch auf vollständig zufälligen Eingaben, um die Optimierungsdynamik von der Datenverteilung zu isolieren.
Optimierer: SGD, SGD mit Momentum und Adam/AdamW.

3. Sparsity-Steuerung und Trade-off-Analyse

Um zu bestimmen, ob Sparsity ein „Bug" oder ein „Feature" ist, steuern die Autoren die Sparsity-Level explizit mittels zweier Mechanismen:

Top-K-Sparsity: Behält die obersten $k\%$ der Aktivierungen bei (verwendet mit GELU).
Percentile Centering (PC): Eine vorgeschlagene Methode, die Aktivierungen um ein Ziel-Perzentil $q$ statt um den Mittelwert verschiebt, bevor ReLU angewendet wird, und damit direkt den Anteil der auf null gesetzten Aktivierungen steuert.
Auswertung: Sie bewerten 79 Konfigurationen über Architekturen hinweg, um die Beziehung zwischen Sparsity-Leveln und Modellgenauigkeit/Verlust zu kartieren.

4. Untersuchung quadriierter Aktivierungen und Spikes

Der Artikel analysiert ReLU2 ( $max(0, x)^2$ ) und GELU2 in GPT-nano.

Spikerkennung: Sie beobachten massive Aktivierungs-Spikes in den Schichten 2–4 von GPT-nano bei Verwendung von ReLU2.
Minderung: Sie testen das Clipping dieser Aktivierungen bei Schwellenwerten (15 und 50), um zu bestimmen, ob die Spikes schädlich (Bugs) oder informativ (Features) sind.

Wichtige Ergebnisse

1. Negative Gewichtsdrift ist intrinsisch

Universalität: Die Drift tritt über alle getesteten Architekturen und Aktivierungsfunktionen hinweg auf, einschließlich solcher ohne explizite Normalisierung (z. B. RMSNorm).
Optimierungsursprung: Das Phänomen persists auch auf zufälligen Daten, was bestätigt, dass es eine Eigenschaft der Optimierungsdynamik und nicht der Datenverteilung ist.
Magnitude: Die Drift ist in den ersten Trainingsiterationen am ausgeprägtesten und stabilisiert sich, wenn die Gradienten abnehmen. Momentum-basierte Optimierer beschleunigen diese initiale Drift.
Sparsity-Folge: In ReLU-basierten Modellen induziert diese Drift eine natürliche Sparsity von bis zu 90% in GPT-nano ohne explizite Regularisierung.

2. Die Sparsity-Genauigkeits-„Klippe"

Trade-off-Kurve: Die Leistung bleibt über moderate Sparsity-Level hinweg stabil ( $s \lesssim 0,7$ ), verschlechtert sich jedoch jenseits eines kritischen Schwellenwerts (der „Klippe") drastisch.
Architekturabhängigkeit:
- MLPs: Erleiden einen katastrophalen Zusammenbruch bei ca. 85% Sparsity.
- ResNet: Zeigt eine monotone Verschlechterung bei strukturierter (kanalweiser) Sparsity, behält aber Robustheit bei unstrukturierter Sparsity.
- Transformer (ViT, GPT): Zeigen extreme Resilienz. GPT-nano behält bis zu ca. 91% Sparsity eine Leistung nahe dem Basiswert bei.
Mechanismus-Unabhängigkeit: Die spezifische Methode zur Induktion von Sparsity (Top-K vs. Percentile Centering) hat im Vergleich zum Sparsity-Level selbst nur einen marginalen Einfluss.

3. Aktivierungsfunktionen und Sparsity

GELU: Erzielt in den meisten Klassifizierungsaufgaben die höchste Genauigkeit, induziert jedoch minimale natürliche Sparsity.
ReLU2: Hochsensibel gegenüber Normalisierung. Es kollabiert bei MLPs ohne Normalisierung, erzielt jedoch den niedrigsten Validierungsverlust bei GPT-nano (3,250) im Vergleich zu GELU (3,260).
ReLUifizierung: Die Umwandlung von GELU-trainierten Modellen zu ReLU durch ein Epoch Feinabstimmung (Fine-Tuning) stellt 55–74% Sparsity mit vernachlässigbarem Genauigkeitsverlust (<1%) wieder her und bietet eine praktische Strategie für Effizienz.

4. Pathologische Spikes und Clipping

Spik-Ursprung: Spikes in GPT-nano entstehen in der Up-Projektion von MLP-Blöcken und werden durch die Quadrierung in ReLU2 verstärkt.
Clipping-Vorteile:
- Geclicktes ReLU2: Übertrifft ungeclipptes ReLU2 (3,236 vs. 3,251), was darauf hindeutet, dass extreme Spikes schädlich sind.
- Geclicktes GELU2: Erzielt den besten overall Validierungsverlust (3,233) bei GPT-nano.
- ViT-Ergebnisse: Quadrierte Aktivierungen übertreffen GELU nicht bei MaxViT, was nahelegt, dass die Vorteile quadriierter Aktivierungen spezifisch für autoregressive Modelle sein könnten.

5. Rechenleistung durch Accumulation Stop

Beobachtung: Da sich die Gewichtsdrift nach wenigen tausend Schritten stabilisiert, ist die dynamische Berechnung von Normalisierungsstatistiken (Perzentile, Mittelwerte) für die gesamte Trainingsdauer unnötig.
Methode: Die Autoren schlagen Accumulation Stop (AS) vor, bei dem Statistiken während einer Warm-up-Phase (z. B. 50k Schritte) über einen Exponential Moving Average (EMA) berechnet und dann eingefroren werden.
Ergebnis: Dies stellt den Trainingsdurchsatz auf nahezu Basiswert-Niveau wieder her (Entfernung des ~25–30% Overheads durch dynamische Perzentilberechnung), ohne die Modellqualität zu beeinträchtigen (FID/IS-Werte bleiben stabil oder verbessern sich).

Bedeutung und Behauptungen

Der Artikel stellt die Aktivierungs-Sparsity nicht als emergente Eigenschaft von Daten dar, sondern als kontrollierbare Konsequenz des Zusammenspiels von Verlustfunktionen, Aktivierungsfunktionen und Normalisierungsschichten.

Mechanistisches Verständnis: Die Arbeit liefert eine theoretische und empirische Erklärung dafür, warum moderne Architekturen (die oft die Mittelwertzentrierung weglassen, z. B. durch Verwendung von RMSNorm) eine systematische Gewichtsdrift und hohe Sparsity aufweisen.
Design-Richtlinien:
- Sparsity-Steuerung: Aggressive Sparsity (bis zu ~70–80%) kann ohne signifikante Leistungsverschlechterung in transformerbasierten Modellen erreicht werden und bietet einen Weg zur rechnerischen Effizienz.
- Wahl der Aktivierung: Während ReLU2 Leistungssteigerungen bei LLMs bietet, erfordert es Clipping, um pathologische Spikes zu mindern. GELU bleibt eine robuste allgemeine Baseline.
- Effizienz: Die Technik „Accumulation Stop" bietet eine praktische Methode, um den Trainings-Overhead zu reduzieren, indem Normalisierungsstatistiken nach der Phase der initialen Drift-Stabilisierung eingefroren werden.
Einschränkungen: Die Autoren weisen darauf hin, dass theoretische Beweise strikt auf Initialisierung und ReLU anwendbar sind, wobei Erweiterungen auf glatte Aktivierungen empirisch bleiben. Die Anwendbarkeit dieser Erkenntnisse auf LLMs an der Grenze (1 Mrd. + Parameter) und die optimalen Clipping-Schwellenwerte für verschiedene Architekturen bleiben offene Fragen.

Der Artikel schließt, dass das Verständnis dieser „scheinbar zufälligen" Designentscheidungen für die zukünftige Architekturentwicklung entscheidend ist, insbesondere da sich das Feld hin zu nicht-zentrierender Normalisierung und sparsamer Inferenz bewegt.