🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

Dieser Beitrag stellt einen Zwei-Parameter-Weibull-Verteilungsrahmen zur Diagnose der Transformer-Gewichtsbeträge vor, der zeigt, dass sich Feed-Forward- und Output-Projektionsschichten unabhängig von der Architektur konsistent auf einen spezifischen Formparameter (k ≈ 1,20) konvergieren, während die Input-Projektionen je nach Speichermechanismen abweichen und der Skalenparameter (lambda) den Trainingsfortschritt verfolgt.

Ursprüngliche Autoren: Tiexin Ding

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tiexin Ding

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Transformer-Modell (die Art von KI, die Chatbots und Code-Generatoren antreibt) als ein riesiges, komplexes Orchester vor. Seit Jahren versuchen Forscher zu verstehen, wie dieses Orchester lernt, indem sie auf den „Klang" der gesamten Gruppe hören oder die Partitur als ein einziges, verschwommenes Blatt betrachten.

Diese Arbeit stellt eine neue Art des Zuhörens vor: ein Mikroskop für einzelne Noten. Anstatt das gesamte Orchester zu betrachten, entwickelten die Autoren ein Werkzeug, um das „Gewicht" (die Stärke) der Saite jedes einzelnen Instruments zu untersuchen. Sie stellten fest, dass diese Saiten nicht einfach zufällig stärker oder schwächer werden; sie folgen einem sehr spezifischen, vorhersagbaren Muster, das genau offenbart, was die KI tut.

Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:

1. Das von ihnen erfundene „Lineal" (die Weibull-Verteilung)

Die Autoren verwendeten eine mathematische Form, die Weibull-Verteilung genannt wird. Stellen Sie sich dies als ein spezielles Lineal mit zwei Einstellungen vor:

Die Form ( $k$ ): Dies misst die „Persönlichkeit" der Gewichte. Ist die Verteilung glatt und gleichmäßig, oder weist sie wilde, schwere Ausläufer (extreme Ausreißer) auf?
Die Skala ( $\lambda$ ): Dies misst die „Lautstärke" oder Größe der Gewichte.

Der magische Anker:
Wenn die KI mit dem Training beginnt (bevor sie etwas lernt), sind ihre Gewichte zufällig gesetzt, wie eine Gaußsche Glockenkurve. Die Autoren bewiesen, dass, wenn man diesen Ausgangszustand mit ihrem Lineal misst, die „Form" ( $k$ ) immer bei einer spezifischen Zahl landet: 1,20.

Betrachten Sie 1,20 als „Null". Es ist die Basislinie. Wenn ein Teil der KI bei 1,20 bleibt, hat er seine fundamentale Natur nicht verändert. Wenn er sich von 1,20 entfernt, ist etwas Interessantes passiert.

2. Die zwei Arten von Musikern

Die aufregendste Erkenntnis ist, dass sich die internen Teile der KI natürlich in zwei distincte Gruppen aufspalten, wie zwei verschiedene Sektionen eines Orchesters:

Gruppe A: Die „Transmitter" (Die Beständigen)

Wer sie sind: Die Teile, die Informationen durch das Modell leiten (wie das Feed-Forward-Netzwerk und die Attention-Ausgabe).
Was sie tun: Sie fungieren wie eine zuverlässige Autobahn. Sie bewegen Daten von Punkt A nach Punkt B, ohne die Natur der Straße zu verändern.
Das Ergebnis: Selbst nach dem Training bleibt ihre „Form" ( $k$ ) unglaublich nahe am Startwert 1,20. Sie sind stabil, konsistent und ändern ihre Persönlichkeit nicht.
Analogie: Stellen Sie sich einen Lieferwagen vor, der jeden Tag dieselbe Route fährt. Er mag größer werden (mehr Fracht tragen), aber es ist immer noch derselbe Lkw.

Gruppe B: Die „Selektoren" (Die spezialisierten Jäger)

Wer sie sind: Die Teile, die entscheiden, worauf geachtet werden soll (die Query- und Key-Projektionen im Attention-Mechanismus).
Was sie tun: Sie müssen wählerisch sein. Sie müssen einige Signale verstärken und andere ignorieren, um kluge Entscheidungen zu treffen.
Das Ergebnis: Ihre „Form" ( $k$ ) driftet weg von 1,20, meist sinkend (zwischen 0,76 und 1,16). Dies bedeutet, dass sie „schwere Ausläufer" entwickeln – ein paar extreme, superstarke Verbindungen entstehen, während der Rest normal bleibt.
Analogie: Stellen Sie sich einen Detektiv vor, der mit einem breiten Netz beginnt. Während er lernt, hört er auf, ein weites Netz zu werfen, und entwickelt stattdessen ein paar unglaublich scharfe, spezialisierte Werkzeuge, um bestimmte Hinweise zu fangen. Ihre „Persönlichkeit" ändert sich drastisch vom Ausgangspunkt.

3. Wie die Architektur das Spiel verändert

Die Arbeit ergab, dass die Art der KI-Architektur beeinflusst, wie stark die „Selektoren" driften:

Getrennte Köpfe (MHA): Wenn die KI viele unabhängige „Köpfe" hat (wie OLMo), gehen die Selektoren wild. Ihre Form sinkt am stärksten (auf ~0,76). Sie werden sehr spezialisiert.
Gruppierte Köpfe (GQA): Wenn die KI ihre Köpfe zusammenfasst (wie LLaMA-3 oder Mistral), sind die Selektoren weniger extrem. Sie driften immer noch, aber nicht so weit (etwa 1,10–1,16). Es ist, als hätte ein Team von Detektiven, die Notizen austauschen; sie können nicht alle völlig in verschiedene Richtungen gehen.
Verschmolzene Köpfe (Pythia): Wenn die KI sie vollständig verschmilzt, sitzen sie genau in der Mitte und fungieren als Übergang zwischen den beiden Stilen.

4. Lautstärke vs. Persönlichkeit

Die Autoren entdeckten, dass die beiden Einstellungen auf ihrem Lineal zwei verschiedene Geschichten erzählen:

Die Skala ( $\lambda$ ) sagt Ihnen, wie weit das Training fortgeschritten ist. Während die KI lernt, wächst die „Lautstärke" der Gewichte. Dies ist, als würde das Orchester lauter werden. Dieses Wachstum folgt einer vorhersagbaren mathematischen Regel, die mit der Lerngeschwindigkeit (Lernrate) und dem Ausmaß der „Disziplinierung" (Gewichtsabnahme) zusammenhängt.
Die Form ( $k$ ) sagt Ihnen, was der Teil tut. Sie sagt Ihnen, ob ein Teil ein „Transmitter" (stabil) oder ein „Selektor" (spezialisiert) ist.

5. Die „Super-Gewichte" (Drachenkönige)

Die Arbeit bemerkte auch, dass, während die meisten Gewichte normal bleiben, eine winzige Handvoll einzelner Gewichte zu massiven Ausreißern werden (genannt „Super-Gewichte").

Die Analogie: Stellen Sie sich einen Chor vor, bei dem 99 % der Sänger mit normaler Lautstärke singen, aber ein Sänger plötzlich anfängt, auf einem Niveau zu schreien, das 100-mal lauter ist als bei allen anderen.
Die Erkenntnis: Diese „Schreier" erscheinen in jedem Modell. Allerdings ermöglicht die „Mitte-80%-Regel" der Autoren (die lautesten und leisesten 10 % beim Messen ignoriert), diese Schreier zu ignorieren und dennoch eine genaue Messung des wahren Charakters des Chors zu erhalten. Dies beweist, dass die „Transmitter" stabil bleiben, selbst wenn ein paar „rebellische" Gewichte verrückt spielen.

Zusammenfassung

Die Arbeit liefert uns ein neues Diagnosewerkzeug. Indem wir die „Form" und „Skala" der Gewichte einer KI messen, können wir:

Identifizieren, welche Teile der KI stabil sind (Transmitter) und welche lernen, sich zu spezialisieren (Selektoren).
Sehen, wie die Architektur der KI (wie sie aufgebaut ist) diese Teile zwingt, sich unterschiedlich zu verhalten.
Verfolgen, wie die KI Fortschritte macht, indem wir das Wachstum der „Lautstärke" beobachten, ohne durch die wenigen „rebellischen" Gewichte verwirrt zu werden, die am lautesten schreien.

Sie verwandelt die Blackbox des KI-Trainings in eine lesbare Karte und zeigt uns genau, wo das Lernen stattfindet und wie das Modell sein Wissen strukturiert.

Technische Zusammenfassung: Ein Zwei-Parameter-Weibull-Rahmenwerk zur Diagnose von Gewichtsverteilungen in Transformern

Problem und Motivation

Derzeitige Diagnosewerkzeuge für die Trainingsdynamik von Transformern operieren in orthogonalen Räumen, die die granulare Struktur der gelernten Gewichte nicht erfassen können. Methoden wie WeightWatcher und HT-SR analysieren Eigenwertspektren, indem sie Matrixelemente in Singulärwertverteilungen komprimieren, während AlphaDecay die Drift der größten Singulärwerte verfolgt. Massivskalige Aktivierungsanalysen messen die Größenordnungen von Aktivierungen. Keine dieser Ansätze charakterisiert direkt die elementweise Verteilung der Gewichtsgrößen ( $|W_{ij}|$ ), die laut den Autoren die granularste Darstellung dessen ist, was ein Modell gelernt hat.

Die Autoren gehen davon aus, dass aggregierte spektrale Statistiken systematische Unterschiede zwischen funktionalen Komponenten innerhalb desselben Modells verschleiern (z. B. FFN-Schichten versus Attention-Projektionen). Um dies zu adressieren, schlägt die Arbeit vor, die Weibull-Verteilung – eine Zwei-Parameter-Familie aus der Extremwerttheorie – als diagnostische Linse für elementweise Gewichtsgrößen anzuwenden.

Methodik

Das Weibull-Diagnose-Rahmenwerk

Das Rahmenwerk basiert auf der Anpassung der absoluten Werte der Gewichte, $|w|$ , an eine Weibull-Verteilung, definiert durch einen Formparameter $k$ und einen Skalierungsparameter $\lambda$ :
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. Der Initialisierungsanker:
Bei der Initialisierung sind Transformer-Gewichte i.i.d. gaußverteilt ( $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ), was bedeutet, dass $|w|$ einer Halbgauß-Verteilung folgt. Durch Anpassung dieser Halbgauß-Verteilung an ein Weibull-Modell unter Verwendung eines spezifischen Protokolls etablieren die Autoren einen universellen Anker:

Form ( $k_0$ ): Ca. 1,20. Dieser Wert ist unabhängig vom Initialisierungsskalierungsfaktor $\sigma_{init}$ und dient als dimensionsloser Maßstab. Jede Abweichung von $k_0 \approx 1,20$ in einem trainierten Modell ist auf Trainingsdynamiken zurückzuführen.
Skala ( $\lambda_0$ ): Ca. $0,8875 \cdot \sigma_{init}$ .

2. Das Anpassungsprotokoll (Mitte-80%-Trimmen):
Um Robustheit gegenüber Ausreißern und Artefakten der numerischen Präzision zu gewährleisten, wenden die Autoren ein Mitte-80%-Trimm-Protokoll an. Vor der Anpassung werden die kleinsten und größten 10 % der $|W_{ij}|$ -Werte verworfen.

Theoretische Begründung: In Weibull-Wahrscheinlichkeitskoordinaten divergiert die Varianz des Stichprobenrauschens an den Rändern ( $p \to 0$ und $p \to 1$ ) und erreicht ein Minimum nahe $p \approx 0,80$ . Die unteren 10 % tragen etwa das 6,5-fache an Rauschen im Vergleich zum optimalen zentralen Bereich.
Wirkung: Die Anpassung an die vollständigen Daten unterschätzt $k$ systematisch um 3–7 %, was Modelle häufig außerhalb des erwarteten „Transmissions"-Bandes drückt. Das 80%-Trimmen isoliert den „Körper" der Verteilung und macht die Metrik robust gegenüber schwergewichtigen Ausreißern (Super-Gewichte).

3. Funktionale Klassifizierung:
Das Rahmenwerk unterteilt Transformer-Komponenten basierend auf ihren $k$ -Trajektorien in zwei distincte Klassen:

Transmissions-Klasse: FFN-Module ( $W_{gate}, W_{up}, W_{down}$ oder $W_{FFN\_in}, W_{FFN\_out}$ ) und Attention-Ausgabeprojektionen ( $W_o$ ).
Selektions-Klasse: Attention-Eingabeprojektionen ( $W_q, W_k$ ).

Wichtige Erkenntnisse

Das Rahmenwerk wurde auf 12 Modelleinträge angewendet, die 7 Architekturfamilien umfassen (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) mit Parameteranzahlen von 70M bis 14B.

1. Das Transmissions-Band (Stabilität)

Komponenten der Transmissions-Klasse zeigen eine bemerkenswerte Stabilität ihres Formparameters $k$ .

Über alle Architekturen, Aktivierungsfunktionen (SwiGLU, GeLU), Normalisierungsplatzierungen (Pre-LN, QK-Norm) und Modellgrößen hinweg liegt der mediane Endwert von $k$ für diese Komponenten im engen Intervall $[1,186; 1,204]$ .
Der Variationskoeffizient (CV) über die 12 Einträge beträgt lediglich 0,51 %.
Diese Stabilität deutet darauf hin, dass diese Komponenten die Verteilungsform der Initialisierung bewahren und als Informationskanäle fungieren, nicht als selektive Filter.

2. Die Selektions-Klasse (Abweichung)

Komponenten der Selektions-Klasse ( $W_q, W_k$ ) weichen systematisch vom Initialisierungsanker ( $k_0 \approx 1,20$ ) ab und entwickeln schwerere Ränder (niedrigeres $k$ ). Die Schwere dieser Abweichung ist architekturbhängig:

Getrennt gespeicherte MHA (OLMo-1, OLMo-2): Zeigt die tiefste Drift mit einem medianen Endwert $k \in [0,76; 0,99]$ .
Grouped-Query-Attention (GQA) (LLaMA-3, Mistral, Qwen2.5/3): Zeigt eine mildere Drift mit einem medianen Endwert $k \in [1,10; 1,16]$ .
Verschmolzene $W_{qkv}$ (Pythia): Besetzt eine Übergangszone $k \in [1,05; 1,18]$ und verfolgt den dimensionslosen Trainingsbudget $T/\tau$ monoton.
Mechanismus: Die Autoren führen diese Drift auf funktionale Notwendigkeit (sparse Attention), AdamW-Signabstieg-Dynamiken und Softmax-Sättigungsfeedback zurück. Die architektonische Einschränkung des K-Head-Sharing in GQA scheint die Spezialisierungsfreiheit einzelner Projektionen mechanisch zu begrenzen, was zu einer weniger schweren Drift im Vergleich zu MHA führt.

3. Skalierungsparameter ( $\lambda$ ) und Trainingsfortschritt

Während $k$ die funktionale Klasse kennzeichnet, kennzeichnet der Skalierungsparameter $\lambda$ den Trainingsfortschritt.

$\lambda$ wächst während des Trainings erheblich (um Faktoren von 1,4 $\times$ bis 7,8 $\times$ ).
Innerhalb der Pythia-Familie skaliert der mittlere Endwert $\lambda$ für Transmissions-Komponenten mit $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0,94$ ) und zeigt eine Richtungskonsistenz mit der AdamW-Steady-State-Skalierungsanalyse von Fan et al. [2025].
$\lambda$ wächst einheitlich über Komponententypen hinweg (z. B. sind $\lambda_O$ und $\lambda_{FFN\_out}$ hoch korreliert, $r=0,9967$ ), was gekoppelte Dynamiken im Residualstrom widerspiegelt.

4. Super-Gewichte und Randverhalten

Während der Körper der Verteilung (angepasst via 80%-Trimmen) der Weibull-Konformität folgt, beobachten die Autoren das Auftreten isolierter „Super-Gewichte" (Dragon-King-Ausreißer) in den extremen Rändern trainierter Modelle.

Diese Ausreißer treten in jeder Architekturfamilie auf, mit Max-zu-q99-Verhältnissen von ca. 7 $\times$ bis über 100 $\times$ .
Das Mitte-80%-Protokoll ist speziell darauf ausgelegt, robust gegenüber diesen Ausreißern zu sein, sodass die diagnostische Kennzahl $k$ die Hauptverteilung widerspiegelt und nicht durch extreme Werte verzerrt wird.

Beiträge

Ein Diagnose-Rahmenwerk: Die Autoren formalisieren eine Methode unter Verwendung der Weibull-Verteilung mit einem prinzipiellen Initialisierungsanker ( $k_0 \approx 1,20$ ) und einem rauschoptimalen Anpassungsprotokoll (Mitte-80%-Trimmen). Dieses Rahmenwerk identifiziert, dass $W_q$ und $W_k$ systematisch vom Initialisierungsanker abweichen, wobei das Ausmaß der Abweichung durch die Speicherarchitektur geformt wird.
Empirische Evidenz über Familien hinweg: Die Arbeit dokumentiert eine robuste „Transmissions/Selektions"-Partition über 12 Modelle hinweg. Sie reproduziert das schmale FFN-Transmissionsband und die architekturbhängige Selektions-Drift (MHA vs. GQA) ohne justierbare Parameter.
Open-Source-Tools: Die Autoren veröffentlichen npm-weibull-py v0.4, eine Python-Bibliothek, die acht Diagnosefunktionen (F1–F8) für Anpassung und Benchmarking implementiert, sowie DATABASE_v9_1, eine Benchmark-Datenbank mit 12 Modelleinträgen.

Bedeutung und Einschränkungen

Bedeutung:
Die Arbeit behauptet, dass elementweise Statistiken Strukturen offenbaren, die spektrale Methoden nicht erfassen können. Durch die Trennung von Komponenten in Transmissions- und Selektionsklassen bietet das Rahmenwerk eine granulare Sicht auf Trainingsdynamiken, bei der verschiedene Schichten und Projektionsmatrizen entlang unterschiedlicher Trajektorien evolvieren. Die beiden Weibull-Parameter tragen unabhängige Informationen: $k$ identifiziert die funktionale Rolle (Transmission vs. Selektion), während $\lambda$ das Ausmaß des Trainingsfortschritts verfolgt.

Einschränkungen (wie von den Autoren angegeben):

Kausale Mechanismen: Obwohl die Arbeit fünf Kandidaten-Treiber für die Selektions-Drift identifiziert (funktionale Notwendigkeit, Signabstieg, Softmax-Sättigung, Residual-Kopplung, Trainingsbudget), liefert sie keine kontrollierten Ablationsstudien, um den Beitrag jedes einzelnen zu isolieren. Die Korrelation zwischen MHA/GQA-Architektur und Drift-Schwere ist beobachtend.
Skalierung über Familien hinweg: Das Skalierungsgesetz $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ wird innerhalb der Pythia-Familie validiert, ist aber über verschiedene Familien hinweg nur aufgrund von Störfaktoren wie unterschiedlichen Initialisierungsrezepten und Normalisierungsplatzierungen beobachtend.
Downstream-Leistung: Die Arbeit charakterisiert die statistische Struktur der Gewichte, stellt jedoch keine direkte Korrelation zwischen der $(k, \lambda)$ -Signatur und der Leistung bei Downstream-Aufgaben her.
Datendeckung: Für Qwen2.5-14B sind die Block-für-Block-Statistiken aufgrund von GPU-Speichereinschränkungen auf die ersten 27 von 48 Schichten beschränkt, obwohl qualitative Aussagen erwartet werden, dass sie gelten.

Die Autoren schließen, dass dieses Rahmenwerk einen neuen, architekturunabhängigen Maßstab für die Diagnose des Transformer-Trainings bietet und offenbart, dass die „Selektions"-Komponenten ( $W_q, W_k$ ) die primären Orte struktureller Veränderungen sind, während „Transmissions"-Komponenten statistisch stabil bleiben.