Technische Samenvatting: Een Weibull-raamwerk met twee parameters voor het diagnosticeren van gewichtsverdelingen in transformers

Probleem en Motivatie

Huidige diagnostische hulpmiddelen voor trainingsdynamiek in transformers opereren in orthogonale ruimten die de granulaire structuur van geleerde gewichten niet vastleggen. Methoden zoals WeightWatcher en HT-SR analyseren eigenwaarde-spectra, waarbij matrixelementen worden gecomprimeerd tot verdelingen van singuliere waarden, terwijl AlphaDecay de drift van de top-singuliere waarde volgt. Massale activatie-analyse meet activatie-magnituden. Geen van deze benaderingen karakteriseert direct de element-voor-element verdeling van gewichtsmagnituden ($|W_{ij}|$), wat volgens de auteurs de meest granulaire representatie is van wat een model heeft geleerd.

De auteurs stellen dat geaggregeerde spectrale statistieken systematische verschillen tussen functionele componenten binnen hetzelfde model (bijvoorbeeld FFN-lagen versus attentie-projecties) verdoezelen. Om dit aan te pakken, stelt het artikel voor de Weibull-verdeling toe te passen—een tweeparameterfamilie uit de extreme-waardetheorie—als een diagnostische lens voor element-voor-element gewichtsmagnituden.

Methodologie

Het Weibull-diagnostisch Raamwerk

Het raamwerk vertrouwt op het aanpassen van de absolute waarden van gewichtselementen, $|w|$, aan een Weibull-verdeling gedefinieerd door een vormparameter $k$ en een schaalparameter $\lambda$:
$$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$$

1. Het Initialisatie-Anker:
Bij initialisatie zijn transformer-gewichten onafhankelijk en identiek verdeeld (i.i.d.) Gaussisch ($w \sim \mathcal{N}(0, \sigma_{init}^2)$), wat betekent dat $|w|$ een Half-Normale verdeling volgt. Door deze Half-Normale verdeling volgens een specifiek protocol aan te passen aan een Weibull-model, stellen de auteurs een universeel anker vast:

• Vorm ($k_0$): Ongeveer 1,20. Deze waarde is onafhankelijk van de initialisatieschaal $\sigma_{init}$ en dient als een dimensieloze meetlat. Elke afwijking van $k_0 \approx 1,20$ in een getraind model is toe te schrijven aan trainingsdynamiek.
• Schaal ($\lambda_0$): Ongeveer $0,8875 \cdot \sigma_{init}$.

2. Het Aanpassingsprotocol (80%-trim in het midden):
Om robuustheid te garanderen tegen uitschieters en artefacten door numerieke precisie, hanteren de auteurs een 80%-trim in het midden protocol. Voordat er wordt aangepast, worden de kleinste en grootste 10% van de $|W_{ij}|$-waarden verworpen.

• Theoretische Rechtvaardiging: In Weibull-kanscoördinaten divergeert de variantie van de steekproeffout aan de uiteinden ($p \to 0$ en $p \to 1$) en bereikt deze een minimum nabij $p \approx 0,80$. De onderste 10% bevat ongeveer 6,5$\times$ meer ruis dan het optimale centrale gebied.
• Effect: Het aanpassen van volledige data onderbepaalt $k$ systematisch met 3–7%, wat modellen vaak buiten het verwachte "Transmissie"-band duwt. De 80%-trim isoleert het "lichaam" van de verdeling, waardoor de metriek robuust wordt voor zwaarstaartige uitschieters (super-gewichten).

3. Functionele Classificatie:
Het raamwerk partitioneert transformer-componenten in twee distincte klassen op basis van hun $k$-trajecten:

• Transmissieklasse: FFN-modules ($W_{gate}, W_{up}, W_{down}$ of $W_{FFN\_in}, W_{FFN\_out}$) en attentie-uitgangsprojecties ($W_o$).
• Selectieklasse: Attentie-ingangsprojecties ($W_q, W_k$).

Belangrijkste Bevindingen

Het raamwerk is toegepast op 12 modelinvoeren die 7 architectonische families bestrijken (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) met parameteraantallen variërend van 70M tot 14B.

1. Het Transmissieband (Stabiliteit)

Componenten in de Transmissieklasse vertonen opmerkelijke stabiliteit in hun vormparameter $k$.

• Over alle architecturen, activatiefuncties (SwiGLU, GeLU), normalisatieplaatsingen (Pre-LN, QK-Norm) en modelgroottes heen, valt de mediaan eindwaarde van $k$ voor deze componenten in het smalle interval $[1,186, 1,204]$.
• De variatiecoëfficiënt (CV) over de 12 invoeren is slechts 0,51%.
• Deze stabiliteit suggereert dat deze componenten de verdelingsvorm van de initialisatie behouden en fungeren als informatiegeleiders in plaats van selectieve filters.

2. De Selectieklasse (Afwijking)

Componenten in de Selectieklasse ($W_q, W_k$) wijken systematisch af van het initialisatie-anker ($k_0 \approx 1,20$) en ontwikkelen zwaardere staarten (lagere $k$). De ernst van deze afwijking is afhankelijk van de architectuur:

• Afzonderlijk opgeslagen MHA (OLMo-1, OLMo-2): Toont de diepste drift, met een mediaan eindwaarde $k \in [0,76, 0,99]$.
• Gegroepeerde-Query Attentie (GQA) (LLaMA-3, Mistral, Qwen2.5/3): Toont mildere drift, met een mediaan eindwaarde $k \in [1,10, 1,16]$.
• Gefuseerde $W_{qkv}$ (Pythia): Bezit een overgangszone $k \in [1,05, 1,18]$, die monotoon de dimensieloze trainingsbudget $T/\tau$ volgt.
• Mechanisme: De auteurs schrijven deze drift toe aan functionele noodzaak (sparse attentie), AdamW-tekenafstijgingsdynamiek en softmax-saturatiefeedback. De architecturale beperking van K-head-deling in GQA lijkt mechanisch de specialisatievrijheid die individuele projecties hebben, te beperken, wat resulteert in minder ernstige drift vergeleken met MHA.

3. Schaalparameter ($\lambda$) en Trainingsvoortgang

Terwijl $k$ de functionele klasse labelt, labelt de schaalparameter $\lambda$ de trainingsvoortgang.

• $\lambda$ groeit aanzienlijk tijdens het trainen (met factoren van 1,4$\times$ tot 7,8$\times$).
• Binnen de Pythia-familie schalen de mediaan eindwaarde $\lambda$ voor Transmissie-componenten met $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0,94$), wat richtingconsistentie toont met de AdamW-steady-state-schalinganalyse van Fan et al. [2025].
• $\lambda$ groeit uniform over componenttypes heen (bijvoorbeeld $\lambda_O$ en $\lambda_{FFN\_out}$ zijn sterk gecorreleerd, $r=0,9967$), wat gekoppelde dynamiek in de residustroom weerspiegelt.

4. Super-gewichten en Staartgedrag

Hoewel het lichaam van de verdeling (aangepast via 80%-trim) Weibull-conform blijft, observeren de auteurs het ontstaan van geïsoleerde "super-gewichten" (dragon-king-uitschieters) in de extreme staarten van getrainde modellen.

• Deze uitschieters komen voor in elke architectonische familie, met verhoudingen van maximum tot q99 variërend van ongeveer 7$\times$ tot meer dan 100$\times$.
• Het 80%-trim in het midden-protocol is specifiek ontworpen om robuust te zijn tegen deze uitschieters, zodat de diagnostische $k$ de bulkverdeling weerspiegelt in plaats van wordt meegesleept door extreme waarden.

Bijdragen

1. Een Diagnostisch Raamwerk: De auteurs formaliseren een methode die de Weibull-verdeling gebruikt met een principieel initialisatie-anker ($k_0 \approx 1,20$) en een ruisoptimaal aanpassingsprotocol (80%-trim in het midden). Dit raamwerk identificeert dat $W_q$ en $W_k$ systematisch afwijken van het initialisatie-anker, waarbij de omvang van de afwijking wordt gevormd door de opslagarchitectuur.
2. Empirisch Bewijs over Families: Het artikel documenteert een robuuste "Transmissie/Selectie"-partitionering over 12 modellen. Het reproduceert het smalle FFN-transmissieband en de architectuurgeafhankelijke Selectie-drift (MHA versus GQA) zonder instelbare parameters.
3. Open-Source Hulpmiddelen: De auteurs geven npm-weibull-py v0.4 vrij, een Python-bibliotheek die acht diagnostische functies (F1–F8) implementeert voor aanpassing en benchmarking, samen met DATABASE_v9_1, een benchmarkdatabase van 12 modelinvoeren.

Betekenis en Beperkingen

Betekenis:
Het artikel beweert dat element-voor-element statistieken structuur onthullen die spectrale methoden niet kunnen vastleggen. Door componenten te scheiden in Transmissie- en Selectieklassen, biedt het raamwerk een granulaire kijk op trainingsdynamiek waarbij verschillende lagen en projectiematrices zich langs distincte trajecten ontwikkelen. De twee Weibull-parameters dragen onafhankelijke informatie: $k$ identificeert de functionele rol (Transmissie versus Selectie), terwijl $\lambda$ de omvang van de trainingsvoortgang volgt.

Beperkingen (zoals vermeld door de auteurs):

• Causale Mechanismen: Hoewel het artikel vijf kandidaat-aandrijvende krachten voor Selectie-drift identificeert (functionele noodzaak, tekenafstijging, softmax-saturatie, residu-koppeling, trainingsbudget), biedt het geen gecontroleerde ablatie-experimenten om de bijdrage van elk te isoleren. De correlatie tussen MHA/GQA-architectuur en de ernst van de drift is observationeel.
• Schaling over Families: De schalingswet $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ is gevalideerd binnen de Pythia-familie, maar is over verschillende families heen slechts observationeel vanwege verstorende factoren zoals verschillende initialisatierecepten en normalisatieplaatsingen.
• Downstream Prestaties: Het artikel karakteriseert de statistische structuur van gewichten, maar stelt geen directe correlatie vast tussen de $(k, \lambda)$-handtekening en downstream-taakprestaties.
• Data-dekking: Voor Qwen2.5-14B zijn per-blok statistieken beperkt tot de eerste 27 van de 48 lagen vanwege GPU-geheugenbeperkingen, hoewel kwalitatieve claims naar verwachting opgaan.

De auteurs concluderen dat dit raamwerk een nieuwe, architectuuronafhankelijke meetlat biedt voor het diagnosticeren van transformer-training, en onthult dat de "Selectie"-componenten ($W_q, W_k$) de primaire locaties zijn van structurele verandering, terwijl "Transmissie"-componenten statistisch stabiel blijven.