🤖 machine learning

A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions

Questo articolo introduce un framework basato sulla distribuzione di Weibull a due parametri per la diagnosi delle magnitudini dei pesi dei trasformatori, rivelando che i livelli di proiezione feed-forward e di output convergono coerentemente verso un parametro di forma specifico (k ≈ 1.20) indipendentemente dall'architettura, mentre le proiezioni in ingresso si discostano in base ai meccanismi di memorizzazione e il parametro di scala (lambda) traccia l'andamento dell'addestramento.

Autori originali: Tiexin Ding

Pubblicato 2026-05-20

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tiexin Ding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina un modello Transformer (il tipo di intelligenza artificiale che alimenta chatbot e generatori di codice) come un'orchestra massiccia e complessa. Per anni, i ricercatori hanno cercato di capire come questa orchestra impari ascoltando il "suono" dell'intero gruppo o osservando lo spartito come un'unica pagina sfocata.

Questo articolo introduce un nuovo modo di ascoltare: un microscopio per singole note. Invece di guardare l'intera orchestra, gli autori hanno sviluppato uno strumento per esaminare il "peso" (la forza) della corda di ogni singolo strumento. Hanno scoperto che queste corde non diventano semplicemente più forti o più deboli in modo casuale; seguono un pattern molto specifico e prevedibile che rivela esattamente cosa sta facendo l'IA.

Ecco la spiegazione della loro scoperta utilizzando analogie semplici:

1. Il "Righello" che Hanno Inventato (La Distribuzione di Weibull)

Gli autori hanno utilizzato una forma matematica chiamata distribuzione di Weibull. Immagina questo come un righello speciale con due impostazioni:

La Forma ( $k$ ): Misura la "personalità" dei pesi. La distribuzione è liscia e uniforme, o presenta code selvagge e pesanti (valori anomali estremi)?
La Scala ( $\lambda$ ): Misura il "volume" o la grandezza dei pesi.

L'Àncora Magica:
Quando l'IA inizia l'addestramento (prima di imparare qualsiasi cosa), i suoi pesi sono impostati in modo casuale, come una curva a campana di Gauss. Gli autori hanno dimostrato che se misuri questo stato iniziale con il loro righello, la "Forma" ( $k$ ) cade sempre su un numero specifico: 1.20.

Considera 1.20 come "Zero". È la linea di base. Se una parte dell'IA rimane a 1.20, non ha cambiato la sua natura fondamentale. Se si allontana da 1.20, è successo qualcosa di interessante.

2. I Due Tipi di Musicisti

La scoperta più entusiasmante è che le parti interne dell'IA si dividono naturalmente in due gruppi distinti, come due sezioni diverse di un'orchestra:

Gruppo A: I "Trasmettitori" (I Giocatori Costanti)

Chi sono: Le parti che trasmettono informazioni attraverso il modello (come la Rete Feed-Forward e l'Output dell'Attenzione).
Cosa fanno: Agiscono come un'autostrada affidabile. Spostano i dati dal punto A al punto B senza cambiare la natura della strada.
Il Risultato: Anche dopo l'addestramento, la loro "Forma" ( $k$ ) rimane incredibilmente vicina all'iniziale 1.20. Sono stabili, coerenti e non cambiano la loro personalità.
Analogia: Immagina un camion delle consegne che percorre lo stesso tragitto ogni giorno. Potrebbe diventare più grande (trasportare più carico), ma è sempre lo stesso camion.

Gruppo B: I "Selettori" (I Cacciatori Specializzati)

Chi sono: Le parti che decidono cosa prestare attenzione (le proiezioni Query e Key nel meccanismo di attenzione).
Cosa fanno: Devono essere schizzinosi. Devono amplificare alcuni segnali e ignorarne altri per prendere decisioni intelligenti.
Il Risultato: La loro "Forma" ( $k$ ) si allontana da 1.20, solitamente scendendo più in basso (tra 0.76 e 1.16). Questo significa che sviluppano "code pesanti": emergono alcune connessioni estreme e super-forti mentre il resto rimane normale.
Analogia: Immagina un detective che inizia con una rete ampia. Mentre impara, smette di lanciare una rete larga e sviluppa invece alcuni strumenti incredibilmente affilati e specializzati per catturare indizi specifici. La loro "personalità" cambia drasticamente rispetto al punto di partenza.

3. Come l'Architettura Cambia il Gioco

L'articolo ha scoperto che il tipo di architettura dell'IA modifica quanto i "Selettori" si allontanano:

Teste Separate (MHA): Se l'IA ha molte "teste" indipendenti (come OLMo), i Selettori impazziscono. La loro forma scende di più (fino a ~0.76). Diventano molto specializzati.
Teste Raggruppate (GQA): Se l'IA raggruppa le sue teste insieme (come LLaMA-3 o Mistral), i Selettori sono meno estremi. Si allontanano comunque, ma non così tanto (intorno a 1.10–1.16). È come avere un team di detective che condivide gli appunti; non possono tutti andare in direzioni totalmente diverse.
Teste Fuse (Pythia): Se l'IA le fonde completamente, si siedono esattamente nel mezzo, agendo come una transizione tra i due stili.

4. Volume vs Personalità

Gli autori hanno scoperto che le due impostazioni del loro righello raccontano due storie diverse:

La Scala ( $\lambda$ ) ti dice quanto è avanzato l'addestramento. Mentre l'IA impara, il "volume" dei pesi cresce. È come se l'orchestra diventasse più forte. Questa crescita segue una regola matematica prevedibile legata alla velocità con cui l'IA impara (tasso di apprendimento) e a quanto viene "disciplinata" (decadimento dei pesi).
La Forma ( $k$ ) ti dice cosa fa la parte. Ti dice se una parte è un "Trasmettitore" (stabile) o un "Selettore" (specializzato).

5. I "Super-Pesi" (Re Dragone)

L'articolo ha anche notato che, mentre la maggior parte dei pesi rimane normale, una manciata minuscola di pesi individuali diventa massicciamente anomala (chiamati "super-pesi").

L'Analogia: Immagina un coro in cui il 99% dei cantanti canta a un volume normale, ma un cantante inizia improvvisamente a urlare a un livello 100 volte più forte di tutti gli altri.
La Scoperta: Questi "urlatori" appaiono in ogni modello. Tuttavia, la "regola dell'80% centrale" degli autori (ignorando il 10% più forte e il 10% più debole quando si misura) permette loro di ignorare questi urlatori e ottenere comunque una lettura accurata del vero carattere del coro. Questo dimostra che i "Trasmettitori" rimangono stabili anche mentre alcuni pesi "ribelli" impazziscono.

Riepilogo

L'articolo ci offre un nuovo strumento diagnostico. Misurando la "Forma" e la "Scala" dei pesi di un'IA, possiamo:

Identificare quali parti dell'IA sono stabili (Trasmettitori) e quali stanno imparando a specializzarsi (Selettori).
Vedere come l'architettura dell'IA (come è costruita) costringe queste parti a comportarsi in modo diverso.
Tracciare i progressi dell'IA osservando la crescita del "volume", senza confondersi per i pochi pesi "ribelli" che urlano più forte.

Trasforma la scatola nera dell'addestramento dell'IA in una mappa leggibile, mostrandoci esattamente dove sta avvenendo l'apprendimento e come il modello sta strutturando la sua conoscenza.

Riepilogo Tecnico: Un Framework Weibull a Due Parametri per la Diagnosi delle Distribuzioni dei Pesi dei Transformer

Problema e Motivazione

Gli strumenti diagnostici attuali per la dinamica dell'addestramento dei transformer operano in spazi ortogonali che non riescono a catturare la struttura granulare dei pesi appresi. Metodi come WeightWatcher e HT-SR analizzano gli spettri degli autovalori, comprimendo gli elementi della matrice in distribuzioni di valori singolari, mentre AlphaDecay traccia la deriva dei valori singolari principali. L'analisi massiva delle attivazioni misura le grandezze delle attivazioni. Nessuno di questi approcci caratterizza direttamente la distribuzione elemento per elemento delle grandezze dei pesi ( $|W_{ij}|$ ), che gli autori sostengono essere la rappresentazione più granulare di ciò che un modello ha appreso.

Gli autori ipotizzano che le statistiche spettrali aggregate oscurino le differenze sistematiche tra i componenti funzionali all'interno dello stesso modello (ad esempio, livelli FFN rispetto alle proiezioni di attenzione). Per affrontare questo problema, il documento propone di applicare la distribuzione di Weibull—una famiglia a due parametri della teoria dei valori estremi—come lente diagnostica per le grandezze dei pesi elemento per elemento.

Metodologia

Il Framework Diagnostico Weibull

Il framework si basa sull'adattamento dei valori assoluti degli elementi di peso, $|w|$ , a una distribuzione di Weibull definita da un parametro di forma $k$ e un parametro di scala $\lambda$ :
$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$

1. L'Ancoraggio di Inizializzazione:
All'inizializzazione, i pesi del transformer sono i.i.d. Gaussiani ( $w \sim \mathcal{N}(0, \sigma_{init}^2)$ ), il che significa che $|w|$ segue una distribuzione Semi-Normale. Adattando questa distribuzione Semi-Normale a un modello Weibull utilizzando un protocollo specifico, gli autori stabiliscono un ancoraggio universale:

Forma ( $k_0$ ): Approssimativamente 1.20. Questo valore è indipendente dalla scala di inizializzazione $\sigma_{init}$ e funge da metro di misura adimensionale. Qualsiasi deviazione da $k_0 \approx 1.20$ in un modello addestrato è attribuibile alla dinamica di addestramento.
Scala ( $\lambda_0$ ): Approssimativamente $0.8875 \cdot \sigma_{init}$ .

2. Il Protocollo di Adattamento (Ritaglio dell'80% Centrale):
Per garantire la robustezza rispetto ai valori anomali e agli artefatti di precisione numerica, gli autori adottano un protocollo di ritaglio dell'80% centrale. Prima dell'adattamento, il 10% più piccolo e il 10% più grande dei valori $|W_{ij}|$ vengono scartati.

Giustificazione Teorica: Nelle coordinate di probabilità di Weibull, la varianza del rumore di campionamento diverge alle code ( $p \to 0$ e $p \to 1$ ) e raggiunge un minimo vicino a $p \approx 0.80$ . Il 10% inferiore trasporta circa 6,5 $\times$ più rumore della regione centrale ottimale.
Effetto: L'adattamento su dati completi sottostima sistematicamente $k$ del 3–7%, spingendo spesso i modelli fuori dalla banda "Trasmissione" attesa. Il ritaglio dell'80% isola il "corpo" della distribuzione, rendendo la metrica robusta rispetto a valori anomali a coda pesante (super-pesi).

3. Classificazione Funzionale:
Il framework partiziona i componenti del transformer in due classi distinte in base alle loro traiettorie $k$ :

Classe Trasmissione: Moduli FFN ( $W_{gate}, W_{up}, W_{down}$ o $W_{FFN\_in}, W_{FFN\_out}$ ) e proiezioni di uscita dell'attenzione ( $W_o$ ).
Classe Selezione: Proiezioni di ingresso dell'attenzione ( $W_q, W_k$ ).

Risultati Chiave

Il framework è stato applicato a 12 voci di modello che coprono 7 famiglie architetturali (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) con conteggi di parametri che vanno da 70M a 14B.

1. La Banda Trasmissione (Stabilità)

I componenti nella Classe Trasmissione mostrano una stabilità notevole nel loro parametro di forma $k$ .

In tutte le architetture, funzioni di attivazione (SwiGLU, GeLU), posizionamenti di normalizzazione (Pre-LN, QK-Norm) e dimensioni del modello, la mediana terminale di $k$ per questi componenti rientra nel ristretto intervallo $[1.186, 1.204]$ .
Il coefficiente di variazione (CV) tra le 12 voci è solo dello 0.51%.
Questa stabilità suggerisce che questi componenti preservano la forma della distribuzione di inizializzazione, agendo come condotti di informazione piuttosto che filtri selettivi.

2. La Classe Selezione (Divergenza)

I componenti nella Classe Selezione ( $W_q, W_k$ ) si discostano sistematicamente dall'ancoraggio di inizializzazione ( $k_0 \approx 1.20$ ), sviluppando code più pesanti (valori di $k$ più bassi). La gravità di questa divergenza dipende dall'architettura:

MHA memorizzata separatamente (OLMo-1, OLMo-2): Mostra la deriva più profonda, con mediana terminale di $k \in [0.76, 0.99]$ .
Attention a Query Raggruppate (GQA) (LLaMA-3, Mistral, Qwen2.5/3): Mostra una deriva più lieve, con mediana terminale di $k \in [1.10, 1.16]$ .
$W_{qkv}$ fuso (Pythia): Occupa una zona transitoria $k \in [1.05, 1.18]$ , tracciando monotonicamente il budget di addestramento adimensionale $T/\tau$ .
Meccanismo: Gli autori attribuiscono questa deriva alla necessità funzionale (attenzione sparsa), alle dinamiche di discesa del segno di AdamW e al feedback di saturazione softmax. Il vincolo architetturale della condivisione delle teste K nel GQA sembra limitare meccanicamente la libertà di specializzazione disponibile per le singole proiezioni, risultando in una deriva meno grave rispetto alla MHA.

3. Parametro di Scala ( $\lambda$ ) e Progresso di Addestramento

Mentre $k$ etichetta la classe funzionale, il parametro di scala $\lambda$ etichetta il progresso di addestramento.

$\lambda$ cresce sostanzialmente durante l'addestramento (di fattori da 1,4 $\times$ a 7,8 $\times$ ).
All'interno della famiglia Pythia, la media terminale di $\lambda$ per i componenti di Trasmissione scala con $\sqrt{\eta / \lambda_{wd}}$ (Pearson $r = 0.94$ ), mostrando coerenza direzionale con l'analisi di scala dello stato stazionario di AdamW di Fan et al. [2025].
$\lambda$ cresce uniformemente tra i tipi di componenti (ad esempio, $\lambda_O$ e $\lambda_{FFN\_out}$ sono altamente correlati, $r=0.9967$ ), riflettendo dinamiche accoppiate nel flusso residuo.

4. Super-Pesi e Comportamento delle Code

Mentre il corpo della distribuzione (adattato tramite ritaglio dell'80%) rimane conforme a Weibull, gli autori osservano l'emergere di isolati "super-pesi" (outlier tipo "dragon-king") nelle code estreme dei modelli addestrati.

Questi outlier appaiono in ogni famiglia architetturale, con rapporti massimo/q99 che vanno da ~7 $\times$ a oltre 100 $\times$ .
Il protocollo dell'80% centrale è specificamente progettato per essere robusto rispetto a questi outlier, garantendo che la $k$ diagnostica rifletta la distribuzione di massa piuttosto che essere trascinata da valori estremi.

Contributi

Un Framework Diagnostico: Gli autori formalizzano un metodo che utilizza la distribuzione di Weibull con un ancoraggio di inizializzazione principiale ( $k_0 \approx 1.20$ ) e un protocollo di adattamento ottimale per il rumore (ritaglio dell'80% centrale). Questo framework identifica che $W_q$ e $W_k$ si discostano sistematicamente dall'ancoraggio di inizializzazione, con l'entità della divergenza plasmata dall'architettura di memorizzazione.
Evidenza Empirica Cross-Famiglia: Il documento documenta una robusta partizione "Trasmissione/Selezione" attraverso 12 modelli. Riproduce la stretta banda di trasmissione FFN e la deriva di Selezione dipendente dall'architettura (MHA vs GQA) senza parametri regolabili.
Strumenti Open-Source: Gli autori rilasciano npm-weibull-py v0.4, una libreria Python che implementa otto funzioni diagnostiche (F1–F8) per l'adattamento e il benchmarking, insieme a DATABASE_v9_1, un database di benchmark di 12 voci di modello.

Significato e Limitazioni

Significato:
Il documento afferma che le statistiche elemento per elemento rivelano una struttura che i metodi spettrali non possono cogliere. Separando i componenti in classi Trasmissione e Selezione, il framework offre una visione granulare della dinamica di addestramento in cui diversi livelli e matrici di proiezione evolvono lungo traiettorie distinte. I due parametri di Weibull trasportano informazioni indipendenti: $k$ identifica il ruolo funzionale (Trasmissione vs Selezione), mentre $\lambda$ traccia l'entità del progresso di addestramento.

Limitazioni (come dichiarate dagli autori):

Meccanismi Causali: Sebbene il documento identifichi cinque forze trainanti candidate per la deriva di Selezione (necessità funzionale, discesa del segno, saturazione softmax, accoppiamento residuo, budget di addestramento), non fornisce esperimenti di ablazione controllati per isolare il contributo di ciascuna. La correlazione tra architettura MHA/GQA e gravità della deriva è osservazionale.
Scalabilità Cross-Famiglia: La legge di scala $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ è validata all'interno della famiglia Pythia ma è solo osservazionale tra famiglie diverse a causa di fattori confondenti come ricette di inizializzazione diverse e posizionamenti di normalizzazione.
Prestazioni a valle: Il documento caratterizza la struttura statistica dei pesi ma non stabilisce una correlazione diretta tra la firma $(k, \lambda)$ e le prestazioni nei compiti a valle.
Copertura dei Dati: Per Qwen2.5-14B, le statistiche per blocco sono limitate ai primi 27 dei 48 livelli a causa dei vincoli di memoria GPU, sebbene si preveda che le affermazioni qualitative siano valide.

Gli autori concludono che questo framework offre un nuovo metro di misura indipendente dall'architettura per la diagnosi dell'addestramento dei transformer, rivelando che i componenti "Selezione" ( $W_q, W_k$ ) sono i siti principali del cambiamento strutturale, mentre i componenti "Trasmissione" rimangono statisticamente stabili.