💬 NLP

Measuring Maximum Activations in Open Large Language Models

Questo articolo presenta una misurazione completa delle magnitudini di attivazione massima attraverso 27 checkpoint di LLM open moderni, rivelando che i valori di picco variano di quasi quattro ordini di grandezza in base alla famiglia e all'architettura del modello piuttosto che al numero di parametri, con i modelli MoE che mostrano picchi significativamente più bassi rispetto alle controparti dense, stabilendo così l'attivazione massima come una proprietà critica e non monotona che deve essere riportata per garantire una quantizzazione stabile a basso numero di bit.

Autori originali: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Pubblicato 2026-05-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire una biblioteca digitale gigantesca dove i libri vengono letti da un robot molto veloce, ma piuttosto fragile. Questo robot (il modello di IA) legge le parole una alla volta e le fa passare attraverso una serie di stanze (strati) per comprendere la storia. All'interno di queste stanze, il robot genera "livelli di eccitazione" (attivazioni) per ogni parola che elabora.

Nella maggior parte dei casi, questi livelli di eccitazione sono calmi e gestibili. Ma a volte, per un istante, il robot diventa estremamente eccitato riguardo a una parola specifica, creando un picco enorme di energia.

Questo articolo è come un rapporto di ispezione di sicurezza per 27 diverse versioni di questi robot, che vanno dai piccoli ai giganteschi, e da diversi produttori (come Qwen, Gemma e GPT-OSS). I ricercatori volevano rispondere a una domanda semplice ma critica: Quanto possono diventare alti questi picchi di energia e la dimensione del robot determina l'altezza del picco?

Ecco cosa hanno scoperto, usando analogie semplici:

1. Il problema del "manopola del volume"

Immagina l'energia interna del robot come una manopola del volume. Per risparmiare spazio e far funzionare il robot più velocemente su hardware economico, gli ingegneri spesso cercano di abbassare il volume a una impostazione bassa (quantizzazione).

Il Problema: Se il robot urla improvvisamente a un volume di 1.000.000, ma hai impostato la tua manopola del volume per gestire solo fino a 10.000, quell'urlo viene "clippato" o distorto. Il robot dimentica la sfumatura di quella parola e l'intera storia diventa confusa.
La Scoperta: I ricercatori hanno misurato l'urlo più forte (la massima attivazione) in tutti questi robot. Hanno scoperto che la "potenza" varia enormemente. Alcuni robot (come Qwen3.5) sono come un sussurro, mentre altri (come Gemma3) sono come un motore a reazione in fase di decollo.

2. Più grande non significa sempre più forte

Potresti pensare che un robot più grande (più parametri) diventerebbe naturalmente più forte.

L'Analogia: È come assumere che un'auto più grande abbia sempre un motore più rumoroso.
La Realtà: I ricercatori hanno scoperto che questo non è vero. Un piccolo robot di una famiglia potrebbe urlare molto più forte di un robot gigante di una famiglia diversa. La "potenza" dipende più da chi lo ha costruito (l'architettura) e come è stato addestrato (la ricetta) che dalla sola dimensione.
- Esempio: È stato scoperto che un robot Gemma3 è circa 700.000 volte più forte di un robot Qwen3.5 di dimensioni simili.

3. La scorciatoia "MoE"

Alcuni robot usano un trucco speciale chiamato "Mixture of Experts" (MoE). Immagina una biblioteca dove, invece di un unico bibliotecario gigante che legge ogni libro, ci sono 100 piccoli specialisti, e solo i 2 o 3 giusti vengono chiamati per ogni libro.

La Scoperta: Questi robot "MoE" sono risultati molto più silenziosi. I loro urli più forti erano 14-23 volte più bassi rispetto ai loro cugini "densi" (non specialisti) della stessa dimensione. Sembra che l'uso di specialisti mantenga l'energia più contenuta.

4. Dove avviene l'urlo?

I ricercatori hanno tracciato esattamente dove nel cervello del robot si verificano questi picchi.

La Scoperta: In quasi tutti i casi (22 su 24 robot), l'urlo più forte è avvenuto nel corridoio principale (il flusso residuo) dove le informazioni fluiscono da una stanza all'altra. Non era solitamente nelle stanze laterali (come le stanze dell'attenzione o quelle matematiche).
Il Modello: Alcuni robot hanno picchi all'inizio e rimangono forti (come un salto e mantenimento), mentre altri crescono lentamente e diventano più forti alla fine (come una salita graduale).

5. L'addestramento cambia il volume

Hanno anche esaminato robot in diverse fasi di addestramento, come uno studente che impara una nuova abilità.

La Scoperta: Man mano che il robot si allena più a lungo (vedendo più libri), tende a diventare leggermente più forte. Non è un salto enorme, ma il "volume" aumenta man mano che il robot diventa più intelligente.

La conclusione per i costruttori

L'articolo conclude che non puoi indovinare quanto sarà forte un robot guardando solo le sue dimensioni.

Il Messaggio Chiave: Prima di provare a ridurre queste dimensioni per farle funzionare su dispositivi piccoli (come telefoni), devi misurare prima il loro urlo più forte. Se non lo fai, potresti impostare la tua manopola del volume troppo bassa, e il robot inizierà ad allucinare o a commettere errori perché non riesce a gestire i picchi improvvisi di energia.

Gli autori hanno rilasciato i loro strumenti di misurazione in modo che chiunque costruisca questi robot possa controllare questa "potenza" prima di provare a comprimerli, assicurandosi che il robot rimanga stabile e accurato.

Riepilogo Tecnico: Misurazione delle Attivazioni Massime nei Modelli Linguistici a Grande Scala Aperti

Enunciato del Problema

La gamma dinamica delle attivazioni nei Modelli Linguistici a Grande Scala (LLM) rappresenta un vincolo critico per la quantizzazione a basso numero di bit, il ridimensionamento delle attivazioni e l'inferenza stabile. Ricerche precedenti hanno caratterizzato le "funzionalità outlier" e le "attivazioni massive" principalmente su modelli di tipo LLaMA pre-2024 (ad esempio, OPT, BLOOM). Tuttavia, il panorama di distribuzione è cambiato significativamente con il rilascio di diversi modelli aperti post-LLaMA (ad esempio, Qwen3.5, Gemma3, GPT-OSS) che variano per stack di normalizzazione, MLP con gate, instradamento Mixture-of-Experts (MoE), adattamento multimodale e stadi di addestramento.

La letteratura esistente tratta le attivazioni massive o come un fenomeno categorico binario (esistenza di outlier) o come un ostacolo specifico per le tecniche di mitigazione della quantizzazione (ad esempio, SmoothQuant, AWQ). Manca una misurazione sistematica e unificata riguardo a:

Quanto grandi possono diventare le attivazioni negli LLM aperti moderni.
Come varia la magnitudine delle attivazioni tra diverse famiglie, generazioni, architetture (dense vs MoE) e stadi di addestramento.
Se il numero di parametri da solo costituisca un proxy affidabile per la gamma delle attivazioni.

Metodologia

Gli autori propongono un'indagine empirica unificata per misurare la magnitudine globale dell'attivazione massima, definita come $M = \max |a|$ , su un insieme diversificato di modelli.

1. Dati e Corpus:

Un corpus di valutazione condiviso di 5.000 campioni di testo multi-dominio (Matematica, Codice, Web in inglese, Conoscenza/QA, Cinese, Lingue a risorse limitate, Web misto).
Le lunghezze delle sequenze sono raggruppate in bucket (da 256 a 4096 token), con una forte distorsione verso contesti lunghi (93% a 4096 token).
Tokenizzazione: Lo stesso testo grezzo viene re-tokenizzato per ogni famiglia di modelli per evitare artefatti di disallineamento del tokenizzatore.

2. Suite di Modelli:

27 checkpoint provenienti da 8 famiglie aperte: Qwen2.5, Qwen2.5-VL, Qwen3, Qwen3.5, Gemma2, Gemma3, Ling e GPT-OSS.
Include varianti dense, MoE, visione-linguaggio, addestrate in fase intermedia e ottimizzate per istruzioni.
Vengono effettuate confronti specifici per scale corrispondenti (ad esempio, MoE vs Dense, Base vs Instruct).

3. Protocollo di Misurazione:

Inferenza Solo Forward: Pesi congelati; nessun aggiornamento dei parametri.
Strumentazione: Hook forward di PyTorch raccolgono statistiche sulle attivazioni da sei classi di componenti:
- Output degli embedding
- Stati nascosti a livello di layer (post-residuo)
- Output dell'attenzione
- Output MLP o MoE
- Pre-attivazioni del gate SwiGLU
- Output finali del LayerNorm
Statistiche: Per ogni componente, la pipeline registra media, deviazione standard, RMS, valore assoluto medio, max/min e quantili del valore assoluto.
Controllo di Stabilità: Esperimenti di sottocampionamento (1k e 2k campioni ripetuti 5 volte) confermano che i massimi globali riportati sono statisticamente robusti e non artefatti di singoli campioni.

4. Framework di Analisi:

Lo studio passa da un criterio binario "attivazione massiva" (basato su Sun et al. [29]: $|x_i| > 100$ e rapporto locale $> 1000\times$ ) a una metrica continua $M$ .
I confronti sono condotti su: scalatura intra-famiglia, magnitudine inter-famiglia, evoluzione generazionale, MoE vs Dense, Visione-Linguaggio vs Solo Testo, Base vs Instruct ed evoluzione dello stadio di addestramento.
Un controllo di sanità mentale INT-8 leggero correla i massimi misurati con l'errore di ricostruzione (SQNR) sotto diverse strategie di ridimensionamento.

Contributi Chiave

Più Grande Indagine Inter-Famiglia: La prima misurazione con protocollo unificato delle attivazioni massime globali su 24 checkpoint post-LLaMA provenienti da 8 famiglie, superando la monocultura derivata da LLaMA dei lavori precedenti.
Riformulazione Continua della Magnitudine: Sostituisce il flag binario dell'outlier con la statistica continua $M = \max |a|$ . Gli autori dimostrano che il criterio binario e la magnitudine continua possono divergere; alcuni modelli che falliscono il criterio binario sono più facili da quantizzare, mentre alcuni che lo superano sono più difficili.
Confronti a Design Corrispondente: Fornisce decomposizioni osservative su come scala, famiglia, generazione, architettura (MoE/Dense), modalità (VL/Text) e progresso dell'addestramento (Base/Instruct/Fase) influenzino i picchi di attivazione.
Pipeline Aperta: Rilascia codice di misurazione basato su hook e statistiche per checkpoint per supportare la riproducibilità.

Risultati Chiave

1. Variabilità e Scalatura della Magnitudine

Ordini di Grandezza: I massimi globali coprono quasi quattro ordini di grandezza ( $10^2$ $1 0^{2}$ – $10^5$ $1 0^{5}$ ) a parità di numero di parametri.
- Gamma Bassa: Qwen3.5 e i checkpoint MoE spesso rientrano nell'intervallo $10^2$ – $10^3$ .
- Gamma Alta: Gemma3-27B-it raggiunge $\sim 7 \times 10^5$ .
Scalatura Non Monotona: Confronti inter-famiglia e inter-generazionali rompono la semplice scalatura monotona. Ad esempio, le attivazioni di Qwen3.5 sono significativamente soppresse rispetto a Qwen3, mentre Gemma3 mostra un aumento netto rispetto a Gemma2. Il numero di parametri da solo è un proxy inaffidabile per la gamma delle attivazioni.

2. Effetti Architettonici e di Addestramento

MoE vs Dense: I checkpoint MoE mostrano magnitudini di picco 14,0–23,4 volte inferiori rispetto alle controparti dense a scala corrispondente (ad esempio, Qwen3-30B-A3B vs Qwen3-32B).
Dominanza del Flusso Residuo: Il flusso residuo (stati nascosti a livello di layer) trasporta il massimo globale in 22 su 24 checkpoint principali. GPT-OSS-20B è un'eccezione dove l'output MLP trasporta il picco; Qwen3.5-0.8B raggiunge il picco al LayerNorm finale.
Ottimizzazione per Istruzioni (SFT): L'SFT comprime principalmente i picchi degli strati tardivi (ad esempio, Qwen2.5-32B Instruct mostra una riduzione di 1,4 volte del picco globale rispetto a Base) senza riorganizzare le strutture degli strati intermedi.
Progresso dell'Addestramento: Nella serie Ling-mini, l'aumento dei token di addestramento (da 5T a 20T) porta a un aumento monotono dell'attivazione massima globale (aumento di 1,34 volte).

3. Pattern a Livello di Layer

Si osservano due traiettorie distinte a livello di layer:

Salto e Plateau: La magnitudine dell'attivazione aumenta bruscamente negli strati iniziali/medi e rimane alta (ad esempio, Qwen2.5, GPT-OSS).
Accumulo Graduale: La magnitudine aumenta dolcemente con la profondità, raggiungendo il picco negli strati successivi (ad esempio, Qwen3.5, Gemma).

4. Implicazioni per la Quantizzazione

Un controllo di sanità mentale INT-8 leggero rivela che massimi misurati più elevati ( $M$ ) correlano con un rapporto segnale-rumore di quantizzazione (SQNR) sostanzialmente inferiore quando si utilizza la scalatura standard per-tensore (max-abs o clipping al 99,9%).
I modelli con basso $M$ (ad esempio, Qwen3.5-0.8B) mantengono un SQNR elevato (~29 dB), mentre i modelli ad alto $M$ scendono a ~10–14 dB o inferiori sotto clipping.

Significato e Affermazioni

Il documento conclude che la magnitudine dell'attivazione massima è una proprietà del modello legata alla famiglia, all'architettura e allo stadio di addestramento, non un semplice sottoprodotto delle dimensioni.

Rilevanza per la Distribuzione: $M$ dovrebbe essere misurata e riportata insieme a qualsiasi rilascio di pesi aperti come parte di una scheda modello orientata alla distribuzione. Informa direttamente la selezione delle scale di attivazione e delle strategie di quantizzazione.
Complementarità: Questo lavoro è ortogonale agli studi meccanicistici (che spiegano perché esistono gli outlier) e ai documenti di mitigazione della quantizzazione (che trasformano via il limite superiore). Questo documento fornisce la base empirica di quanto grandi sono i limiti nell'ecosistema attuale.
Limitazioni: Gli autori dichiarano esplicitamente di non rivendicare meccanismi causali per le differenze osservate. Lo studio è osservativo, limitato ai modelli aperti e utilizza un corpus fisso (fino a 4k token). Il controllo INT-8 è un controllo di sanità mentale, non una valutazione completa di quantizzazione end-to-end.

Gli autori raccomandano che i futuri pipeline di distribuzione trattino $M$ come un prior critico per il rischio di quantizzazione, riconoscendo che l'identità della famiglia e la generazione sono almeno importanti quanto il numero di parametri nel determinare la gamma dinamica delle attivazioni.