🤖 machine learning

Super Weights in LLMs and the Failure of Selective Training

Questo articolo dimostra che il concetto di "Super Weights" non si generalizza su tutti i LLM e che tentare di addestrare questi parametri critici identificati singolarmente in isolamento causa un fallimento catastrofico delle prestazioni, provando che il fine-tuning efficace si basa su decomposizioni strutturate a livello di intero strato piuttosto che sul puntare a specifici pesi di alta importanza.

Autori originali: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Pubblicato 2026-07-10

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico gigante e super intelligente (un Large Language Model) che ha già imparato a leggere, scrivere e ragionare. Recentemente, alcuni scienziati hanno scoperto alcuni "pulsanti magici" all'interno di questo cervello. Li hanno chiamati Super Weights (Super Pesi).

La cosa assurda è questa: se provi solo a eliminare uno di questi pulsanti magici, il cervello del robot impazzisce completamente. Le sue prestazioni crollano così tanto che è come se avesse dimenticato come parlare del tutto. Fu così scioccante che tutti assunsero che questi pulsanti fossero le parti più importanti del cervello.

Così, una domanda naturale è sorta: Se questi pulsanti sono così importanti, cosa succede se addestriamoamo solo loro?

L'idea era: "Proviamo a congelare il resto del cervello e lasciamo solo che i Super Weights imparino cose nuove. Dato che sono le 'star', dovrebbero essere in grado di correggere da soli gli errori del robot, giusto?"

La risposta è un duro, risonante NO.

In realtà, il paper mostra che cercare di addestrare solo questi Super Weights è un disastro. È come cercare di riparare il motore di un'auto girando solo il volante. Per quanto ci si sforzi, l'auto non si muoverà.

L'esperimento dei "Pulsanti Magici"

I ricercatori hanno preso due versioni di un modello chiamato OLMo (una con 1 miliardo di parametri e una con 7 miliardi). Hanno cercato di insegnare al modello un nuovo compito (rispondere a domande a scelta multipla) aggiornando solo i Super Weights.

Hanno provato diverse quantità di pulsanti:

Hanno addestrato solo 100 Super Weights.
Ne hanno provati 1.000.
Sono arrivati persino a 8.192 (ovvero 81 volte più del primo tentativo).

Il risultato? La precisione del modello è scesa ai livelli del caso (random guessing).

Per il modello da 1 miliardo, ha ottenuto circa il 25% di correttezza (che è quello che ottieni se indovini alla cieca in una domanda a 4 opzioni).
Per il modello da 7 miliardi, è sceso anch'esso intorno al 25–26%.

Anche quando hanno provato a essere "gentili" addestrando i Super Weights insieme ai loro vicini immediati (un piccolo "quartiere" di circa 36.000 parametri), è fallito comunque. Il modello semplicemente non riusciva a imparare.

Il colpo di scena: "Non sono i pulsanti, è la strategia"

Potresti pensare: "Ok, forse il problema è che stavano addestrando un insieme troppo piccolo e sparso di pulsanti. Forse se addestrassero qualsiasi piccolo set di pulsanti, fallirebbe".

Il paper dice: No, non è questo il punto.

Per dimostrare questo, i ricercatori hanno fatto un test di controllo intelligente. Hanno scelto lo stesso numero di pulsanti (4.096), ma invece di scegliere quelli "Super", hanno scelto pulsanti casuali dalla stessa parte del cervello.

Risultato: Il modello è andato addirittura meglio! Ha ottenuto il 64,18% (superando la base di riferimento del 60,65%).

Questo dimostra che il fallimento non era dovuto al fatto di addestrare troppo pochi parametri. Il fallimento era specificamente dovuto al fatto che stavano puntando ai Super Weights. Quelle coordinate specifiche sono "rotte" per l'addestramento in isolamento.

Perché falliscono? L'analogia dell'Amplificatore

Pensa ai Super Weights come a dei giganteschi pomelli del volume in un impianto audio. Sono girati così tanto che amplificano il segnale in modo massiccio.

Se li elimini: L'impianto audio diventa silenzioso (il modello si rompe).
Se provi ad aggiustarli da soli: È un incubo. Poiché sono già così alti, anche una minima modifica invia il volume verso le stelle, causando loop di feedback e distorsione. Il sistema diventa instabile e crasha.

Il paper suggerisce che quando provi ad addestrare questi pomelli in isolamento, la matematica perde il controllo. La "curvatura" (quanto è ripida la collina dell'apprendimento) in questi punti è così enorme che l'ottimizzatore (ciò che esegue l'apprendimento) si confonde e il modello collassa.

Il vero eroe: LoRA

Quindi, come facciamo ad insegnare queste cose ai modelli senza romperli? Il paper punta a un metodo chiamato LoRA (Low-Rank Adaptation).

Immagina LoRA non come un meccanico che cerca di stringere singoli bulloni, ma come un direttore d'orchestra che guida un'orchestra.

Invece di toccare direttamente i pomelli dei Super Weights, LoRA aggiunge un piccolo strato di musica strutturata prima che il suono raggiunga i pomelli.
Aggiorna ogni singola posizione nei layer di attenzione (l' "orchestra") usando una struttura a basso rango (low-rank), ma addestra solo circa lo 0,16% del totale dei parametri.
Il Risultato: Il modello impara perfettamente!
- Sul modello da 1 miliardo, ha raggiunto il 66,88% di precisione.
- Sul modello da 7 miliardi, ha raggiunto il 77,3% di precisione.

Ancora più interessante? I ricercatori hanno provato a "congelare" le parti di LoRA che corrispondevano alle posizioni dei Super Weights (per vedere se quei punti specifici erano il problema). Non importava. Il modello funzionava ancora benissimo. Questo dimostra che la struttura dell'aggiornamento (il direttore che guida l'intera orchestra) è ciò che conta, non la posizione specifica dei pulsanti.

E la "magia" dell'articolo originale?

Il paper ha anche controllato la scoperta originale dei Super Weights. Lo studio precedente li aveva trovati guardando un singolo esempio. Questo nuovo paper ne ha controllati 1.000 diversi.

Hanno scoperto che 9 pulsanti specifici erano critici nel 100% dei casi.
Questo conferma che i Super Weights sono parti strutturali reali del cervello, non semplici colpi di fortuna derivanti da una specifica domanda.

Il succo della questione

Il paper trasmette un messaggio chiaro: Solo perché una parte del cervello è importante, non significa che puoi addestrarla da sola.

Eliminare i Super Weights rompe il modello.
Addestrare i Super Weights da soli rompe il modello.
Addestrare un set casuale di piccole parti funziona abbastanza bene.
Addestrare l'intero sistema con un approccio strutturato a basso rango (LoRA) funziona meglio.

Si scopre che la "magia" di questi modelli non risiede in pochi pulsanti speciali che puoi regolare. È nell'intera rete che lavora insieme. Non puoi semplicemente riparare il motore girando una singola vite; devi sintonizzare l'intera macchina in armonia.

Riepilogo Tecnico: Super Pesi nei LLM e il Fallimento dell'Addestamento Selettivo

Enunciato del Problema

Ricerche recenti (Yu et al., 2025) hanno identificato i "Super Pesi" (Super Weights)—singoli parametri scalari nei Large Language Models (LLM) la cui rimozione causa un degrado delle prestazioni di ordini di grandezza. Questa scoperta ha suggerito un'ipotesi: se determinati parametri sono così critici, allora le strategie di fine-tuning che mirano deliberatamente ad aggiornare solo questi parametri "importanti" dovrebbero essere altamente efficaci, potenzialmente superando i metodi che aggiornano sottoinsiemi di parametri casuali o distribuiti.

Questo articolo mette in discussione tale ipotesi. Indaga se l'importanza dei parametri (definita come il fallimento catastrofico in seguito alla rimozione) implichi la capacità di addestramento dei parametri in isolamento. Gli autori testano se l'addestramento solo dei Super Pesi, o dei loro immediati vicinati locali, possa far sì che il modello si adatti con successo, o se un tale addestramento sparso e specifico per coordinata conduca a un fallimento catastrofico.

Metodologia

Gli autori hanno condotto una suite completa di esperimenti su OLMo-1B e OLMo-7B, con la replica della potatura (pruning) su 10 diverse famiglie di modelli (inclusi varianti di Llama, Phi, Mistral e Gemma).

1. Validazione della Consistenza dei Super Pesi

Un lavoro precedente aveva identificato i Super Pesi tramite un singolo passaggio in avanti (forward pass). Gli autori hanno validato che questi pesi siano proprietà strutturali del modello piuttosto che artefatti specifici dell'input, eseguendo 1.000 campioni casuali di WikiText-2. Hanno scoperto che 9 posizioni specifiche di peso producevano costantemente i picchi di attivazione più elevati nel 100% degli input, confermando la loro stabilità strutturale.

2. Replica della Potatura (Pruning)

Gli autori hanno replicato gli esperimenti di potatura di Yu et al. (2025) attraverso diverse architetture. Hanno azzerato le coordinate dei Super Pesi identificati e misurato l'impatto sulla perplessità e sull'accuratezza (ARC-Easy, Winogrande). Hanno inoltre testato se una semplice classificazione basata sulla magnitudo potesse identificare i Super Pesi in modelli non coperti dal paper originale.

3. Esperimenti di Addestamento Selettivo

Il nucleo dello studio ha riguardato l'addestramento di sottoinsiemi isolati di parametri congelando il resto:

Addestramento Diretto dei Super Pesi: Addestramento solo dei top- $k$ Super Pesi ( $k \in \{100, 1000, 4096, 8192\}$ ).
Addestramento del Vicinato: Addestramento dei Super Pesi più tutti i parametri entro un raggio di 1 (formando patch $3 \times 3$ ), aumentando il numero di parametri addestrabili fino a circa 36.864.
Controllo Casuale: Addestramento di un numero uguale di posizioni scelte casualmente negli stessi layer (down proj), escludendo le coordinate dei Super Pesi, per isolare l'effetto della scarsità rispetto alla selezione della coordinata.
Varianti LoRA:
- LoRA Vanilla: Standard low-rank adaptation sui layer di attenzione.
- LoRA-dproj-SW-freeze: Restrizione degli aggiornamenti LoRA nelle posizioni di attenzione le cui indici corrispondono alle coordinate dei Super Pesi nei layer di down-projection (MLP).
- LoRA- $\Delta W$ -SW-freeze: Congelamento delle prime 1.000 posizioni con la magnitudo più alta all'interno della matrice di aggiornamento LoRA ( $\Delta W$ ) stessa.

4. Analisi Teorica

Gli autori hanno fornito argomentazioni teoriche riguardanti:

Dimensionalità Intrinseca: Gli aggiornamenti allineati alle coordinate sparse catturano solo una frazione trascurabile ( $k/N$ ) dello spazio di sottospazio del fine-tuning rispetto alle decomposizioni a basso rango.
Dinamiche dell'Ottimizzatore: Gli ottimizzatori adattivi sopprimono implicitamente gli aggiornamenti nelle posizioni dei Super Pesi a causa della curvatura (Hessiana) $M^2$ volte maggiore in queste posizioni outlier, dove $M$ è il rapporto di amplificazione dell'attivazione.

Risultati Chiave

1. Fallimento dell'Addestramento Isolato dei Super Pesi

L'addestramento dei Super Pesi in isolamento ha causato un completo collasso delle prestazioni, facendo scendere l'accuratezza a livelli di indovinare casualmente (~25% per ARC-Easy a 4 scelte, ~50% per Winogrande a 2 scelte) sia su OLMo-1B che su OLMo-7B.

L'aumento del numero di parametri addestrati da 100 a 8.192 non ha portato alcun miglioramento.
L'espansione ai vicinati locali (fino a 36.864 parametri) ha anch'essa fallito nel recuperare le prestazioni.
La perdita di addestramento (training loss) diminuiva durante l'ottimizzazione, ma la perplessità di validazione esplodeva, indicando un overfitting sui dati di addestramento senza generalizzazione.

2. Specificità del Fallimento

Il fallimento è specifico per le coordinate dei Super Pesi, non per la scarsità o il tipo di modulo:

Controllo Casuale: L'addestramento di un numero uguale di posizioni scelte casualmente negli stessi layer di down-projection ha migliorato l'accuratezza rispetto al baseline (64,18% vs 60,65% per OLMo-1B).
Controllo a Basso Rango: L'applicazione di un aggiornamento a basso rango (rank-8) al layer di down-projection ha avuto successo (68,77%).
Conclusione: Il collasso è causato dal colpire le specifiche coordinate dei Super Pesi, il che rompe la struttura relazionale su cui il modello pre-addestrato si basa.

3. Robustezza di LoRA

LoRA Vanilla ha avuto successo con lo 0,16% dei parametri, raggiungendo il 66,88% (OLMo-1B) e il 77,3% (OLMo-7B).
Restrizioni Posizionali: Il congelamento delle posizioni di aggiornamento dell'attenzione che corrispondono alle coordinate dei Super Pesi (LoRA-dproj-SW-freeze) non ha avuto alcun effetto misurabile sulle prestazioni. Un'ablation con 10 seed ha confermato risultati statisticamente indistinguibili ( $p > 0,05$ ) tra la LoRA vanilla e la variante ristretta.
Criticità Interna di LoRA: Anche il congelamento delle posizioni con la magnitudo più alta all'interno della matrice di aggiornamento LoRA ( $\Delta W$ ) non ha avuto effetto, contrastando con il fallimento catastrofico del congelamento dei Super Pesi del modello base.

4. Generalizzazione della Potatura

Sebbene la potatura dei Super Pesi abbia causato una degradazione catastrofica in OLMo, Phi-3, Mistral e Llama-3-8B (usando le coordinate originali), la semplice identificazione basata sulla magnitudo ha fallito nell'identificare i pesi critici in altri modelli (es. Llama-3.1, Qwen2.5, Gemma-2). Ciò suggerisce che i Super Pesi siano outlier di attivazione specifici della famiglia di modelli, non definiti universalmente dalla sola magnitudo.

Significato e Rivendicazioni

Il paper stabilisce che l'importanza dei parametri non implica la loro capacità di addestramento in isolamento. Gli autori sostengono che:

Strutturale vs Addestrabile: I Super Pesi agiscono come amplificatori a guadagno elevato e fissi. Modificare questi pesi in isolamento rompe la struttura coordinata della rete. Il fine-tuning efficace richiede l'aggiornamento delle rappresentazioni che fluiscono in questi pesi (tramite i layer di attenzione in LoRA) piuttosto che dei pesi stessi.
Coordinazione sopra la Scarsità: Il successo di PEFT si basa su decomposizioni strutturate su interi layer (come la struttura a basso rango di LoRA) piuttosto che sul puntare a singoli pesi importanti. LoRA ha successo perché la sua fattorizzazione a basso rango coordina gli aggiornamenti attraverso l'intero layer, preservando la struttura relazionale, mentre l'addestramento sparso isola i parametri e interrompe queste dipendenze.
Dinamiche dell'Ottimizzatore: L'analisi teorica suggerisce che gli ottimizzatori adattivi proteggono implicitamente i Super Pesi sopprimendo gli aggiornamenti a causa dell'elevata curvatura. L'addestramento esplicito di queste posizioni scavalca questa protezione, portando all'instabilità e al collasso.

Gli autori concludono che i futuri metodi PEFT dovrebbero derivare la loro efficienza da decomposizioni strutturate su scala di layer piuttosto che tentare di identificare e aggiornare singoli parametri "critici".