🤖 machine learning

Layer Collapse in Diffusion Language Models

Questo articolo rivela che i Modelli Linguistici Diffusivi esibiscono un fenomeno unico di "collasso dei livelli" guidato dall'overtraining, in cui i livelli iniziali sviluppano super-outlier critici e rappresentazioni ridondanti, consentendo una compressione significativamente migliore e strategie di allocazione della sparsità distinte rispetto ai modelli autoregressivi.

Autori originali: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Pubblicato 2026-05-08

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina due diversi tipi di chef che cercano di scrivere una storia.

Lo Chef Tradizionale (Modelli Autoregressivi) scrive una parola alla volta, da sinistra a destra. Se commette un errore all'inizio, non può tornare indietro per correggerlo. È così che funzionano la maggior parte dei modelli AI attuali (come Llama).

Lo Chef Diffusivo (Modelli Linguistici a Diffusione) inizia con una pagina disordinata e mescolata, piena di nonsense. Effettua più passaggi su tutta la pagina contemporaneamente, pulendo lentamente il rumore finché la storia non ha senso. Questo è il nuovo approccio "Diffusion" (come LLaDA).

Questo studio investiga cosa succede all'interno del "cervello" di questi due chef mentre lavorano. I ricercatori hanno scoperto che lo Chef Diffusivo opera in un modo quasi esattamente opposto allo Chef Tradizionale, e questo cambia il modo in cui dovremmo cercare di ridurli o accelerarli.

Ecco le tre scoperte principali, spiegate semplicemente:

1. Il "Super-Canale" contro lo "Sforzo di Squadra"

Nel cervello dello Chef Tradizionale (Llama), diverse parti del cervello si illuminano per parole diverse. Se spegni accidentalmente una specifica lampadina, lo chef si confonde un po' ma riesce comunque a finire la storia.

Nel cervello dello Chef Diffusivo (LLaDA), i ricercatori hanno scoperto qualcosa di strano: Una singola lampadina brilla così intensamente da accecare.

Questo "Super-Canale" è attivo per quasi ogni parola, dall'inizio stesso della storia fino alla metà.
È così importante che se stacchi solo questo unico cavo, lo chef non si confonde semplicemente; va completamente in tilt e inizia a ripetere la stessa parola all'infinito ("compra compra compra compra...").
L'Analogia: Immagina un cantiere edile. La squadra tradizionale ha molti lavoratori che svolgono compiti diversi. Se un lavoratore se ne va, l'edificio viene costruito un po' più lentamente. La squadra Diffusiva ha un "Super-Lavoratore" che tiene su l'intero edificio, mentre tutti gli altri stanno semplicemente in piedi a guardare. Se il Super-Lavoratore se ne va, l'edificio crolla istantaneamente.

2. I "Livelli Iniziali Ridondanti" (Il contrario del normale)

Di solito, nei modelli AI, i livelli iniziali sono come la fase di "schizzo" (molto distintiva e creativa), e i livelli profondi sono dove le cose diventano ripetitive perché il modello ha già imparato tutto ciò di cui ha bisogno (questo è chiamato "Maledizione della Profondità").

I ricercatori hanno scoperto che i modelli a diffusione invertono questo copione:

I Livelli Iniziali sono Noiosi: Poiché quel "Super-Lavoratore" sta facendo tutto il lavoro pesante, i livelli iniziali del modello Diffusivo stanno tutti facendo esattamente la stessa cosa. Sono copie ridondanti l'uno dell'altro.
I Livelli Profondi sono Unici: I livelli successivi hanno effettivamente più varietà.
L'Analogia: In una fabbrica normale, le prime stazioni sono passaggi di assemblaggio unici, e le ultime sono solo lucidatura (noiosa/ripetitiva). Nella fabbrica Diffusiva, le prime stazioni stanno tutte solo copiando la stessa istruzione dal "Super-Lavoratore", mentre le stazioni finali sono dove avviene il lavoro unico effettivo.

3. Perché questo conta per "Ridurre" il Modello

A causa di queste differenze, le regole per rendere questi modelli più piccoli (compressione) sono completamente invertite.

Per i Modelli Tradizionali: Di solito vuoi essere attento con i livelli iniziali perché sono unici. Potrai potare (tagliare) i livelli profondi in modo più aggressivo.
Per i Modelli Diffusivi: Puoi effettivamente tagliare i livelli iniziali in modo molto più aggressivo! Poiché sono solo copie ridondanti del "Super-Lavoratore", rimuoverli non fa molto male. In effetti, i ricercatori hanno scoperto che se avessi provato a trattare i modelli Diffusivi come quelli Tradizionali (tagliando prima i livelli profondi), le prestazioni del modello sarebbero peggiorate.
Il Risultato: I modelli Diffusivi sono sorprendentemente robusti. Anche se li riduci significativamente (usando la quantizzazione a 3 bit), resistono molto meglio dei modelli Tradizionali. Un modello Tradizionale potrebbe perdere il 65% della sua intelligenza quando ridotto, mentre il modello Diffusivo ne perde solo circa il 2%.

Il "Perché" alla Base

I ricercatori hanno condotto un esperimento speciale in cui hanno addestrato due piccoli modelli da zero: uno usando il metodo Tradizionale e uno usando il metodo Diffusivo. Hanno scoperto che il bizzarro "Super-Lavoratore" e i "Livelli Iniziali Ridondanti" sono accaduti a causa del metodo di addestramento stesso, non a causa della progettazione del modello.

Sembra che il metodo Diffusivo "sovra-addestri" i livelli iniziali, costringendoli a fare affidamento su quel singolo canale dominante, mentre il metodo Tradizionale lascia i livelli iniziali più diversificati.

Riepilogo

I modelli Diffusivi hanno un "Super-Canale" che fa tutto il lavoro nelle fasi iniziali.
Rimuovere questo canale distrugge il modello, ma rimuovere gli altri livelli iniziali è sicuro perché sono solo copie ridondanti.
Per ridurre questi modelli: Taglia duramente i livelli iniziali e proteggi i livelli profondi. Questo è l'esatto opposto di ciò che si fa con i modelli AI standard.
La conclusione: I modelli Diffusivi sono costruiti in modo diverso, quindi abbiamo bisogno di regole diverse per renderli efficienti.

Riepilogo Tecnico: Collasso dei Livelli nei Modelli Linguistici Diffusivi

Enunciato del Problema

I Modelli Linguistici Diffusivi (DLM) sono emersi come alternative competitive ai Modelli Autoregressivi (AR), offrendo una generazione parallela dei token ed evitando la "maledizione dell'inversione". Tuttavia, la dinamica interna delle attivazioni e le strutture di rappresentazione a livello di livello nei DLM rimangono scarsamente comprese. Esiste un divario critico nel determinare se le scoperte relative ai modelli AR (riguardo ridondanza, valori anomali e strategie di compressione) si trasferiscano direttamente ai DLM o se i DLM esibiscano comportamenti distinti che richiedono nuovi approcci per l'addestramento, il fine-tuning e la compressione. Nello specifico, non è chiaro se la "maledizione della profondità" (dove i livelli più profondi diventano ridondanti a causa di un sottoaddestramento) si applichi ai DLM o se i loro obiettivi di addestramento inducano patologie strutturali diverse.

Metodologia

Gli autori conducono un'analisi sistematica di LLaDA-8B, un DLM su larga scala pre-addestrato da zero, confrontandolo con Llama-3.1-8B, un modello AR con un'architettura quasi identica. Per isolare gli effetti dell'obiettivo di addestramento dalle peculiarità architetturali, lo studio impiega:

Analisi della Similarità dei Livelli: Calcolo della similarità coseno per token tra le attivazioni nascoste di diversi livelli per quantificare la ridondanza.
Rilevamento dei Valori Anomali nelle Attivazioni: Analisi delle mappe di calore delle attivazioni per identificare canali persistenti ad alta magnitudine attraverso le posizioni dei token e i livelli.
Analisi Spettrale dei Pesi: Utilizzo dello stimatore di Hill ( $\alpha_{Hill}$ ) sugli autovalori delle matrici dei pesi per valutare l'addestrabilità dei livelli. Basandosi sulla teoria della Auto-Regolarizzazione a Code Pesanti (HT-SR), valori più bassi di $\alpha_{Hill}$ indicano code più pesanti e un apprendimento delle caratteristiche più forte (sovraddestramento), mentre valori più alti suggeriscono sottoaddestramento.
Studi di Ablazione: Potatura di canali specifici (ad esempio, il "super-valore anomalo" dominante) per osservare fallimenti catastrofici rispetto a lievi cali di accuratezza.
Pre-addestramento Controllato: Addestramento di una coppia di modelli da 160 milioni di parametri (AR-160M e DLM-160M) su dati identici (FineWebEdu) con iperparametri identici, differenziandosi solo nell'obiettivo di addestramento (cross-entropy vs. diffusione mascherata).
Esperimenti di Compressione: Valutazione della robustezza alla potatura (utilizzando WANDA) e alla quantizzazione (utilizzando GPTQ) sotto varie strategie di allocazione della sparsità (Uniforme, Precoce-È-Meno-Denso [EIS], Profondo-È-Meno-Denso [DIS]).

Risultati Chiave

1. Il Super-Valore Anomalo e il Collasso dei Livelli

LLaDA-8B esibisce un fenomeno unico denominato collasso dei livelli, guidato da un singolo canale super-valore anomalo (Canale 3848).

Persistenza: A differenza dei modelli AR dove i valori anomali sono specifici del token, questo canale mantiene un'attivazione persistentemente alta attraverso tutte le posizioni dei token durante la prima metà dei livelli della rete.
Criticità: La potatura di questo singolo canale causa la degenerazione del modello in loop casuali di token ripetitivi (0% di accuratezza su GSM8K), mentre la potatura del canale principale in Llama-3.1-8B comporta solo un lieve calo di accuratezza (-4%).
Meccanismo: Il super-valore anomalo agisce come un vettore dominante di informazioni, sopprimendo l'espressività degli altri canali e causando a più livelli iniziali di produrre rappresentazioni nascoste quasi identiche e ridondanti.

2. Pattern di Ridondanza Invertiti

La struttura di similarità a livello di livello nei DLM è l'opposto di quella osservata nei modelli AR:

Modelli AR: I livelli iniziali sono distinti; i livelli più profondi diventano progressivamente più ridondanti (attribuito alla "maledizione della profondità" o sottoaddestramento).
DLM (LLaDA-8B): I livelli iniziali sono altamente ridondanti e simili tra loro. Questa ridondanza non è causata da sottoaddestramento ma da sovraddestramento, come dimostrato da valori significativamente più bassi di $\alpha_{Hill}$ nei livelli iniziali rispetto a Llama. Il super-valore anomalo concentra la rappresentazione in una struttura a bassa dimensionalità all'inizio della rete.

3. Robustezza alla Compressione e Inversione della Strategia

Nonostante la fragilità del super-valore anomalo, i DLM dimostrano una sorprendente robustezza alla compressione:

Quantizzazione: LLaDA-8B sotto quantizzazione GPTQ a 3 bit subisce un calo di soli -1.8% su GSM8K, mentre Llama-3.1-8B subisce un calo del -64.7% nelle stesse impostazioni.
Allocazione della Sparsità: La strategia ottimale di allocazione della sparsità è invertita tra le due famiglie di modelli.
- AR (Llama): Potare più aggressivamente i livelli più profondi (DIS) o utilizzare una sparsità uniforme è ottimale. Potare i livelli iniziali (EIS) è subottimale.
- DLM (LLaDA): Potare più aggressivamente i livelli iniziali (EIS) produce un miglioramento del +8.4% rispetto alla strategia inversa (DIS) al 50% di sparsità. Questo perché i livelli iniziali nei DLM sono altamente ridondanti (escluso il super-valore anomalo), mentre i livelli più profondi conservano informazioni più distinte.

4. Validazione tramite Pre-addestramento Controllato

L'esperimento di pre-addestramento controllato da 160M ha confermato che queste dinamiche sono intrinseche all'obiettivo di addestramento diffusivo piuttosto che alle differenze architetturali.

DLM-160M ha esibito una maggiore similarità nei livelli iniziali e un $\alpha_{Hill}$ più basso (indicante sovraddestramento) rispetto ad AR-160M.
DLM-160M ha mostrato una maggiore robustezza alla compressione rispetto ad AR-160M, con la strategia di sparsità ottimale che è nuovamente EIS per i DLM e DIS per gli AR.
Nota: Il super-valore anomalo non è stato osservato nei modelli da 160M, coerentemente con la letteratura che suggerisce che tali valori anomali emergono a scale più grandi (>6,7 miliardi di parametri).

Significato e Affermazioni

Il documento afferma che l'obiettivo di addestramento diffusivo rimodella fondamentalmente la dinamica dei livelli rispetto ai modelli AR, portando a:

Un Nuovo Fenomeno Strutturale: L'esistenza di un super-valore anomalo persistente che guida il collasso dei livelli iniziali, distinto dai valori anomali specifici del token nei modelli AR.
Sovraddestramento vs Sottoaddestramento: La ridondanza dei livelli iniziali nei DLM è il risultato di un sovraddestramento (forte struttura a bassa dimensionalità) piuttosto che del sottoaddestramento tipicamente osservato nei livelli AR profondi.
Implicazioni Pratiche per la Compressione: Le euristiche di compressione standard derivate dai modelli AR non sono solo subottimali, ma attivamente dannose per i DLM. Nello specifico, allocare più sparsità ai livelli iniziali (EIS) è la strategia ottimale per i DLM, in contrasto con la strategia DIS preferita dai modelli AR.
Robustezza: I DLM possiedono una robustezza intrinseca alla quantizzazione e alla potatura che supera quella dei modelli AR comparabili, a condizione che il super-valore anomalo dominante sia preservato.

Gli autori concludono che queste scoperte richiedono una rivalutazione di come i DLM vengono compressi e distribuiti, suggerendo che i pattern di ridondanza osservati sono una conseguenza diretta dell'obiettivo diffusivo stesso.