🤖 machine learning

Layer Collapse in Diffusion Language Models

Dit artikel onthult dat Diffusie-taalmodellen een uniek "laaginstorting"-fenomeen vertonen dat wordt veroorzaakt door overtraining, waarbij vroege lagen kritieke super-uitbijters en redundante representaties ontwikkelen, waardoor aanzienlijk betere compressie en onderscheidende strategieën voor toewijzing van sparsiteit mogelijk worden in vergelijking met autoregressieve modellen.

Oorspronkelijke auteurs: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Gepubliceerd 2026-05-08

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je twee verschillende soorten chefs voor die een verhaal proberen te schrijven.

De Traditionele Chef (Autoregressieve Modellen) schrijft één woord per keer, van links naar rechts. Als ze vroeg een fout maken, kunnen ze niet terug om het te herstellen. Zo werken de meeste huidige AI-modellen (zoals Llama).

De Diffusie-chef (Diffusie-taalmodellen) begint met een rommelige, door elkaar gehaalde pagina vol onzin. Ze maken meerdere passes over de hele pagina tegelijk, waarbij ze langzaam het ruis opruimen totdat het verhaal zinvol wordt. Dit is de nieuwe "Diffusie"-benadering (zoals LLaDA).

Dit onderzoek onderzocht wat er in het "brein" van deze twee chefs gebeurt terwijl ze werken. De onderzoekers ontdekten dat de Diffusie-chef werkt op een manier die bijna het exacte tegenovergestelde is van de Traditionele chef, en dit verandert hoe we proberen ze kleiner of sneller te maken.

Hier zijn de drie belangrijkste ontdekkingen, eenvoudig uitgelegd:

1. De "Super-kanaal" versus de "Teaminspanning"

In het brein van de Traditionele chef (Llama) lichten verschillende delen van het brein op voor verschillende woorden. Als je per ongeluk één specifieke gloeilamp uitschakelt, raakt de chef een beetje in de war maar kan het verhaal nog steeds afmaken.

In het brein van de Diffusie-chef (LLaDA) ontdekten de onderzoekers iets vreemds: Eén enkele gloeilamp brandt zo fel dat het verblindt.

Dit "Super-kanaal" is actief voor bijna elk woord, van het allereerste begin van het verhaal tot halverwege.
Het is zo belangrijk dat als je alleen deze ene draad loskoppelt, de chef niet alleen in de war raakt; ze breekt volledig op en begint hetzelfde woord steeds weer te herhalen ("kopen kopen kopen kopen...").
De Analogie: Stel je een bouwteam voor. Het Traditionele team heeft veel werknemers die verschillende taken doen. Als één werknemer weggaat, gaat het gebouw iets langzamer omhoog. Het Diffusieteam heeft één "Super-werker" die het hele gebouw vasthoudt, terwijl iedereen anders alleen maar staat te kijken. Als de Super-werker weggaat, stort het gebouw direct in.

2. De "Redundante Vroege Laag" (Het Omgekeerde van Normaal)

Normaal gesproken zijn in AI-modellen de vroege lagen zoals de "schetsfase" (zeer onderscheidend en creatief), en zijn de diepere lagen waar dingen repetitief worden omdat het model alles heeft geleerd wat het nodig heeft (dit heet de "Vloek van de Diepte").

De onderzoekers ontdekten dat Diffusiemodellen dit script omdraaien:

De Vroege Lagen zijn Saai: Omdat die "Super-werker" al het zware werk doet, doen de vroege lagen van het Diffusiemodel allemaal precies hetzelfde. Ze zijn redundante kopieën van elkaar.
De Diepe Lagen zijn Uniek: De latere lagen hebben eigenlijk meer variatie.
De Analogie: In een normale fabriek zijn de eerste paar stations unieke assemblage-stappen, en de laatste paar zijn alleen maar polijsten (saai/repetitief). In de Diffusiefabriek zijn de eerste paar stations allemaal gewoon het kopiëren van dezelfde instructie van de "Super-werker", terwijl de laatste stations waar het unieke werk gebeurt.

3. Waarom Dit Belangrijk Is voor het "Kleiner Maken" van het Model

Vanwege deze verschillen zijn de regels voor het kleiner maken van deze modellen (compressie) volledig omgekeerd.

Voor Traditionele Modellen: Je wilt meestal voorzichtig zijn met de vroege lagen omdat ze uniek zijn. Je snoeit (knipt) de diepere lagen agressiever weg.
Voor Diffusiemodellen: Je kunt eigenlijk de vroege lagen veel agressiever wegsnijden! Omdat ze slechts redundante kopieën zijn van de "Super-werker", doet het verwijderen ervan niet veel kwaad. Sterker nog, de onderzoekers ontdekten dat als je Diffusiemodellen zou behandelen als Traditionele modellen (door eerst de diepere lagen weg te knippen), het model slechter zou presteren.
Het Resultaat: Diffusiemodellen zijn verrassend robuust. Zelfs als je ze aanzienlijk verkleint (met 3-bit kwantisatie), houden ze het veel beter vol dan Traditionele modellen. Een Traditioneel model kan 65% van zijn intelligentie verliezen bij verkleining, terwijl het Diffusiemodel slechts ongeveer 2% verliest.

Het "Waarom" Daarachter

De onderzoekers voerden een speciaal experiment uit waarbij ze twee kleine modellen vanaf nul trainden: één met de Traditionele methode en één met de Diffusiemethode. Ze ontdekten dat de vreemde "Super-werker" en de "Redundante Vroege Lagen" gebeurden vanwege de trainingsmethode zelf, niet vanwege het ontwerp van het model.

Het lijkt erop dat de Diffusiemethode de vroege lagen "overtraint", waardoor ze worden gedwongen te vertrouwen op dat ene dominante kanaal, terwijl de Traditionele methode de vroege lagen diverser laat.

Samenvatting

Diffusiemodellen hebben één "Super-kanaal" dat al het werk doet in de vroege stadia.
Het verwijderen van dit kanaal vernietigt het model, maar het verwijderen van de andere vroege lagen is veilig omdat ze slechts redundante kopieën zijn.
Om deze modellen kleiner te maken: Knip de vroege lagen hard weg, en bescherm de diepere lagen. Dit is het exacte tegenovergestelde van wat je doet met standaard AI-modellen.
De les: Diffusiemodellen zijn anders gebouwd, dus we hebben andere regels nodig om ze efficiënt te maken.

Technische Samenvatting: Laaginstorting in Diffusie-taalmodellen

Probleemstelling

Diffusie-taalmodellen (DLMs) zijn opgekomen als concurrerende alternatieven voor autoregressieve (AR) modellen, met parallelle token-generatie en zonder de "omkeer-vloek". De interne activatiedynamiek en de laagsgewijze representatiestructuren van DLMs blijven echter slecht begrepen. Er bestaat een kritieke lacune in het bepalen of bevindingen uit AR-modellen (met betrekking tot redundantie, uitschieters en compressiestrategieën) direct overdraagbaar zijn naar DLMs, of dat DLMs onderscheidend gedrag vertonen waarvoor nieuwe benaderingen voor training, fine-tuning en compressie nodig zijn. Specifiek is het onduidelijk of de "vloek van de diepte" (waarbij diepere lagen redundant worden door ondertraining) ook op DLMs van toepassing is, of dat hun trainingsdoelstellingen andere structurele pathologieën veroorzaken.

Methodologie

De auteurs voeren een systematische analyse uit van LLaDA-8B, een groot DLM dat vanaf nul is getraind, en vergelijken dit met Llama-3.1-8B, een AR-model met een bijna identieke architectuur. Om de effecten van het trainingsdoel te isoleren van architecturale eigenaardigheden, hanteert de studie:

Laaggelijkheidsanalyse: Berekening van de per-token cosinusgelijkheid tussen verborgen activaties van verschillende lagen om redundantie te kwantificeren.
Detectie van Activatie-uitschieters: Analyse van activatiewarmtekaarten om persistente, hoog-magnitude kanalen over tokenposities en lagen heen te identificeren.
Spectrale Geweitanalyse: Toepassing van de Hill-schatter ( $\alpha_{Hill}$ ) op de eigenwaarden van gewichtsmatrices om de trainbaarheid van lagen te beoordelen. Gebaseerd op de theorie van Heavy-Tailed Self-Regularization (HT-SR), geven lagere $\alpha_{Hill}$ -waarden zwaardere staarten en sterker kenmerkleer (overtraining) aan, terwijl hogere waarden ondertraining suggereren.
Ablatiestudies: Het verwijderen van specifieke kanalen (bijv. de dominante "super-uitschieter") om catastrofale storingen versus kleine nauwkeurigheidsdalingen te observeren.
Gecontroleerde Pre-training: Training van een paar modellen van 160 miljoen parameters (AR-160M en DLM-160M) op identieke data (FineWebEdu) met identieke hyperparameters, waarbij alleen het trainingsdoel verschilt (cross-entropy versus gemaskerde diffusie).
Compressie-experimenten: Evaluatie van robuustheid tegen pruning (met WANDA) en kwantisatie (met GPTQ) onder verschillende strategieën voor toewijzing van sparsiteit (Uniform, Early-Is-Sparser [EIS], Deeper-Is-Sparser [DIS]).

Belangrijkste Bevindingen

1. De Super-uitschieter en Laaginstorting

LLaDA-8B vertoont een uniek fenomeen, genaamd laaginstorting, gedreven door een enkel super-uitschieterkanaal (Kanaal 3848).

Persistentie: In tegenstelling tot AR-modellen, waar uitschieters token-specifiek zijn, behoudt dit kanaal een persistent hoge activatie over alle tokenposities heen gedurende de eerste helft van de netwerklagen.
Kritikaliteit: Het verwijderen van dit enkele kanaal zorgt ervoor dat het model degenereren tot repetitieve willekeurige token-lussen (0% nauwkeurigheid op GSM8K), terwijl het verwijderen van het bovenste kanaal in Llama-3.1-8B slechts een kleine daling in nauwkeurigheid veroorzaakt (-4%).
Mechanisme: De super-uitschieter fungeert als een dominante drager van informatie, onderdrukt de expressiviteit van andere kanalen en zorgt ervoor dat meerdere vroege lagen bijna identieke, redundante verborgen representaties produceren.

2. Omgekeerde Redundantiepatronen

De laagsgewijze gelijkheidsstructuur in DLMs is het omgekeerde van wat bij AR-modellen wordt waargenomen:

AR-modellen: Vroege lagen zijn distinct; diepere lagen worden steeds meer redundant (toegeschreven aan de "vloek van de diepte" of ondertraining).
DLMs (LLaDA-8B): Vroege lagen zijn sterk redundant en lijken op elkaar. Deze redundantie wordt niet veroorzaakt door ondertraining, maar door overtraining, wat blijkt uit aanzienlijk lagere $\alpha_{Hill}$ -waarden in vroege lagen in vergelijking met Llama. De super-uitschieter concentreert de representatie in een laag-dimensionale structuur vroeg in het netwerk.

3. Compressie-robuustheid en Omkering van Strategie

Ondanks de breekbaarheid van de super-uitschieter, vertonen DLMs een opmerkelijke robuustheid tegen compressie:

Kwantisatie: LLaDA-8B onder 3-bits GPTQ-kwantisatie daalt slechts met -1,8% op GSM8K, terwijl Llama-3.1-8B onder dezelfde instellingen -64,7% daalt.
Toewijzing van Sparsiteit: De optimale strategie voor toewijzing van sparsiteit is omgekeerd tussen de twee model-families.
- AR (Llama): Het agressiever verwijderen van diepere lagen (DIS) of het gebruik van uniforme sparsiteit is optimaal. Het verwijderen van vroege lagen (EIS) is suboptimaal.
- DLM (LLaDA): Het agressiever verwijderen van vroege lagen (EIS) levert een verbetering van +8,4% op ten opzichte van de omgekeerde strategie (DIS) bij 50% sparsiteit. Dit komt omdat vroege lagen in DLMs sterk redundant zijn (exclusief de super-uitschieter), terwijl diepere lagen meer distincte informatie behouden.

4. Validatie via Gecontroleerde Pre-training

Het gecontroleerde pre-training-experiment van 160M bevestigde dat deze dynamieken inherent zijn aan het diffusietrainingsdoel en niet aan architecturale verschillen.

DLM-160M vertoonde een hogere gelijkheid in vroege lagen en lagere $\alpha_{Hill}$ (wat overtraining aangeeft) in vergelijking met AR-160M.
DLM-160M toonde een grotere robuustheid tegen compressie dan AR-160M, waarbij de optimale strategie voor sparsiteit wederom EIS was voor DLMs en DIS voor AR-modellen.
Opmerking: De super-uitschieter werd niet waargenomen in de 160M-modellen, wat overeenkomt met literatuur die suggereert dat dergelijke uitschieters pas op grotere schaal ontstaan (>6,7B parameters).

Betekenis en Claims

Het artikel beweert dat het diffusietrainingsdoel de laagdynamiek fundamenteel herschikt ten opzichte van AR-modellen, wat leidt tot:

Een Nieuw Structureel Fenomeen: Het bestaan van een persistente super-uitschieter die laaginstorting in vroege lagen drijft, distinct van de token-specifieke uitschieters in AR-modellen.
Overtraining versus Ondertraining: Redundantie in vroege lagen bij DLMs is het gevolg van overtraining (sterke laag-dimensionale structuur) in plaats van de ondertraining die typisch wordt gezien in diepe AR-lagen.
Praktische Implicaties voor Compressie: Standaard compressie-heuristieken die zijn afgeleid van AR-modellen zijn niet alleen suboptimaal, maar actief schadelijk voor DLMs. Specifiek is het toewijzen van meer sparsiteit aan vroege lagen (EIS) de optimale strategie voor DLMs, in tegenstelling tot de DIS-strategie die bij AR-modellen de voorkeur heeft.
Robuustheid: DLMs bezitten een inherente robuustheid tegen kwantisatie en pruning die die van vergelijkbare AR-modellen overtreft, mits de dominante super-uitschieter behouden blijft.

De auteurs concluderen dat deze bevindingen een her-evaluatie vereisen van hoe DLMs worden gecomprimeerd en ingezet, en suggereren dat de waargenomen redundantiepatronen een direct gevolg zijn van het diffusiedoel zelf.