🤖 machine learning

Layer Collapse in Diffusion Language Models

Ce papier révèle que les modèles de langage par diffusion présentent un phénomène unique de « collapse de couches » dû au surapprentissage, où les premières couches développent des super-outliers critiques et des représentations redondantes, permettant une compression nettement supérieure et des stratégies d'allocation de parcimonie distinctes par rapport aux modèles autoregressifs.

Auteurs originaux : Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alexander Conzelmann, Albert Catalan-Tatjer, Shiwei Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez deux types de chefs différents essayant d'écrire une histoire.

Le Chef Traditionnel (Modèles Autoregressifs) écrit un mot à la fois, de gauche à droite. S'il fait une erreur au début, il ne peut pas revenir en arrière pour la corriger. C'est ainsi que fonctionnent la plupart des modèles d'IA actuels (comme Llama).

Le Chef Diffusion (Modèles de Langage par Diffusion) commence avec une page désordonnée et brouillonne, pleine de charabia. Il effectue plusieurs passages sur toute la page à la fois, nettoyant lentement le bruit jusqu'à ce que l'histoire prenne du sens. C'est la nouvelle approche « Diffusion » (comme LLaDA).

Ce papier enquête sur ce qui se passe à l'intérieur du « cerveau » de ces deux chefs pendant qu'ils travaillent. Les chercheurs ont découvert que le Chef Diffusion fonctionne d'une manière presque exactement opposée à celle du Chef Traditionnel, ce qui change la façon dont nous devrions essayer de les réduire ou de les accélérer.

Voici les trois découvertes principales, expliquées simplement :

1. Le « Super-Canal » contre l'« Effort d'Équipe »

Dans le cerveau du Chef Traditionnel (Llama), différentes parties du cerveau s'illuminent pour différents mots. Si vous éteignez accidentellement une ampoule spécifique, le chef est un peu confus mais peut tout de même finir l'histoire.

Dans le cerveau du Chef Diffusion (LLaDA), les chercheurs ont trouvé quelque chose d'étrange : Une seule ampoule brille si intensément qu'elle éblouit.

Ce « Super-Canal » est actif pour presque tous les mots, du tout début de l'histoire jusqu'au milieu.
Il est si important que si vous débranchez juste ce seul fil, le chef ne se contente pas de devenir confus ; il s'effondre complètement et commence à répéter le même mot encore et encore (« achète achète achète achète... »).
L'Analogie : Imaginez une équipe de construction. L'équipe traditionnelle a plusieurs ouvriers effectuant différentes tâches. Si un ouvrier part, le bâtiment monte un peu plus lentement. L'équipe Diffusion a un « Super-Ouvrier » qui soutient tout le bâtiment, tandis que tout le monde d'autre se contente de rester debout à regarder. Si le Super-Ouvrier part, le bâtiment s'effondre instantanément.

2. Les « Couches Redondantes au Début » (L'Inverse de la Normale)

Habituellement, dans les modèles d'IA, les premières couches sont comme la phase de « croquis » (très distincte et créative), et les couches profondes sont là où les choses deviennent répétitives car le modèle a déjà appris tout ce dont il a besoin (ceci est appelé la « Malédiction de la Profondeur »).

Les chercheurs ont découvert que les modèles de diffusion inversent ce scénario :

Les Couches au Début sont Ennuyeuses : Parce que ce « Super-Ouvrier » fait tout le travail lourd, les premières couches du modèle de diffusion font exactement la même chose. Ce sont des copies redondantes les unes des autres.
Les Couches Profondes sont Uniques : Les couches ultérieures ont en réalité plus de variété.
L'Analogie : Dans une usine normale, les premières stations sont des étapes d'assemblage uniques, et les dernières ne sont que du polissage (ennuyeux/répétitif). Dans l'usine de diffusion, les premières stations ne font que copier la même instruction du « Super-Ouvrier », tandis que les stations finales sont là où le travail réellement unique se produit.

3. Pourquoi Cela Compte pour « Réduire » le Modèle

À cause de ces différences, les règles pour rendre ces modèles plus petits (compression) sont complètement inversées.

Pour les Modèles Traditionnels : Vous voulez généralement être prudent avec les premières couches car elles sont uniques. Vous élaguez (coupez) les couches profondes plus agressivement.
Pour les Modèles de Diffusion : Vous pouvez en fait couper les couches au début beaucoup plus agressivement ! Puisqu'elles ne sont que des copies redondantes du « Super-Ouvrier », les supprimer ne fait pas beaucoup de mal. En fait, les chercheurs ont découvert que si vous essayiez de traiter les modèles de diffusion comme des modèles traditionnels (en coupant d'abord les couches profondes), le modèle fonctionnerait moins bien.
Le Résultat : Les modèles de diffusion sont étonnamment robustes. Même si vous les réduisez considérablement (en utilisant une quantification 3 bits), ils résistent beaucoup mieux que les modèles traditionnels. Un modèle traditionnel pourrait perdre 65 % de son intelligence lorsqu'il est réduit, tandis que le modèle de diffusion ne perd que environ 2 %.

Le « Pourquoi » Derrière Cela

Les chercheurs ont mené une expérience spéciale où ils ont entraîné deux tout petits modèles à partir de zéro : l'un utilisant la méthode traditionnelle et l'autre utilisant la méthode de diffusion. Ils ont découvert que le bizarre « Super-Ouvrier » et les « Couches Redondantes au Début » se produisaient à cause de la méthode d'entraînement elle-même, et non à cause de la conception du modèle.

Il semble que la méthode de diffusion « sur-entraîne » les premières couches, les forçant à dépendre de ce seul canal dominant, tandis que la méthode traditionnelle laisse les premières couches plus diversifiées.

Résumé

Les modèles de diffusion ont un « Super-Canal » qui fait tout le travail dans les premières étapes.
Supprimer ce canal détruit le modèle, mais supprimer les autres couches au début est sans danger car ce ne sont que des copies redondantes.
Pour réduire ces modèles : Coupez fort les couches au début et protégez les couches profondes. C'est l'exact opposé de ce que vous faites avec les modèles d'IA standards.
La conclusion : Les modèles de diffusion sont construits différemment, nous avons donc besoin de règles différentes pour les rendre efficaces.

Résumé technique : Effondrement des couches dans les modèles de langage par diffusion

Énoncé du problème

Les modèles de langage par diffusion (DLM) sont apparus comme des alternatives compétitives aux modèles autoregressifs (AR), offrant une génération de tokens parallèle et évitant la « malédiction de l'inversion ». Cependant, la dynamique des activations internes et les structures de représentation au niveau des couches des DLM restent mal comprises. Un écart critique existe pour déterminer si les constatations issues des modèles AR (concernant la redondance, les valeurs aberrantes et les stratégies de compression) se transfèrent directement aux DLM, ou si les DLM présentent des comportements distincts nécessitant de nouvelles approches pour l'entraînement, le fine-tuning et la compression. Plus précisément, il est incertain si la « malédiction de la profondeur » (où les couches plus profondes deviennent redondantes en raison d'un sous-entraînement) s'applique aux DLM, ou si leurs objectifs d'entraînement induisent des pathologies structurelles différentes.

Méthodologie

Les auteurs mènent une analyse systématique de LLaDA-8B, un DLM à grande échelle pré-entraîné à partir de zéro, en le comparant à Llama-3.1-8B, un modèle AR avec une architecture quasi identique. Pour isoler les effets de l'objectif d'entraînement des particularités architecturales, l'étude emploie :

Analyse de similarité des couches : Calcul de la similarité cosinus par token entre les activations cachées de différentes couches pour quantifier la redondance.
Détection des valeurs aberrantes d'activation : Analyse des cartes thermiques d'activation pour identifier des canaux persistants à forte magnitude à travers les positions de tokens et les couches.
Analyse spectrale des poids : Utilisation de l'estimateur de Hill ( $\alpha_{Hill}$ ) sur les valeurs propres des matrices de poids pour évaluer l'apprenabilité des couches. Selon la théorie de l'auto-régularisation à queues lourdes (HT-SR), des valeurs de $\alpha_{Hill}$ plus faibles indiquent des queues plus lourdes et un apprentissage de caractéristiques plus fort (sur-entraînement), tandis que des valeurs plus élevées suggèrent un sous-entraînement.
Études d'ablation : Élagage de canaux spécifiques (par exemple, le « super-aberrant » dominant) pour observer des défaillances catastrophiques par rapport à de légères baisses de précision.
Pré-entraînement contrôlé : Entraînement d'une paire de modèles de 160 millions de paramètres (AR-160M et DLM-160M) sur des données identiques (FineWebEdu) avec des hyperparamètres identiques, ne différant que par l'objectif d'entraînement (entropie croisée vs diffusion masquée).
Expériences de compression : Évaluation de la robustesse à l'élagage (en utilisant WANDA) et à la quantification (en utilisant GPTQ) sous diverses stratégies d'allocation de parcimonie (Uniforme, Tôt-Est-Moins-Dense [EIS], Profond-Est-Moins-Dense [DIS]).

Résultats clés

1. Le super-aberrant et l'effondrement des couches

LLaDA-8B présente un phénomène unique appelé effondrement des couches, entraîné par un seul canal super-aberrant (Canal 3848).

Persistance : Contrairement aux modèles AR où les valeurs aberrantes sont spécifiques aux tokens, ce canal maintient une activation persistamment élevée à travers toutes les positions de tokens au cours de la première moitié des couches du réseau.
Criticité : L'élagage de ce seul canal fait dégénérer le modèle en boucles de tokens aléatoires répétitives (0 % de précision sur GSM8K), tandis que l'élagage du canal principal dans Llama-3.1-8B ne entraîne qu'une légère baisse de précision (-4 %).
Mécanisme : Le super-aberrant agit comme un vecteur dominant d'information, supprimant l'expressivité des autres canaux et provoquant la production de représentations cachées presque identiques et redondantes par plusieurs couches précoces.

2. Modèles de redondance inversés

La structure de similarité au niveau des couches dans les DLM est l'inverse de celle observée dans les modèles AR :

Modèles AR : Les couches précoces sont distinctes ; les couches plus profondes deviennent de plus en plus redondantes (attribué à la « malédiction de la profondeur » ou au sous-entraînement).
DLM (LLaDA-8B) : Les couches précoces sont hautement redondantes et similaires entre elles. Cette redondance n'est pas causée par un sous-entraînement mais par un sur-entraînement, comme en témoignent des valeurs de $\alpha_{Hill}$ significativement plus faibles dans les couches précoces par rapport à Llama. Le super-aberrant concentre la représentation dans une structure de basse dimension tôt dans le réseau.

3. Robustesse à la compression et inversion de la stratégie

Malgré la fragilité du super-aberrant, les DLM démontrent une robustesse surprenante à la compression :

Quantification : LLaDA-8B sous quantification GPTQ 3 bits ne chute que de -1,8 % sur GSM8K, tandis que Llama-3.1-8B chute de -64,7 % dans les mêmes conditions.
Allocation de parcimonie : La stratégie optimale d'allocation de parcimonie est inversée entre les deux familles de modèles.
- AR (Llama) : Élaguer plus agressivement les couches profondes (DIS) ou utiliser une parcimonie uniforme est optimal. Élaguer les couches précoces (EIS) est sous-optimal.
- DLM (LLaDA) : Élaguer plus agressivement les couches précoces (EIS) produit une amélioration de +8,4 % par rapport à la stratégie inverse (DIS) à 50 % de parcimonie. Cela s'explique par le fait que les couches précoces dans les DLM sont hautement redondantes (à l'exception du super-aberrant), tandis que les couches plus profondes conservent plus d'informations distinctes.

4. Validation par pré-entraînement contrôlé

L'expérience de pré-entraînement contrôlée de 160 millions de paramètres a confirmé que ces dynamiques sont inhérentes à l'objectif d'entraînement par diffusion plutôt qu'aux différences architecturales.

DLM-160M a présenté une similarité de couches précoces plus élevée et un $\alpha_{Hill}$ plus faible (indiquant un sur-entraînement) par rapport à AR-160M.
DLM-160M a montré une plus grande robustesse à la compression que AR-160M, la stratégie de parcimonie optimale étant à nouveau EIS pour les DLM et DIS pour les AR.
Note : Le super-aberrant n'a pas été observé dans les modèles de 160 millions, ce qui est cohérent avec la littérature suggérant que de telles valeurs aberrantes émergent à des échelles plus grandes (> 6,7 milliards de paramètres).

Importance et affirmations

L'article affirme que l'objectif d'entraînement par diffusion remodele fondamentalement la dynamique des couches par rapport aux modèles AR, conduisant à :

Un nouveau phénomène structurel : L'existence d'un super-aberrant persistant entraînant l'effondrement des couches précoces, distinct des valeurs aberrantes spécifiques aux tokens dans les modèles AR.
Sur-entraînement vs sous-entraînement : La redondance des couches précoces dans les DLM est le résultat d'un sur-entraînement (structure de basse dimension forte) plutôt que du sous-entraînement généralement observé dans les couches profondes des AR.
Implications pratiques pour la compression : Les heuristiques de compression standard dérivées des modèles AR ne sont pas seulement sous-optimales, mais activement préjudiciables pour les DLM. Plus précisément, allouer plus de parcimonie aux couches précoces (EIS) est la stratégie optimale pour les DLM, contrairement à la stratégie DIS préférée par les modèles AR.
Robustesse : Les DLM possèdent une robustesse inhérente à la quantification et à l'élagage qui dépasse celle des modèles AR comparables, à condition que le super-aberrant dominant soit préservé.

Les auteurs concluent que ces résultats nécessitent une réévaluation de la manière dont les DLM sont compressés et déployés, suggérant que les modèles de redondance observés sont une conséquence directe de l'objectif de diffusion lui-même.