💬 NLP

Tuning Language Models by Mixture-of-Depths Ensemble

Cet article introduit le Mixture-of-Depths Ensemble (MoDE), un cadre de réglage qui exploite un ensemble de représentations de couches tardives avec des poids de routage appris pour améliorer les performances de raisonnement et démontre que ces couches intermédiaires peuvent efficacement remplacer des modules entraînables plus larges.

Auteurs originaux : Haoyan Luo, Lucia Specia

Publié 2026-06-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haoyan Luo, Lucia Specia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense usine à plusieurs étages, où des données brutes entrent par le bas et montent à travers 32 étages d'ouvriers (couches) avant qu'un produit final ne soit expédié.

Traditionnellement, pour apprendre à ces usines à accomplir de nouvelles tâches (comme les mathématiques ou le raisonnement), nous n'écoutons que le contremaître du tout dernier étage. Nous disons à toute l'usine : « L'étage supérieur a trouvé la bonne réponse, donc tout le monde a bien travaillé. » L'article soutient que cela est un gaspillage de potentiel. Les ouvriers des derniers étages (les « couches tardives ») font en réalité déjà le plus gros du travail et ont déjà trouvé la réponse bien avant que le produit final ne quitte le bâtiment.

Voici une décomposition simple de ce que les auteurs, Haoyan Luo et Lucia Specia, ont découvert et construit :

1. Le problème : Ignorer les travailleurs « presque arrivés »

Les auteurs ont remarqué que si l'on jette un coup d'œil aux ouvriers du 28e, 29e ou 30e étage d'une usine de 32 étages, ils ont déjà une idée très claire de la réponse. En fait, ils sont presque aussi intelligents que le contremaître final.

Cependant, l'entraînement standard ignore ces travailleurs intermédiaires. Il ne récompense que la sortie finale. L'article pose la question suivante : Et si nous arrêtions d'ignorer ces travailleurs de fin de chaîne et que nous utilisions réellement leurs réponses « presque terminées » pour aider à entraîner toute l'usine ?

2. La solution : Le « Mixture-of-Depths Ensemble » (MoDE)

Pour correr cela, ils ont créé une nouvelle méthode d'entraînement appelée MoDE. Considérez cela comme l'installation d'un système de vote intelligent sur les derniers étages.

La configuration : Au lieu de n'écouter que le dernier étage, le MoDE écoute les derniers étages (disons, les 3 ou 4 derniers).
Le routeur : Il utilise un petit « contrôleur de trafic » intelligent (un routeur) pour décider quelle réponse d'étage est la meilleure pour une question spécifique.
Le mélange : Il combine les réponses de ces derniers étages en une prédiction finale.

L'analogie : Imaginez que vous essayez de résoudre une énigme. Au lieu de demander l'avis d'un seul expert à la fin de la chaîne, vous demandez aux trois experts qui se tiennent juste avant la fin. Vous laissez un petit gestionnaire décider de l'expert dont l'opinion est la plus digne de confiance, et vous combinez leur sagesse. Cela donne une meilleure réponse qu'en ne demandant l'avis que d'une seule personne.

3. Comment ils ont fait fonctionner le système (La « recette secrète »)

On ne peut pas simplement commencer à écouter les étages inférieurs ; ils pourraient être confus car ils n'ont jamais été entraînés à donner des réponses finales. Les auteurs ont utilisé deux astuces pour y parvenir :

Le signal du « Professeur » : Ils ont utilisé le dernier étage (l'expert original) comme « professeur ». Ils ont dit aux étages inférieurs : « Essayez de correspondre à la réponse que donne le dernier étage. » Cela a aidé les étages inférieurs à s'organiser rapidement.
De petits ajustements : Au lieu de réentraîner toute l'usine (ce qui est coûteux), ils ont seulement ajouté de petites « lunettes » ajustables (des modules de normalisation) aux derniers étages afin qu'ils puissent voir la tâche clairement.

4. Les résultats : Plus intelligent et plus rapide

Les auteurs ont testé cela sur des problèmes mathématiques et des tâches de raisonnement général. Voici ce qu'ils ont trouvé :

Meilleure performance : En écoutant les travailleurs « presque arrivés », les modèles sont devenus légèrement meilleurs dans les tâches de raisonnement. C'est comme obtenir un boost de vitesse de 1,6x ou quelques points supplémentaires à un examen sans construire une usine plus grande.
Moins coûteux : Habituellement, pour obtenir de meilleurs résultats, il faut entraîner un grand nombre de nouveaux composants (paramètres). Le MoDE obtient des résultats similaires en ajoutant une infime quantité de nouveaux composants (seulement 0,04 % de plus). C'est comme obtenir une mise à niveau Ferrari en réglant simplement le moteur, plutôt qu'en achetant une nouvelle voiture.
Gain de vitesse (Sortie anticipée) : Comme le « contrôleur de trafic » est intelligent, il peut parfois décider : « Hé, la réponse est déjà claire au 30e étage ; nous n'avons pas besoin d'aller jusqu'au 32e. » Cela permet au modèle de s'arrêter plus tôt, ce qui le rend 1,6 fois plus rapide pour certaines tâches.

5. Ce que ce n'est pas

Les auteurs précisent avec prudence que ce n'est pas une baguette magique pour tout.

Cela fonctionne très bien pour le raisonnement (mathématiques, logique).
Cela fonctionne de manière moins spectaculaire pour le suivi d'instructions (comme écrire un poème ou suivre une instruction de chat complexe), car ces tâches dépendent davantage du formatage final du texte.
Cela ne fait pas « penser » le modèle de la même manière qu'un humain ; cela rend simplement le processus d'entraînement plus efficace en utilisant des informations qui étaient déjà là mais qui étaient ignorées.

Résumé

L'article propose une idée simple mais ingénieuse : Ne vous contentez pas d'écouter la réponse finale ; écoutez ceux qui sont presque arrivés. En créant un « vote d'équipe » parmi les dernières couches d'un modèle de langage, nous pouvons rendre ces modèles d'IA légèrement plus intelligents, beaucoup moins chers à entraîner et plus rapides à exécuter, sans avoir besoin de reconstruire tout le système.

Résumé Technique : Ajustement des Modèles de Langage par l'Ensemble de Mélange de Profondeurs (MoDE)

Énoncé du Problème
Les modèles de langage à grande échelle (LLM) traditionnels basés sur les Transformers reposent exclusivement sur les représentations des couches finales pour la prédiction et le calcul de la perte lors de l'ajustement (fine-tuning). Bien que les outils d'interprétabilité comme la « lentille de logit » (logit lens) aient démontré que les états cachés des couches tardives contiennent déjà des prédictions largement formées et pertinentes pour la tâche, ces représentations intermédiaires sont généralement traitées comme des sous-produits implicites plutôt que comme des signaux d'entraînement explicites. Par conséquent, le potentiel prédictif des couches tardives est sous-utilisé, et l'ajustement standard n'optimise que la couche finale, laissant les représentations intermédiaires optimisées de manière seulement indirecte. De plus, les méthodes existantes pour exploiter les couches intermédiaires (par exemple, l'exit précoce pour l'efficacité ou le pilotage de représentation) ne traitent souvent pas les logits spécifiques aux couches comme une composante directement entraînable de l'objectif de prédiction finale.

Méthodologie : Mixture-of-Depths Ensemble (MoDE)
Les auteurs proposent le Mixture-of-Depths Ensemble (MoDE), un cadre d'ajustement qui traite les sorties des $k$ dernières couches d'un LLM comme un ensemble d'« experts » au sein d'un même modèle. Contrairement au Mixture-of-Experts (MoE) qui route différents tokens vers différents modèles, MoDE route la prédiction finale vers une combinaison pondérée de logits provenant de différentes profondeurs au sein du même modèle.

Le cadre se compose de trois composants principaux :

Extraction de Logits des Couches Tardives : Pour un modèle de $n$ couches, les $k$ dernières couches ( $K = \{L_{n-k+1}, \dots, L_n\}$ ) sont sélectionnées. La tête de vocabulaire $\phi(\cdot)$ est appliquée aux états cachés de chacune de ces $k$ couches pour générer des logits $\ell_i(x)$ .
Réseau de Routage Appris : Un routeur léger $G(x)$ , implémenté comme une couche linéaire unique suivie d'une softmax, calcule les poids de routage basés sur l'état caché juste avant les $k$ dernières couches ( $x = H_{n-k}$ ). Les logits finaux sont calculés comme une somme pondérée :
$\ell(x_t | x_{<t}) = \sum_{i=0}^{k-1} G(x)_i \cdot \ell_i(x)$
Le routeur peut être rendu parcimonieux (Top-K) pour permettre un exit précoce (early exit) pendant l'inférence.
Adaptation via Normalisation et Distillation : Appliquer directement la tête pré-entraînée aux couches intermédiaires entraîne souvent une perte initiale élevée. Pour remédier à cela sans ajouter de paramètres lourds (contrairement aux matrices affines par couche), les auteurs introduisent :
- Normalisation par couche ( $N_k$ ) : Des modules de normalisation entraînables (correspondant à l'architecture pré-entraînée, par exemple LayerNorm) sont ajoutés à chaque couche tardive pour adapter les représentations à l'espace d'entrée de la tête.
- Perte de Distillation ( $L_{distill}$ ) : La couche finale agit comme un « enseignant ». Une perte de divergence KL est appliquée pour attirer les distributions de sortie des couches tardives plus précoces vers la distribution de la couche finale, stabilisant ainsi l'entraînement et alignant l'ensemble avec l'objectif de la tâche.

La perte totale est $L_{MoDE} = L_{task} + \lambda L_{distill}$ . MoDE est conçu comme un mécanisme plug-in qui peut être superposé à toute méthode de fine-tuning efficace en paramètres (PEFT) (par exemple, LoRA, DoRA) ou utilisé indépendamment.

Contributions Clés

Signaux de Couches Tardives Entraînables : L'article démontre que les logits des couches tardives, lorsqu'ils sont optimisés individuellement avec la distillation, convergent vers des pertes comparables à celles de la couche finale et résolvent un ensemble complémentaire de problèmes.
Cadre MoDE : Un mécanisme d'ajustement simple et à faible surcharge qui ensemblent les logits des couches tardives via un routeur appris. Il ajoute un nombre négligeable de paramètres entraînables (environ +0,04 % de la taille du modèle) tout en permettant au modèle de remplacer des modules entraînables nettement plus grands (comme le LoRA sur toutes les couches) avec des performances comparables.
Efficacité et Flexibilité : Le cadre prend en charge le routage parcimonieux (Top-K), permettant un exit précoce et des accélérations de génération allant jusqu'à 1,6 $\times$ avec une perte de précision minimale. Il se compose avec les méthodes PEFT existantes, améliorant leurs performances.

Résultats Expérimentaux
Les expériences ont été menées sur LLaMA2-7B et LLaMA3-8B à travers des tâches de raisonnement arithmétique, de raisonnement de bon sens et de suivi d'instructions.

Raisonnement Arithmétique : MoDE a systématiquement amélioré les performances des méthodes de base (LoRA, DoRA). La variante légère (LoRA appliqué à toutes les couches sauf les $k$ dernières, plus MoDE) a atteint des performances à 0,3–0,5 point près de la méthode LoRA sur toutes les couches, tout en utilisant nettement moins de paramètres.
Raisonnement de Bon Sens : MoDE a apporté des gains additifs par rapport aux méthodes basées sur les poids (LoRA, DoRA). Bien que les méthodes basées sur la représentation (ReFT) soient performantes par elles-mêmes, MoDE offre des améliorations fiables lorsqu'elles sont combinées avec des approches basées sur les poids.
Suivi d'Instructions : MoDE a produit des gains faibles mais constants sur MT-Bench, bien que les améliorations soient plus modestes que dans les tâches de raisonnement, suggérant que le suivi d'instructions repose fortement sur un formatage de couche tardive que l'ensemble capture seulement partiellement.
Ablation et Analyse :
- Le routeur concentre naturellement le poids sur la dernière ou les deux dernières couches, mais la distillation et la normalisation permettent aux couches tardives plus précoces de contribuer efficacement.
- Une taille d'ensemble $k \approx 3\text{--}4$ est optimale ; un $k$ plus grand aide pour les jeux de données faciles mais nuit aux tâches de raisonnement complexe.
- Le routage parcimonieux Top-K maintient la majeure partie de la précision tout en permettant des accélérations significatives.

Signification et Revendications
Les auteurs présentent MoDE comme une étude de mécanisme démontrant que les logits des couches tardives peuvent être rendus directement utiles pour l'ajustement. L'article affirme que :

Les représentations des couches tardives possèdent un potentiel prédictif significatif qui peut être débloqué par une simple adaptation (normalisation et distillation).
Ces signaux intermédiaires peuvent substituer des modules entraînables nettement plus grands (comme le LoRA sur toutes les couches) avec des performances comparables, offrant une alternative efficace en paramètres.
MoDE fournit une direction complémentaire pour transformer les représentations des couches intermédiaires en signaux d'entraînement exploitables, distincte des approoth de sondage au moment de l'inférence ou des approches d'édition de poids.

Le papier reste modeste quant à sa portée, notant des limitations telles que la dépendance à un $k$ fixe (plut plutôt qu'une sélection dynamique), des gains plus faibles sur le suivi d'instructions par rapport au raisonnement, et une évaluation limitée aux LLM de type decoder-only. Des travaux futurs sont suggérés pour une sélection dynamique de $k$ , des familles de modèles plus larges et des modèles plus grands.