🤖 machine learning

Delta Attention Residuals

Ce papier propose les résidus d'attention delta, une architecture novatrice qui remplace les états cachés cumulatifs par des représentations delta au niveau des couches dans les connexions résiduelles basées sur l'attention afin d'empêcher l'effondrement du routage et d'obtenir des améliorations significatives de la perplexité à travers diverses échelles de modèles.

Auteurs originaux : Cheng Luo, Zefan Cai, Junjie Hu

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Cheng Luo, Zefan Cai, Junjie Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Réparer une « Bibliothèque Bruyante »

Imaginez un modèle d'apprentissage profond (comme un grand modèle de langage) comme un étudiant essayant d'écrire une histoire. Cet étudiant lit une longue série de chapitres (couches) pour comprendre le contexte.

Dans un modèle standard, l'étudiant garde un résumé en cours de tout ce qu'il a lu jusqu'à présent. Au moment où il atteint le dernier chapitre, son « résumé » est un énorme tas de notes boueuses contenant chaque phrase du début. Il est si rempli d'informations anciennes qu'il est difficile d'y trouver quoi que ce soit de nouveau ou de spécifique.

Les chercheurs de ce papier ont découvert un problème avec une façon plus récente et plus sophistiquée de lire appelée Attention Residuals. Dans cette méthode, l'étudiant a le droit de sauter en arrière et de sélectionner des notes spécifiques des chapitres précédents pour aider à écrire le chapitre actuel. Cependant, parce que les notes qu'il sélectionnait faisaient toutes partie de ce même « tas boueux » de résumés en cours, les notes semblaient presque identiques les unes aux autres.

Le Résultat : L'étudiant s'est confondu. Au lieu de choisir la seule note parfaite du Chapitre 3, il s'est retrouvé à choisir un peu de tout de tous les chapitres de manière égale. Cela s'appelle un « effondrement du routage ». C'est comme essayer de choisir le meilleur ingrédient dans un smoothie où tout est déjà mélangé ; vous ne pouvez plus goûter la fraise, vous goûtez simplement « smoothie ».

La Solution : La Méthode « Delta »

Les auteurs proposent une nouvelle méthode appelée Delta Attention Residuals.

Au lieu de regarder le résumé en cours entier (le tas boueux), l'étudiant ne regarde que ce qui a changé à chaque étape spécifique.

L'Analogie : Le Chantier de Construction
Imaginez un bâtiment construit étage par étage.

L'Ancienne Façon (États Cumulatifs) : Vous regardez tout le bâtiment pour décider quoi faire au 10e étage. Mais le 10e étage ressemble presque exactement au 9e, qui ressemble au 8e, parce qu'ils sont tous simplement « le bâtiment ». Il est difficile de les distinguer.
La Nouvelle Façon (Delta) : Vous ne regardez que la différence apportée par les ouvriers à chaque étage spécifique.
- « Qu'ont ajouté les ouvriers de l'Étage 3 ? » (Peut-être qu'ils ont ajouté une fenêtre).
- « Qu'ont ajouté les ouvriers de l'Étage 4 ? » (Peut-être qu'ils ont ajouté un balcon).

Parce qu'une fenêtre est très différente d'un balcon, ces « deltas » (changements) sont distincts et faciles à distinguer.

Comment Cela Fonctionne en Pratique

Routage Sélectif : Lorsque le modèle doit écrire une phrase, il demande : « Quel changement spécifique d'une couche précédente m'aide le plus ? » Parce que les changements sont distincts (comme la fenêtre par rapport au balcon), le modèle peut faire un choix net et confiant.
- Ancienne Méthode : L'attention du modèle était floue (comme un appareil photo dans le brouillard), répartissant son focus uniformément sur tout.
- Nouvelle Méthode : L'attention du modèle est nette (comme un pointeur laser), se concentrant intensément sur le changement spécifique dont elle a besoin.
Ajouter, Pas Remplacer : L'ancienne méthode essayait de remplacer la pensée actuelle par un mélange de vieilles pensées, ce qui causait parfois au modèle d'oublier ce qu'il était en train de faire. La nouvelle méthode ajoute le changement utile à la pensée actuelle. C'est comme ajouter une épice à une soupe plutôt que de jeter toute la marmite et de commencer avec une soupe différente. Cela maintient le modèle stable et l'empêche de se confondre.

Ce Que Les Chercheurs Ont Découvert

L'équipe a testé cette idée sur des modèles de diverses tailles, allant de petits (220 millions de paramètres) à très grands (7,6 milliards de paramètres).

Meilleure Performance : Dans chaque test, les modèles « Delta » comprenaient mieux le langage (perplexité plus faible, qui est une mesure de la confusion du modèle) que les modèles standards ou les anciens modèles « Attention Residual ».
Plus de Confusion : Dans les couches profondes du modèle, le focus de l'ancienne méthode devenait très faible (comme une lumière tamisée). La nouvelle méthode gardait son focus brillant et net, même dans les parties les plus profondes du réseau.
Facile à Mettre à Niveau : L'une des découvertes les plus cool est que vous pouvez prendre un modèle déjà entraîné (comme un bâtiment fini) et le mettre à niveau pour utiliser cette méthode « Delta » simplement en lui donnant un peu d'entraînement supplémentaire (ajustement fin). Cela ne nécessite pas de reconstruire tout le modèle à partir de zéro.

Résumé

Le papier résout un problème où les modèles d'IA se confondent parce qu'ils essaient de se souvenir de trop de choses à la fois. En enseignant au modèle à se concentrer uniquement sur ce qui a changé à chaque étape (le « delta ») plutôt que sur l'histoire entière, le modèle peut prendre des décisions beaucoup plus nettes et intelligentes, conduisant à une meilleure performance sur toutes les tailles de modèles d'IA.

Résumé Technique : Résidus d'Attention Delta

Énoncé du Problème

Les connexions résiduelles standard dans les transformateurs profonds accumulent toutes les sorties des sous-couches précédentes via des coefficients additifs fixes ( $h_l = h_{l-1} + f(h_{l-1})$ ). Bien que cela fournisse des autoroutes de gradient, cela manque d'un mécanisme pour agréger sélectivement l'information à travers la profondeur. Les Résidus d'Attention (Kimi, 2025) ont proposé de remplacer l'agrégation fixe par une attention softmax apprise sur les sorties des couches précédentes pour permettre un routage sélectif inter-couches.

Cependant, cet article identifie un mode de défaillance critique dans les Résidus d'Attention standard : l'effondrement du routage dû à la redondance des sources. Dans les Résidus d'Attention, les représentations sources ( $s_i$ ) sont des états cachés cumulatifs ( $h_i = \sum v_j$ ). À mesure que la profondeur augmente, les états cumulatifs adjacents partagent un préfixe commun important, ce qui fait croître leur similarité par paires. Cette redondance réduit le contraste parmi les candidats de routage, forçant les poids d'attention softmax vers une distribution quasi-uniforme. Empiriquement, le poids de routage maximal dans les couches profondes se dégrade à environ 0,2, rendant le mécanisme inefficace pour sélectionner des états informatifs et équivalant en pratique à une moyenne sur toutes les sources.

Méthodologie : Résidus d'Attention Delta

Pour remédier à la redondance des sources, les auteurs proposent les Résidus d'Attention Delta, qui effectuent le routage sur les deltas (le changement introduit par chaque sous-couche) plutôt que sur les états cumulatifs.

Mécanisme Central

Au lieu d'effectuer le routage sur $s_i = h_i$ , la méthode effectue le routage sur $v_i = h_{i+1} - h_i$ , représentant la contribution spécifique d'une sous-couche. Cela est mis en œuvre via une formulation de routage additif :
$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$
Où :

$\tilde{h}_l$ est le flux résiduel actuel (préservé par défaut).
$v_i$ sont les sources delta (sorties par sous-couche).
$\alpha_{i \to l}$ sont les poids d'attention appris calculés via softmax sur les deltas normalisés.

Variantes de Granularité

Le principe est appliqué à deux granularités :

Delta AttnRes : Effectue le routage sur chaque sortie de sous-couche individuelle (Attention et MLP), fournissant $2L$ sources pour $L$ couches.
Delta Block : Agrège les sorties de sous-couches consécutives au sein d'un bloc en un seul delta de bloc ( $\Delta_b$ ), réduisant le nombre de sources à $\approx L/B$ pour plus d'efficacité.

Avantages Clés de Conception

Diversité Structurelle : Contrairement aux états cumulatifs qui convergent vers des relations quasi-linéaires, les deltas sont structurellement diversifiés car les sorties d'attention et de MLP occupent des sous-espaces différents et capturent des niveaux d'abstraction distincts. Cela maintient un contraste de routage élevé (poids maximal $\approx 0,6$ ).
Préservation Résiduelle : La formulation additive préserve le flux résiduel, garantissant qu'aucune information n'est perdue aux limites des blocs (contrairement au routage par remplacement qui rejette le flux).
Initialisation Sûre : Avec des poids de requête initialisés à zéro, les poids de routage deviennent uniformes et la sortie de routage devient une perturbation bornée. Cela réduit le mécanisme à une application identité à l'initialisation, permettant le fine-tuning de modèles pré-entraînés sans perturber le flux résiduel appris.

Contributions Clés

Identification de l'Effondrement du Routage : L'article démontre que la redondance des sources dans les Résidus d'Attention à états cumulatifs provoque une dégradation de la netteté du routage à $\sim 0,2$ dans les couches profondes, conduisant à des distributions d'attention quasi-uniformes.
Résidus d'Attention Delta : Une nouvelle architecture qui effectue le routage sur les deltas plutôt que sur les états cumulatifs. Cela maintient un routage net ( $\sim 0,6$ ) et surpasse systématiquement à la fois les résidus standard et les Résidus d'Attention à travers des échelles allant de 220M à 7,6B de paramètres.
Compatibilité avec le Fine-Tuning : La formulation additive permet de convertir des transformateurs pré-entraînés existants en Résidus d'Attention Delta via un fine-tuning standard, surmontant le problème de la "vallée du paysage de perte" où les modèles échouent à utiliser les poids inter-couches lors du fine-tuning.

Résultats Expérimentaux

Les auteurs ont évalué la méthode sur des modèles de l'architecture Qwen3 entraînés à partir de zéro sur FineWeb-Edu et affinés sur des tâches en aval.

Entraînement à partir de zéro :
- Performance : Les méthodes Delta ont systématiquement surpassé les bases. À l'échelle 1044M, Delta AttnRes a atteint une perplexité de validation de 29,13 (contre 29,70 pour la base, soit une amélioration de -1,9 %). À l'échelle 7,6B, Delta Block a atteint 16,00 PPL (contre 17,43 pour la base, soit une amélioration de -8,2 %).
- Échec des Alternatives : Les Résidus d'Attention standard (AttnRes) se sont dégradés significativement à plus grande échelle (par exemple, +6,9 % de moins bien que la base à 1044M) en raison de la perte d'information cumulative provenant du routage par remplacement et des réinitialisations périodiques.
- Efficacité : Bien que Delta AttnRes par sous-couche offre la meilleure perplexité, il engendre une surcharge mémoire élevée. Delta Block (regroupement au niveau du bloc) offre une valeur par défaut pratique, égalant la qualité de Delta AttnRes avec des coûts mémoire et de débit nettement inférieurs (par exemple, 26 % de surcharge mémoire contre 3,5x pour Delta AttnRes complet à 1044M).
Fine-Tuning :
- Lors du fine-tuning d'un modèle pré-entraîné Qwen3-0,6B, Delta Block a atteint 55,6 % de précision moyenne sur 8 benchmarks en aval, surpassant la base standard (55,0 %) et AttnRes (54,1 %).
- Crucialement, Delta Block a évité le pic de perte important observé dans AttnRes à l'initialisation, convergeant de manière fluide grâce à ses propriétés d'initialisation sûre.
Analyse du Routage :
- Les visualisations confirment que Delta Block maintient un routage net (poids maximal $\sim 0,6$ –$1,0$) tout au long de la profondeur, tandis qu'AttnRes s'effondre à $\sim 0,2$ dans les couches profondes.
- Les couches profondes des modèles Delta concentrent sélectivement les poids sur des sorties spécifiques précoces (y compris les embeddings de tokens), alors qu'AttnRes distribue l'attention de manière diffuse.

Importance et Revendications

L'article revendique que les Résidus d'Attention Delta résolvent le problème fondamental de la redondance des sources dans le routage inter-couches. En effectuant le routage sur "ce qui a changé" (deltas) plutôt que sur "ce qui s'est accumulé" (états cumulatifs), la méthode permet un routage sélectif et à fort contraste qui s'adapte efficacement aux réseaux profonds.

Les auteurs soulignent que cette approche est orthogonale aux autres améliorations architecturales. Sa signification principale réside dans :

Évolutivité : Elle permet des connexions inter-couches plus profondes et plus efficaces sans la dégradation observée dans les méthodes résiduelles basées sur l'attention précédentes.
Praticité : La formulation additive et l'initialisation sûre permettent l'intégration transparente du routage inter-couches dans des checkpoints pré-entraînés existants via fine-tuning, une capacité précédemment entravée par l'instabilité de l'initialisation.
Efficacité : La variante Delta Block fournit une solution haute performance et à faible surcharge adaptée à l'entraînement à grande échelle, équilibrant l'expressivité du routage avec les contraintes computationnelles.