💬 NLP

Dual Attention Residuals

L'article propose les Dual Attention Residuals (DAR), une nouvelle architecture qui améliore les modèles Transformer en permettant une interaction croisée réciproque entre flux pour sélectionner dynamiquement les informations historiques des flux opposés, améliorant ainsi la perte de validation et préservant la diversité de profondeur à travers diverses échelles de modèles.

Auteurs originaux : Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

Publié 2026-07-22

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot comment écrire une histoire. Vous ne lui donnez pas seulement une phrase à la fois ; vous lui donnez toute une bibliothèque de ses propres pensées antérieures pour qu'il puisse se souvenir de ce qu'il a dit il y a cinq minutes, ou il y a cinq heures. Dans le monde de l'intelligence artificielle, ces « pensées » sont appelées connexions résiduelles. Considérez-les comme une autoroute où l'information voyage à travers une pile profonde de couches semblables à des cerveaux. Habituellement, le robot se contente d'ajouter de nouvelles idées aux anciennes sur une seule ligne droite. Mais récemment, les scientifiques ont réalisé que cette autoroute est un peu trop rigide. Ils ont commencé à construire des systèmes de récupération historique, qui permettent au robot de jeter un coup d'œil à des moments passés spécifiques pour trouver la pièce d'information parfaite. Ils ont également commencé à construire des systèmes à flux multiples, qui divisent l'autoroute en deux voies parallèles afin que le robot puisse réfléchir à deux choses différentes en même temps. La grande question était : que se passe-t-il si vous laissez le robot utiliser ces deux idées en même temps ? Les deux voies peuvent-elles communiquer entre elles pour décider quels moments passés sont les plus importants ?

C'est exactement ce que les chercheurs de TeleAI ont exploré dans leur nouvel article, Dual Attention Residuals (DAR). Ils ont découvert que le simple fait d'avoir deux voies ne suffit pas ; les voies doivent être « sociales ». Dans leur nouveau système, DAR, le robot ne se contente pas de regarder son propre passé pour décider de ce qu'il doit retenir. Au lieu de cela, il demande conseil à sa voie « jumelle ». Si la Voie A essaie de se souvenir de quelque chose, elle observe l'humeur actuelle de la Voie B pour décider quelle partie du passé vaut la peine d'être déterrée. C'est comme avoir deux amis qui révisent pour un examen : au lieu de simplement feuilleter vos propres notes, vous demandez à votre ami : « Hé, quelle partie du manuel penses-tu être la plus importante en ce moment ? », puis vous allez chercher cette page spécifique dans votre propre livre.

L'article montre que ce « dialogue croisé » rend l'IA nettement plus intelligente. Lorsqu'ils ont testé DAR sur des modèles allant de petits modèles de 0,1 milliard de paramètres à un modèle massif de 7 milliards de paramètres, il a systématiquement commis moins d'erreurs que les méthodes standards. Les chercheurs ont constaté que les deux voies ne se contentaient pas de répéter la même information ; elles ont développé une « division du travail ». Une voie peut se concentrer sur le souvenir du début d'une phrase, tandis que l'autre se concentre sur le milieu, et elles s'entraident pour récupérer les bons détails.

Crucialement, l'équipe s'est assurée qu'il ne s'agissait pas d'un simple tour de passe-passe. Ils ont mené des expériences pour prouver que l'amélioration ne provenait pas simplement du fait d'avoir plus de données ou d'ajouter un nouveau filtre sophistiqué aux notes. Ils ont montré que si les deux voies ne se parlaient pas (une configuration qu'ils ont appelée « SelfKV »), le système devenait déséquilibré, avec une voie faisant tout le travail et l'autre restant inactive. Mais avec la discussion réciproque de DAR, les deux voies restaient actives et utiles. Le résultat est une façon plus efficace, diversifiée et précise pour l'IA de se souvenir de son passé, prouvant que parfois, la meilleure façon d'avancer est de demander à son partenaire où regarder en arrière.

Résumé technique : Dual Attention Residuals (DAR)

Énoncé du problème

Les avancées récentes dans les architectures Transformer ont étendu les voies résiduelles selon deux axes complémentaires : la récupération historique et les résidus multi-flux.

Récupération historique : Des méthodes telles que Transparent Attention, DenseFormer et Attention Residuals (AttnRes) permettent aux couches ultérieures d'accéder aux représentations des profondeurs antérieures. Dans une récupération à flux unique standard, la représentation déterminant les poids de profondeur (l'« adresse ») et le contenu récupéré (la « valeur ») proviennent de la même trajectoire résiduelle. Cela crée un « couplage adresse-contenu » où le mécanisme de sélection est contraint par l'état du flux unique.
Résidus multi-flux : Des méthodes comme Hyper-Connections et mHC étendent la voie en plusieurs trajectoires apprises (flux) pour transporter et mélanger l'information.

Bien que ces approches aient été étudiées isolément, une combinaison directe — équiper chaque flux d'un récupérateur historique indépendant — ne parvient pas à exploiter l'interaction entre les flux. Dans une telle configuration, chaque trajectoire détermine sa propre sélection de profondeur sans influence de l'autre, empêissant les signaux complémentaires d'un flux de guider la récupération de l'autre. Le problème central abordé est de savoir si ces deux degrés de liberté (sélection de profondeur et maintien de la trajectoire) peuvent interagir de manière productive pour améliorer la diversité des représentations et l'efficacité de la récupération.

Méthodologie : Dual Attention Residuals (DAR)

Les auteurs proposent les Dual Attention Residuals (DAR), un mécanisme qui intègre l'interaction multi-flux dans la récupération historique par profondeur via une adressage croisé réciproque entre flux.

Mécanisme central

DAR modifie la voie résiduelle autour de chaque branche Transformer sans altérer le calcul interne de la branche (attention ou feed-forward). Pour un système à deux flux ( $j \in \{0, 1\}$ ) :

Routage de clés-valeurs réciproque : Pour un flux cible $j$ $j$ , les poids de profondeur sont calculés à l'aide de clés dérivées du flux opposé ( $1-j$ $1 - j$ ), tandis que les valeurs sont récupérées de l'histoire du propre flux cible ( $j$ $j$ ).
- $k^j_r = \text{Norm}(H^{1-j}_r)$ (Clé provenant du flux opposé)
- $v^j_r = H^j_r$ (Valeur provenant du flux propre)
- Cela permet au flux opposé de fournir un signal complémentaire pour la sélection des profondeurs historiques, même si la propre représentation du flux cible ne correspondrait pas fortement à la requête.
Mélange d'état et écritures cadencées : Les états récupérés des deux flux sont mélangés pour former l'entrée de la branche Transformer inchangée. La sortie de la branche est ensuite utilisée pour mettre à jour les deux trajectoires résiduelles via des écritures cadencées (gated writes) et un mélange contraint.
- Un mécanisme de porte ( $\alpha$ ) mélange les états récupérés.
- Un mécanisme de transport ( $\rho$ ) et une porte d'écriture ( $\beta$ ) mettent à jour l'état partiel du bloc, assurant un transport stable des états partiels existants au sein d'un bloc.

Variantes

Full DAR : Opère à la granularité de la couche ( $K=1$ ), où chaque couche Transformer contribue à une entrée complétée à l'historique récupérable.
Block DAR : Partitionne les couches en blocs de taille $K$ . Il récupère à partir des historiques de blocs complétés et inclut optionnellement l'état partiel du bloc actuel comme candidat. Cela réduit la surcharge en opérant sur des granularités de profondeur plus grossières.

Comparaisons de conception

L'article évalue plusieurs variantes de routage pour isoler la contribution de l'interaction croisée entre flux :

DAR-SelfKV : Les clés et les valeurs proviennent toutes deux du même flux (récupération standard à flux unique par flux).
DAR-CrossV : Clés provenant du flux propre, valeurs provenant du flux opposé.
DAR-FixedKV : Assignation fixe (Flux 0 pour les clés, Flux 1 pour les valeurs pour les deux).
DAR (Proposé) : Clés croisées réciproques entre flux avec valeurs du flux propre.

Contributions clés

Interaction des trajectoires : L'article démontre que les trajectoires résiduelles évoluant indépendamment peuvent servir non seulement de voies d'information parallèles, mais aussi de signaux complémentaires pour la sélection des profondeurs historiques.
Architecture DAR : La proposition d'un mécanisme qui réalise cette interaction via des clés croisées réciproques et des valeurs de flux propre, tout en laissant les branches Transformer inchangées.
Validation empirique : Expérimentations complètes sur des modèles denses (0,1B à 1B de paramètres) et un modèle sparse-MoE de 7B, montrant des améliorations constantes par rapport aux résidus standards et à l'Attention Residuals.
Analyse de la redondance : À travers la géométrie de la représentation (CKA) et l'analyse d'intervention, les auteurs montrent que DAR préserve la diversité par profondeur et évite le déséquilibre fonctionnel ou la redondance observés dans d'autres conceptions à deux flux.

Résultats expérimentaux

Les auteurs ont évalué DAR sous des budgets d'entraînement équivalents par rapport aux connexions résiduelles standards, à l'Attention Residuals (AttnRes) et à mHC.

Perte de validation : DAR a systématiquement obtenu la perte de validation la plus faible.
- Dans le cadre dense de 1B, DAR-Block a surpassé à la fois la ligne de base résiduelle et AttnRes-Block.
- Dans le cadre sparse-MoE de 7B, DAR a obtenu la perte la plus faible, les courbes d'entraînement restant en dessous des lignes de base tout au long de l'entraînement.
- Sur les modèles denses de 0,1B, 0,3B et 0,5B, les variantes DAR ont réduit la perte de validation de 2,03 % à 5,12 % par rapport à la ligne de base résiduelle.
Efficacité : Bien que DAR incurre un coût de calcul plus élevé que les résidus standards (environ 17,5 % de réduction du débit dans le MoE de 7B en raison de la récupération et du cadençage entre flux), il reste compétitif avec AttnRes. La surcharge de mémoire est principalement dictée par le mécanisme de récupération historique, le routage croisé ajoutant un coût mesurable mais plus faible.
Études d'ablation :
- Routage : Le gain n'est pas expliqué par des projections de valeurs supplémentaires (SepV) ou une simple agrégation de valeurs entre flux. Le routage spécifique clé croisée réciproque / valeur du flux propre (DAR) a produit la meilleure performance.
- Redondance : L'analyse du CKA linéaire entre flux a montré que DAR maintient une faible similitude entre les profondeurs non appariées, indiquant des trajectoires distinctes. En revanche, des variantes comme DAR-SelfKV et mHC-2 présentent de larges régions de haute similitude, suggérant une redondance.
- Intervention : L'analyse du « gain de sauvetage » a révélé que dans DAR, la conservation de l'un ou l'autre des flux permet de récupérer la sortie propre de manière nettement plus efficace que la conservation des deux. En revanche, d'autres variantes (comme DAR-SelfKV) présentent une forte asymétrie, où un flux devient fonctionnellement dominant tandis que l'autre est sous-utilisé.

Signification et affirmations

L'article affirme que DAR apporte avec succès la flexibilité multi-flux à la récupération par profondeur. En permettant à une trajectoire d'influencer la sélection de profondeur d'une autre, DAR permet d'accéder à des contextes historiques qui pourraient être manqués par un récupérateur à flux unique.

Les auteurs soulignent que les gains de performance ne sont pas simplement dus à la présence d'un flux supplémentaire ou d'une projection de valeur, mais spécifiquement au mécanisme de sélection croisée réciproque entre flux. Cette conception préserve la diversité par profondeur et évite le déséquilibre fonctionnel où un flux domine l'autre, un problème courant dans les autres conceptions à deux flux. Ce travail suggère que la récupération historique et les topologies multi-flux ne sont pas mutuellement exclusives, mais peuvent être combinées de manière synergique pour améliorer l'apprentissage des représentations Transformer.