💬 NLP

Dual Attention Residuals

本論文は、相反するストリームから履歴情報を動的に選択するための相互的なクロスストリーム相互作用を可能にすることで、様々なモデルスケールにおいて検証損失を改善し、深さ方向の多様性を維持することにより、Transformerモデルを強化する新しいアーキテクチャであるDual Attention Residuals (DAR) を提案している。

原著者： Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

公開日 2026-07-22

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに物語の書き方を教えようとしている場面を想像してみてください。あなたは単に一文ずつ入力するのではなく、そのロボットが持っている過去の思考のライブラリ全体を与えます。そうすることで、5分前や5時間前に自分が何を言ったかを記憶できるようにするのです。人工知能の世界では、これらの「思考」は**残差接続（residual connections）と呼ばれます。これらは、情報が脳のような層の深い積み重ねの中を通り抜けていくスーパーハイウェイのようなものです。通常、ロボットは新しいアイデアを古いものに一つの直線的なラインとして付け加えていきます。しかし最近、科学者たちはこのハイウェイが少し硬直的すぎることに気づきました。彼らは、ロボットが特定の過去の瞬間を振り返って、完璧な情報の断片を見つけ出せるようにする履歴検索（historical retrieval）システムを構築し始めました。また、ハイウェイを2つの並行したレーンに分割し、ロボットが同時に2つの異なることを考えられるようにするマルチストリーム（multi-stream）**システムも構築し始めました。ここで大きな疑問が生じます。もしロボットに両方のアイデアを同時に使わせたらどうなるでしょうか？ 2つのレーンは互いに話し合い、どの過去の瞬間が最も重要かを判断できるのでしょうか？

これこそが、TeleAIの研究者たちが新しい論文「Dual Attention Residuals (DAR)」で探求した内容です。彼らは、単に2つのレーンがあるだけでは不十分であり、それらのレーンには「社交性」が必要であることを発見しました。新しいシステムであるDARにおいて、ロボットは自分の過去を見て何を覚えるべきかを決めるのではありません。代わりに、自分の「双子」であるレーンに助言を求めます。もしレーンAが何かを思い出そうとしているなら、どの過去の部分を掘り起こす価値があるかを判断するために、レーンBの現在の「気分」を伺うのです。これは、2人の友人がテスト勉強をしているようなものです。自分のノートをただパラパラとめくるのではなく、友人に「ねえ、教科書のどの部分が今一番重要だと思う？」と尋せ、それから自分の本でその特定のページを探しに行くのです。

この論文は、この「相互作用（クロス・トーク）」がAIを著しく賢くすることを示しています。彼らが**0.1B（1億）から7B（70億）**のパラメータを持つモデルの範囲でDARをテストしたところ、標準的な手法よりも一貫してミスが少なくなりました。研究者たちは、2つのレーンが単に同じ情報を繰り返しているのではなく、「分業」を発展させていることを見出しました。一方のレーンが文章の始まりを覚えることに集中し、もう一方が中盤に集中するというように、互いに適切な詳細を検索し合っているのです。

決定的なのは、チームがこれが単なるトリックではないことを確認した点です。彼らは、改善が単に「より多くのデータ」を持っていたり、ノートに派手な新しいフィルターを追加したりしたことによるものではないことを証明するために実験を行いました。もし2つのレーンが互いに会話をしなかった場合（彼らが「SelfKV」と呼んだ構成）、システムはアンバランスになり、一方のレーンがすべての作業を行い、もう一方がアイドル状態になってしまうことを示しました。しかし、DARの相互的なチャット機能によって、両方のレーンが活動的で有用な状態を維持できました。その結果、AIが過去を記憶するための、より効率的で多様性に富み、かつ正確な方法が生まれました。これは、前進するための最善の方法が、時にはパートナーに「どこを見るべきか」を尋ねることであるということを証明しています。

技術要約: Dual Attention Residuals (DAR)

問題提起

Transformerアーキテクチャにおける最近の進展は、残差経路を「履歴の検索（historical retrieval）」と「マルチストリーム残差（multi-stream residuals）」という2つの補完的な軸に沿って拡張してきました。

履歴の検索 (Historical Retrieval): Transparent Attention、DenseFormer、および Attention Residuals (AttnRes) などの手法は、後の層がより深い層の表現にアクセスすることを可能にします。標準的なシングルストリームの検索では、深さの重みを決定する表現（「アドレス」）と、検索されるコンテンツ（「値」）が同じ残差軌跡に由来します。これは、「アドレスとコンテンツの結合（address-content coupling）」を生み出し、選択メカニズムが単一ストリームの状態によって制約されることを意味します。
マルチストリーム残差 (Multi-Stream Residuals): Hyper-Connections や mHC は、情報を輸送し混合するために、複数の学習された軌跡（ストリーム）へと経路を拡張します。

これらの手法は個別に研究されてきましたが、単純な組み合わせ、すなわち各ストリームに独立した履歴検索機能を備えさせるだけでは、ストリーム間の相互作用を活用できません。このような設定では、各軌跡が他方の影響を受けることなく独自の深さ選択を行うため、一方のストリームの補完的な信号が他方の検索をガイドすることができなくなります。核心となる問題は、これら2つの自由度（深さの選択と軌跡の維持）が、表現の多様性と検索効率を向上させるために生産的に相互作用できるか否かです。

手法: Dual Attention Residuals (DAR)

著者らは、**相互クロスストリーム・アドレッシング（reciprocal cross-stream addressing）**を通じて、マルチストリームの相互作用を深さ方向の履歴検索に統合するメカニズムである Dual Attention Residuals (DAR) を提案しています。

コアメカニズム

DARは、各Transformerブランチの内部計算（アテンションまたはフィードフォワード）を変更することなく、その周囲の残差経路を修正します。2つのストリーム ( $j \in \{0, 1\}$ ) を持つシステムの場合：

相互キー・バリュー・ルーティング (Reciprocal Key-Value Routing): ターゲットとなるストリーム $j$ $j$ に対して、深さの重みは反対のストリーム ( $1-j$ $1 - j$ ) から派生したキー (keys) を用いて計算されますが、値 (values) はターゲット・ストリーム自身の履歴 ( $j$ $j$ ) から検索されます。
- $k^j_r = \text{Norm}(H^{1-j}_r)$ （反対のストリームからのキー）
- $v^j_r = H^j_r$ （自己ストリームからの値）
- これにより、ターゲット・ストリーム自身の表現がクエリと強く一致しない場合でも、反対のストリームが補完的な信号を提供して深さの選択を行うことが可能になります。
状態の混合とゲート付き書き込み (State Mixing and Gated Writes): 両方のストリームから検索された状態は、変更されないTransformerブランチへの入力として混合されます。その後、ブランチの出力は、ゲート付き書き込み (gated writes) と制約付き混合 (constrained mixing) を通じて両方の残差軌跡を更新するために使用されます。
- ゲーティング機構 ( $\alpha$ ) が検索された状態を混合します。
- 輸送メカニズム ( $\rho$ ) と書き込みゲート ( $\beta$ ) が部分ブロック状態を更新し、ブロック内における既存の部分状態の安定した輸送を保証します。

バリアント

Full DAR: すべてのTransformerレイヤーが検索可能な履歴への完了したエントリに寄与する、レイヤー粒度 ( $K=1$ ) で動作します。
Block DAR: レイヤーをサイズ $K$ のブロックに分割します。完了したブロックの履歴から検索を行い、オプションとして現在の部分ブロック状態を候補として含めます。これにより、より粗い深さの粒度で動作することでオーバーヘッドを削減します。

設計比較

論文では、クロスストリームの相互作用の寄与を分離するために、いくつかのルーティングのバリアントを評価しています。

DAR-SelfKV: キーと値の両方が同一のストリームから来ます（ストリームごとの標準的なシングルストリーム検索）。
DAR-CrossV: キーは自己ストリームから、値は反対のストリームから来ます。
DAR-FixedKV: 固定された割り当て（ストリーム0のキー、ストリーム1の値を両方のストリームに使用）。
DAR (提案手法): 相互クロスストリームのキーと自己ストリームの値を採用。

主な貢献

軌跡の相互作用: 本論文は、独立して進化する残差軌跡が、並列の情報経路としてだけでなく、歴史的な深さを選択するための補完的な信号としても機能できることを示しています。
DAR アーキテクチャ: Transformerブランチを変更することなく、相互クロスストリームのキーと自己ストリームの値を介してこの相互作用を実現するメカニズムを提案しました。
実証的検証: 0.1Bから1Bパラメータの密なモデル、および7BのスパースMoEモデルにわたる包括的な実験により、標準的な残差や Attention Residuals に対する一貫した改善を示しました。
冗長性の分析: 表現幾何学（CKA）と介入分析を通じて、DARが深さ方向の多様性を維持し、代替となる2ストリーム設計で見られる機能的不均衡や冗長性を回避していることを示しています。

実験結果

著者らは、標準的な残差接続、Attention Residuals (AttnRes)、および mHC に対して、一致したトレーニング予算の下で DAR を評価しました。

検証損失 (Validation Loss): DAR は一貫して最も低い検証損失を達成しました。
- 1B 密な設定において、DAR-Block は残差ベースラインと AttnRes-Block の両方を上回りました。
- 7B スパース-MoE 設定において、DAR は最も低い損失を達成し、トレーニング曲線はトレーニング中を通じてベースラインを下回りました。
- 0.1B, 0.3B, 0.5B の密なモデル全体で、DAR のバリアントは残差ベースラインに対して 2.03% から 5.12% の検証損失を削減しました。
効率性: DAR は標準的な残差よりも高い計算コストを伴いますが（クロスストリームの検索とゲーティングにより 7B MoE で約 17.5% のスループット低下）、AttnRes と比較しても競争力のある水準にあります。メモリ・オーバーヘッドは主に履歴検索メカニズム自体によって引き起こされますが、クロスストリーム・ルーティングによる追加コストは測定可能な範囲で小さいものです。
アブレーション研究:
- ルーティング: この利得は、追加の値投影 (SepV) や単純なクロスストリームの値集約によるものではありません。特定の相互クロスストリームのキー / 自己ストリームの値というルーティング (DAR) が最良の性能をもたらしました。
- 冗長性: Cross-Stream Linear CKA の分析により、DAR は一致しない深さ間の類似性が低いことを示しており、これは明確な軌跡であることを示唆しています。対照的に、DAR-SelfKV や mHC-2 といったバリアントは、広範な高類似領域を示しており、冗長性を示唆しています。
- 介入: 「レスキュー・ゲイン (Rescue gain)」分析により、DAR ではいずれかのストリームを保持することで、どちらも保持しない場合よりもクリーンな出力を大幅に回復できることが明らかになりました。対照的に、他のバリアント（DAR-SelfKV など）は強い非対称性を示し、一方のストリームが機能的に支配的になり、他方が十分に活用されない傾向がありました。

意義と主張

本論文は、DAR がマルチストリームの柔軟性を深さ方向の検索へと成功裏に持ち込んだと主張しています。一つの軌跡が他方の深さ選択に影響を与えることを可能にすることで、DAR は、シングルストリームの検索器では見逃される可能性のある歴史的コンテキストへのアクセスを可能にします。

著者らは、性能の向上は単にストリームの存在や追加の値投影によるものではなく、具体的には相互クロスストリーム選択メカニズムによるものであることを強調しています。この設計は、深さ方向の多様性を維持し、代替となる2ストリーム設計でよく見られる、一方が他方を支配してしまうという機能的不均衡を回避します。この研究は、履歴の検索とマルチストリームのトポロジーが互いに排他的ではなく、Transformerの表現学習を向上させるために相乗的に組み合わせることができることを示唆しています。