🤖 machine learning

A Structural Theory of Position Bias in Transformers

本論文は、因果的トランスフォーマーにおける「中間の消失」現象が、因果的マスクと残差接続の相互作用に起因し、体系的な位置バイアスを説明するU字型の影響プロファイルを誘発することを示す構造的理論を提案する。

原著者： Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

公開日 2026-05-28

📖 1 分で読めます☕ さくっと読める

原著者： Hanna Herasimchyk, Robin Labryga, Tomislav Prusina, Sören Laue

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「トランスフォーマーにおける位置バイアスの構造理論」という論文の説明を、創造的なアナロジーを用いて平易な言葉で翻訳したものです。

全体像：なぜトランスフォーマーは「真ん中を忘れ」るのか

長い物語を友人に読み聞かせていると、奇妙なパターンに気づくかもしれません。友人は最初の一文を完璧に覚え、最後の一文も完璧に覚えているのに、物語の真ん中の部分は完全に忘れてしまいます。

これは現代の AI モデル（トランスフォーマー）でまさに起こっていることです。彼らは「真ん中を忘れ（Lost-in-the-Middle）」と呼ばれる現象に悩まされています。テキストの最初（プライマシーバイアス）と最後（レシエンシーバイアス）については優れているものの、中央の情報を無視してしまいます。

長らく科学者たちは、AI が中央の単語の意味を「理解」していないことが原因だと考えていました。しかし、この論文は異なる主張をしています。問題は AI の「脳」ではなく、AI の「骨格」にあるというのです。このバイアスは、建物の設計図に欠陥があるように、モデルのアーキテクチャそのものに組み込まれています。

核心的なアイデア：「残差」のエレベーター

なぜこれが起こるのかを理解するには、情報が AI の層をどう移動するかを見る必要があります。トランスフォーマーを 30 階から 70 階あるビルだと想像してください。各階はテキストを処理する「層」です。

1. 古い理論（「アテンションのみ」のエレベーター）

以前の研究では、「アテンション」（AI が過去の単語を振り返るメカニズム）のみが存在する場合、情報は丘を転がるボールのように振る舞うとされていました。ゲームのルール（因果的マスク、つまり過去だけを振り返れること）のため、ボールは必然的に一番下の階まで転がり落ち、最初の単語に張り付いてしまいます。

これが真実なら、AI は最初の単語しか気にせず、他のすべてを忘れるはずです。しかし実際には、現代の AI はそうはしていません。彼らは最後の単語も覚えています。つまり、古い理論にはパズルの欠片が一つ足りていませんでした。

2. 欠けていたピース：「残差」のエレベーター

著者たちは、実際のトランスフォーマーには残差接続（residual connections）があることに気づきました。ビルの各階の間には、処理室をスキップして情報を次の階へ直接運ぶ高速エレベーター（残差接続）があると想像してください。

アテンション経路: AI が過去の単語を振り返る「遅い」経路。
残差経路: 現在の単語が変化せずにそのまま前に進む「速い」経路。

この論文は、これら 2 つの経路の相互作用がバイアスを生み出すことを証明しています。

バイアスを形作る 4 つの力

著者たちは、モデル内部で情報を移動させ、U 字型の曲線（始めと終わりで高く、真ん中で低い）を作り出す 4 つの「建築的な力」を特定しました。

因果的マスク（「一方通行の道」）
- アナロジー: 人々が列になってメモを渡している様子を想像してください。あなたは後ろの人にしかメモを渡せず、前の人には渡せません。
- 効果: これによりプライマシーバイアス（先頭バイアス）が生まれます。最初の単語だけが全員に見えているため、「アテンション」経路は自然とテキストの始まりへと傾きます。
残差接続（「アイデンティティ・ストリーム」）
- アナロジー: メモを持っている人が、ポケットにメモのコピーを持っており、それを読みもせず終点まで持ち運んでいると想像してください。
- 効果: これによりレシエンシーバイアス（末尾バイアス）が生まれます。「ポケット」（残差接続）を通じて現在の単語からの情報が終点へ直進するため、モデルは最も最近の単語を非常に良く覚えます。
位置エンコーディング（「席番号」）
- アナロジー: AI に「あなたは 50 番の席に座っている」と伝えられます。一部の席番号（ALiBi など）は、AI が後ろの席（最近の単語）にいる人により注意を払うように設計されています。
- 効果: これによりレシエンシーバイアスが強化され、焦点がテキストの終わりにさらに押しやられます。
コンテンツの寄与（「話題の転換」）
- アナロジー: 時には単語自体が重要になることもあります。非常に重要な単語があれば、注意を引くかもしれません。
- 効果: 著者たちは、コンテンツは通常、 gentle な「軽い押し」のように作用することを見つけました。焦点をわずかにずらすことはあっても、アーキテクチャが作り出す根本的な U 字型は変えません。

結果：「U 字型」の影響

これらの力を組み合わせると、特定のパターンが生まれます。

始め: 「一方通行の道」（因果的マスク）により、高い影響力を持ちます。
終わり: 「ポケット」（残差接続）と席番号により、高い影響力を持ちます。
真ん中: 低い影響力です。「一方通行の道」が焦点を真ん中から遠ざけ、「ポケット」は真ん中の単語をまだ拾い上げていないからです（あまりに遠くにあるため）。

「真ん中を忘れ」現象とは、単にこの U 字型の真ん中に空いたスペースに過ぎません。これはトレーニングのバグではなく、建物の構造的な特徴なのです。

ビルが無限の高さになったらどうなるか？

この論文は、ビルが無限の階数（無限の深さ）を持つ場合についても検討しました。

エレベーター（残差）古い理論では、情報は完全に最初の単語に崩壊するとされていました。AI は他のすべてを忘れるでしょう。
エレベーター（残差）著者たちは、「エレベーター」（残差接続）が十分に強ければ、情報が崩壊しないことを証明しました。モデルは無限に深いモデルであっても、テキストの終わりで情報を生き続けさせることができます。

証明：理論は現実と一致するか？

著者たちは数学だけでなく、BLOOM や Falcon などの実際の事前学習済み AI モデルでテストを行いました。

各単語が最終的な答えにどの程度の影響力を持つかを測定しました。
単語の意味を無視し、アーキテクチャのみに基づいた単純な数学モデルを構築しました。
結果: その単純なアーキテクチャモデルは、実際の複雑な AI が示した U 字型の曲線と全く同じものを予測しました。

これは、バイアスが構造的であることを確認します。テキストの意味を理解する必要はなく、このバイアスはコードに焼き付けられています。

まとめ

問題: AI モデルは長いテキストの真ん中を無視する。
原因: 彼らが「愚か」だったり未熟だったりするからではなく、彼らがどのように作られているかによる。「振り返る（アテンション）」と「前に運ぶ（残差）」の組み合わせが、自然と U 字型の焦点を作り出す。
教訓: 「真ん中を忘れ」を修正するには、モデルをより良くトレーニングするだけでは不十分だ。おそらく、U 字型をバランスさせるために、アーキテクチャそのもの（設計図）を変更する必要がある。

技術的概要：トランスフォーマーにおける位置バイアスの構造理論

問題定義

トランスフォーマーモデルは、初期トークンへの好みを示すプライマシーバイアス、最近のトークンへの好みを示すリセンシーバイアス、そして長いコンテキストの中央部の情報が未活用となる「Lost-in-the-Middle（LiM）」現象を含む、体系的な位置バイアスを示す。これらのバイアスが意味論的ではなくアーキテクチャ的なものであることを示唆する実証的証拠が存在するが、その理論的起源は未だ十分に理解されていない。

既存の理論的分析と実用的なトランスフォーマーの挙動の間には、重要なギャップが存在する。Wu ら [2025] の最近の研究は、attention-only（注意のみの）因果的トランスフォーマーにおいて、深さが増すにつれて累積的な注意が最初のトークンに崩壊しなければならないことを示した。しかし、この予測は、そのような崩壊を示さない現代の深層トランスフォーマーにおける実証的観察と矛盾する。本論文は、この不一致の原因を、実際のアーキテクチャにおける中心的な役割を果たしているにもかかわらず、以前の理論的枠組みから残差接続が省略されていたことにあると帰着させる。

手法

著者らは、残差を考慮した累積的注意ロールアウトに基づいた位置バイアスの構造理論を開発した。この枠組みは、訓練目的、データ、または最適化ダイナミクスに依存せず、層を超えた情報伝播を分析する。

中核的枠組み

残差を考慮した遷移: 残差を固定された凸結合（例： $0.5I + 0.5A$ ）として扱う以前のモデルとは異なり、著者らは残差接続を連続時間ダイナミクスの離散化としてモデル化する。彼らは、注意更新と恒等パスの相対的な強さを表す層および入力依存の混合係数 $\lambda_t(x)$ を定義する：
$\lambda_t(x) := \frac{\| \text{Attn}(X^{(t-1)}) \|}{\| X^{(t-1)} \| + \| \text{Attn}(X^{(t-1)}) \|}$
遷移行列は $R^{(t)} = (1 - \lambda_t)I + \lambda_t A^{(t)}$ として定義され、ここで $A^{(t)}$ はデータセット平均化された注意カーネルである。
累積的ロールアウト: 深さ $T$ までの情報伝播は、ロールアウト行列 $P^{(T)} = R^{(T)} \cdots R^{(1)}$ によって捉えられる。最後の行の分布 $p^{(T)}(j)$ は、最終出力に対する入力トークン $j$ の累積的影響を定量化する。
4 つのアーキテクチャ的力: 有限深さの分析は、「確率的単調な注意カーネル」という仮定の下でロールアウト分布を形成する 4 つの力を分離する：
- 因果的マスキング: プライマシードリフト（質量がより早い位置へシフトする）を誘発する。
- 残差接続: 恒等パスを保持することにより、リセンシードリフト（質量がより最近の位置へシフトする）を誘発する。
- 位置符号化: 最近のキーを好むバイアス（例：ALiBi）は累積してリセンシードリフトを誘発する。
- コンテンツの寄与: 定数の背景と対角成分の自己注意項としてモデル化され、これらはドリフトを調節する（正の対角成分はリセンシーを増加させ、負のものはプライマシーを増加させる）。
無限深さの分析: 著者らは分析を無限深さの極限に拡張し、混合係数の総和 $\sum \lambda_t$ に基づく二項対立を確立する。

主要な貢献

1. 残差を考慮した注意ロールアウト

本論文は、残差接続を永続的な恒等パスとして明示的にモデル化する定式化を導入する。これにより、伝播モデルは「注意のみ」という制限的な仮定を超え、現代のトランスフォーマーアーキテクチャと整合するようになる。

2. 位置バイアスの構造的原点

著者らは、トランスフォーマーアーキテクチャ単独が広範で、しばしばU 字型の影響プロファイルを誘発することを証明する。因果的マスキング（プライマシー）と残差接続（リセンシー）の相互作用は、初期トークンと最近のトークンの両方が中間位置に比べて elevated な影響を受けるような構造的な事前分布（structural prior）を生み出す。これは、意味的コンテンツが存在しない場合でも Lost-in-the-Middle 現象に対する理論的説明を提供する。

3. 注意の崩壊の不一致の解決

本論文は、Wu ら [2025] と実証的現実との間の不一致を解決する。それは、因果的マスキングのみのもとでは注意の崩壊が避けられないわけではないことを示す。むしろ、崩壊は累積的な注意混合強度（ $\sum \lambda_t$ ）に依存する：

有限の総混合（ $\sum \lambda_t < \infty$ ）: 注意は最初のトークンに崩壊しない。ロールアウト行列の対角成分は厳密に正のまま残る。
無限の総混合（ $\sum \lambda_t = \infty$ ）: 崩壊が発生し、注意質量は最初のトークンに集中する。

4. 実証的検証

この理論は、事前学習済み言語モデル（BLOOM、MPT、Falcon）における測定された入力トークンの影響に対して検証される。

制御されたロールアウト: シミュレーションは、「注意のみ」のロールアウトが最初のトークンに崩壊するのに対し、「残差を考慮した」ロールアウトは観測された U 字型プロファイルを生成することを示す。
定量的一致: 残差を考慮したモデルからの予測された影響プロファイルは、勾配ベースの帰属によって測定された経験的推定分布と密接に一致し、注意のみのモデルと比較して有意に低いワッサーシュタイン距離を示す。

結果

有限深さ: 因果的マスキングと残差接続の組み合わせは、U 字型の影響プロファイルを生成する。このプロファイルは、異なるモデルやデータセットに対して頑健である。
無限深さ: 理論的分析は、残差接続が深層注意ダイナミクスを根本的に変えることを証明する。崩壊は、単に因果的マスキングが存在するかどうかではなく、混合強度の蓄積に条件付けられる。
実証的整合性:
- bloom-176b や mpt-7b などのモデルにおいて、理論的ロールアウト（コンテンツなし）は、測定された影響の支配的な U 字型構造を再現する。
- 粗いコンテンツ抽象化（定数＋対角成分）を追加することで、さらに適合性が向上し、質量を最近の位置へシフトさせ、実証データと密接に整合する。
- 「注意のみ」の変種は実証プロファイルを再現できず、残差をモデル化する必要性を確認する。

意義と主張

本論文は、位置バイアスを理解するためのアーキテクチャ忠実な枠組みを提供すると主張する。その主な意義は以下の点にある：

理論と実践の架橋: Wu ら [2025] が指摘した未解決の問題を解決し、残差接続が注意のみの理論によって予測される避けられない崩壊を防ぐことを示す。
Lost-in-the-Middle の説明: U 字型の影響プロファイル（したがって LiM 効果）は、意味論的または訓練ダイナミクスだけでなく、トランスフォーマーアーキテクチャに固有の構造的な事前分布から生じることを確立する。
予測力: この理論は、特定の訓練データやトークンの意味論へのアクセスを必要とせず、アーキテクチャパラメータ（マスキング、残差、位置符号化のバイアス）と測定された混合係数のみを使用して、事前学習済みモデルにおける影響分布の形状を正確に予測する。

著者らは、その作業範囲を控えめに定義し、エンドツーエンドの表現学習ではなく、情報伝播におけるアーキテクチャ的事前分布を記述するものとしている。彼らは、U 字型の事前分布が Lost-in-the-Middle におけるタスク性能の現象の背後にある可能性が高いと指摘しつつも、特定の検索スタイルのタスクの劣化に関するループを閉じることは今後の課題に残されると述べている。