技術的サマリー：トランスフォーマーはどれだけ異なる出力を生成できるか？

問題定義

自然言語処理やコンピュータビジョンにおけるトランスフォーマーの経験的成功にもかかわらず、これらのモデルは、入力長が一定の閾値を超えると、コピーやシーケンスの繰り返しといった単純なアルゴリズム的タスクにおいて根本的な失敗を示す。先行研究はこれらの失敗を訓練データや最適化の問題に帰属させてきたが、本論文はそれらがアーキテクチャ固有の制約に由来すると主張する。具体的には、著者らは出力シーケンスの「到達可能性」を調査する。すなわち、任意の可能なプロンプト（最適化されたソフトプロンプトを含む）と任意のコンテキスト長を前提としたときに、トランスフォーマーが生成しうるすべてのトークンシーケンスの集合である。核心的な問いは以下の通りである：トランスフォーマーは実際にいくつの異なるシーケンスを出力でき、この能力はプロンプト長とモデルアーキテクチャの如何によってどのようにスケーリングするか？

手法

著者らは、トランスフォーマーアーキテクチャ内の有限数値精度と内部表現の有界性によって課される幾何学的制約を分析することにより、この問題にアプローチする。

1. 平均場定式化: 任意のプロンプト長を扱うため、著者らはトランスフォーマーを有限シーケンス間の写像ではなく、確率測度間の写像（平均場拡張）として解釈する。これはアテンション層の置換共変性を利用するものである。
2. 埋め込み空間の分割: 埋め込み空間は、デコーダーの出力射影に基づいて、最も確からしい次のトークン（またはトークン列）に対応する領域（$E_t$）に分割される。
3. パッキング数分析: 著者らは、空間内に収容しうる所与の半径を持つ互いに素なボールの最大数である「パッキング数」の概念を用いて、トランスフォーマーが識別しうる異なる入力数を定量化する。
   • 有限精度仮定: 彼らはトランスフォーマーが有限精度 $\epsilon$ を持つと仮定し、$\epsilon$ より近い入力は区別できないとみなす（軸平行な立方体またはボールとしてモデル化）。
   • 有界サポート: 彼らは埋め込みサポートが有界領域（例えば半径 $r$ のボール）内に含まれると仮定する。
4. 理論的導出: 入力空間のパッキング数を埋め込みサポートの体積に対して評価することで、到達可能なシーケンス数の上界を導出する。
5. 経験的検証: 理論的予測は、「Cramming」タスク（Kuratov et al., 2025）を用いて検証される。これは、最適化されたソフトプロンプトを条件として固定されたトランスフォーマーに特定のターゲットシーケンスを生成させるものである。また、長さ依存性の一般化失敗を観測するために「コピータスク」も評価される。

主要な貢献

1. シーケンスの有限到達可能性

本論文は、プロンプト長や推論戦略に関わらず、トランスフォーマーが出力しうる異なるシーケンスは有限集合のみであることを証明する。

• 定理 4.5: 精度 $\epsilon$、埋め込み半径 $r$、プロンプト長 $m$ を持つトランスフォーマーにおいて、到達可能な異なるシーケンスの数は $(1 + 2r/\epsilon)^{dm}$ によって上から抑えられる。
• 含意: ほとんどのシーケンスは本質的に到達不可能であり、いかなるプロンプトの選択もモデルにそれらを生成させることはできない。

2. 線形スケーリングと指数関数的減衰

著者らは、プロンプト長と到達可能なシーケンスの最大長との間の厳密な関係を確立する。

• 線形成長: 到達可能なシーケンスの最大長 $n$ は、プロンプト長 $m$ に比例して線形に成長する（$n \propto m$）。
• 指数関数的減衰: 臨界閾値 $N$ を超えると、長さ $n$ の到達可能なシーケンスの割合は $n$ に対して指数関数的に減衰する。
• 理論的閾値: 彼らはこの閾値の明示的な式を導出する：$n^* \approx C \cdot m$。ここで $C$ は埋め込み次元 $d$、語彙サイズ $|V|$、精度 $\epsilon$、サポート半径 $r$ に依存する。

3. 経験的失敗の説明

この分析は、実務において観測される「急激な失敗」（例えば、長さ $L$ まで完璧にコピーするが、それ以降は完全に失敗する）に対する理論的説明を提供する。本論文は、これは漸進的な劣化ではなく、臨界閾値を超えた到達可能なシーケンスの指数関数的減衰の結果であると論じる。

4. 幾何学による精緻化された境界

著者らは、一様な球状の埋め込みサポートという仮定を緩和することで、理論的上界を精緻化する。彼らは以下を提案する。

• 異方性サポート: 埋め込みの実際の分布をよりよく捉えるために、サポートを円錐または楕円体としてモデル化する。
• 非一様なセル体積: 一般的なトークンが稀なトークンよりも埋め込み空間のより大きな領域を占めるという事実を考慮する。
  これらの精緻化により、理論的上界と経験的観測の間のギャップは、約 10 倍から約 5〜6 倍に縮小される。

結果

理論的予測

• 系 4.6: 固定されたプロンプト予算 $m$ に対して、到達可能性は長さ $n^*(m)$ まで高く保たれ、その後指数関数的に低下する。この線形関係の傾きは $C \leq \frac{d \ln(1 + 2r/\epsilon)}{\ln(|V|)}$ によって上から抑えられる。
• 系 4.10: 無制限のコンテキストと計算を有する場合でも、ほぼすべてのシーケンスが到達不可能となる閾値 $N$ が存在する。

経験的検証

• Cramming タスク: 複数のモデル（Pythia, Qwen-2.5, Llama-3.2, Gemma-3）における実験は、到達可能性が 50% に低下する長さ $n_{50}$ が、学習可能なメモリベクトルの数 $m$ に比例して線形にスケーリングすることを示す（$R^2 > 0.99$）。
• 傾きの比較: 経験的に観測された傾きは、理論的上界よりも一貫して低く、モデルおよび使用された幾何学的仮定に応じて、理論と実験の比率は 4.5 から 20.4 の範囲にある。
• コピータスク: 長さ 50 までのシーケンスのコピーに訓練されたモデルは、より長いシーケンスでテストされた際、急激に失敗し、プロンプト長に依存しない鋭い到達可能性閾値の存在を確認する。
• セル体積分布: 分析により、デコーダーのセル体積は高度に偏っていることが明らかになった。頻出トークン（例えば、空白、句読点）の小さな集合が、埋め込み空間の不均衡な割合を占有しており、これは一様仮定と比較して到達可能性の境界を厳しくする。

意義と主張

本論文は、シーケンス生成タスクにおけるトランスフォーマーの内在的制限に対する最初の厳密な理論的説明を提供すると主張する。その意義は以下の点にある。

1. アーキテクチャ的限界: 長いシーケンスのコピーができないことは、単なる訓練の産物ではなく、アーキテクチャの有限精度と有界表現という根本的な性質であることを示す。
2. 予測力: 埋め込み空間の幾何学（次元、語彙サイズ、精度、サポート形状）のみに基づいて、トランスフォーマーのパフォーマンス限界を予測する式を提供し、全パラメータセットを検査する必要がない。
3. 一般化性: この結果は、トランスフォーマーを超えて、有界な内部表現と有限精度を持つ任意のアーキテクチャ（Mamba などの状態空間モデルなど）に拡張される（ただし、発散する隠れ状態は課題となる）。

著者らは、埋め込み空間はモデルのパラメータのごく一部しか表現していないにもかかわらず、モデルの根本的な能力と制限に関する有意義な情報を担っていると結論づける。