技術要約：有界深さ文法による階層的モデリングの表現力解析

問題提起

ディープニューラルネットワーク、特にトランスフォーマーは、層を通じて抽象的かつ構成的な特徴を捉える階層的表現を形成することで、表現力を獲得していることが経験的に観察されている。言語モデルにおいて、初期のトランスフォーマー層は局所的な統語パターンを捉え、後続の層は複雑な節レベルの依存関係を符号化する。このような直感はモデル設計を形作っているものの、ディープトランスフォーマーがいかにしてこのような階層構造を表現しているのかを、厳密に理論的に示す研究は不足している。

既存の理論的解析は、Dyck言語（括弧の対応）や有限オートマトンといった限定的な設定に焦点を当てることが多く、これらは現実世界の文法が持つ複雑な分岐構造を欠いている。さらに、経験的研究（例：Allen-Zhu & Li, 2025; Saglam et al., 2025）は、「線形表現仮説」を支持しており、抽象的な文法状態が残差ストリームにおける線形プローブを通じて回収可能であることを示しているが、これらの研究は、トランスフォーマーのアーキテクチャが、なぜこれらの複雑な構造を低次元で線形分離可能な部分空間へと明示的に符号化できる構造的能力を備えているのかを理論的に説明していない。

本論文は、**有界深さ、非再帰的文脈自由文法（CFG）**という形式的な観点から、ディープトランスフォーマーの表現力を分析することで、このギャップに対処する。目標は、このような文法を予測的にモデリングできるトランスフォーマーの明示的な構成を提供し、階層的な構成性のメカニズムを定式化することである。

手法

著者らは、以下の特性を持つ特定のクラスのCFGを用いて問題を定式化している：

• 固定深さ ($d$): すべての派生木の高さは正確に $d$ である。
• 非再帰的: これらの文法は有限の言語を生成し、無制限のネストを回避する。
• 一様性: 特定の非終端記号に対する生成規則はすべて同じ長さを持つ。
• 有界パラメータ: 解析では、最大ルール数 ($M$)、最大分岐数 ($B$)、および有効な派生木形状の数 ($c = |C(G)|$) を考慮する。

著者らは、これらの文法をモデル化するために、位置情報アテンション機構を備えたデコーダーのみのトランスフォーマーを構築する。この構成は、以下の3つのコアコンポーネントに基づいている：

1. スパース・アテンション・ヘッド: モデルは、アテンションの重みがコンテンツではなくトークンの位置のみに依存する、簡略化された相対的位置アテンションメカニズムを利用する。これにより、派生木における位置に基づいて特定のトークンを選択する「ハード」なアテンションが可能になる。
2. 階層的処理: トランスフォーマーの深さは、文法の深さ ($d$) と線形に増加する。各トランスフォーマーブロックは、文法の階層におけるレベルに対応し、末端（終端記号）から根（開始記号）に向かって構成要素を処理する。
3. フィードフォワードによる記憶: 位置ごとのフィードフォワードネットワーク（FFN）は、離散的なルックアップテーブルとして機能するように構築される。ニューラルネットワークの記憶容量に関する結果（Zhang et al., 2017）を用い、これらの層は集約された局所的な統語的コンテキストを親の非終端記号へとマッピングする。

この構成は、ボトムアップの動的計画法アルゴリズム（CKYパーサーに類似）を実装している：

• アテンション・ヘッドは、局所的な統語的コンテキストのチャイルドノードを集約し、文法的構成要素の境界を特定する。
• FFNは、結果として得られる親の非終端記号を残差ストリームに符号化し、残差接続を介して下位レベルの状態を保持する。
• 最終層は、蓄積された階層的状態に基づいて、有効な次単語の予測を計算するためにスタックされたフィードフォワードネットワークを利用する。

主な貢献

1. 明示的なトランスフォーマーの構成: 本論文は、深さ $d$ のトランスフォーマーが、深さ $d$ の一様かつ非再帰的なCFGを予測的にモデリングできるという構成的証明を提供している。
2. スケーラビリティの境界: 著者らは、必要なモデルサイズに関する具体的な境界を導出している：
   • 深さ: 文法の深さ ($d$) に対して線形に増加する。
   • ニューロン数: 派生木の形状の数 ($c$) に対して線形に、および生成規則の数 ($M$) に対して二乗でスケールする。
   • 隠れ次元: $c \cdot d$ に比例する。
3. 線形表現への理論的支持: この構成は、アーキテクチャが抽象的な文法状態を、残差ストリーム内の低次元で線形分離可能な部分空間へと符号化する構造的能力を備えていることを実証している。具体的には、固定された派生木の形状に対して、パース計算は個別の部分空間で行われるため、単純なアフィン変換によって非終端記号を分離することが可能となる。
4. 先行研究との差別化: 最大文長（文法深さに対して指数関数的になり得る）に依存する従来の境界とは異なり、本構成は文法深さそのものに対してスケールする。これは、深いCFGに対して指数関数的な状態空間を必要とするフラットな表現（n-gramや有限オートマトンなど）と比較して、階層的モデリングがいかに効率的であるかを強調している。

結果

主要な理論的結果（定理4.1）は、任意の $\epsilon > 0$ に対して、言語 $L(G)$ を誤差 $\epsilon$ 以下で予測的にモデリングするトランスフォーマー言語モデル $f_T$ が存在することを確立している。このモデルは、$d$ 個のトランスフォーマーブロックと、それに続く $5d + 7$ 個のフィードフォワード層で構成される。

• 効率性: 必要なレイヤー数は文法の深さに線形であり、レイヤー数が文長に比例する構成と比較して大幅な改善となっている。
• スパース性: 本構成は、各入力シーケンスが各ブロックにつき単一のアテンション・ヘッドによって処理されるスパースな回路を利用しており、これはディープラーニングにおけるスパースな計算サブグラフに関する経験的知見と一致している。
• 線形分離可能性: 証明は、ある深さにおける非終端記号が、対応する残差ストリームの部分空間内のベクトルへとマッピングされることを示しており、線形表現仮説を支持している。ただし、著者らは、本構成が厳密な直交基底（個別のインジケーター・ニューロン）を使用している一方で、実際のモデルはおそらくこれを高密度な重ね合わせ（superposition）を通じて達成していると注記している。

重要性と限界

重要性:
本論文は、ディープトランスフォーマーが階層的な文法構造を明示的に表現できるという厳密な存在証明を提供する。これは、線形表現に関する経験的観察と、理論的なアーキテクチャ能力との間の溝を埋めるものである。トランスフォーマーがどのようにボトムアップの動的計画法を実装できるかを定式化することで、本研究は、なぜより深いアーキテクチャが、フラットなモデルに関連する「次元の呪い」に苦しむことなく、複雑な言語構造を捉えるのに効果的なのかという理論的基礎を提供する。

限界:

• 簡略化されたフレームワーク: 解析は、有界深さの非再帰的CFGに限定されている。これは再帰的文法や無限の言語を直接扱うものではないが、階層的な構成性を分析するための抽象化として扱われている。
• 直交 vs 重ね合わせ: 理論的構成は、各文法状態が専用のニューロンを持つ直交基底空間に依存している。これは証明を簡略化するものであるが、現実世界のモデルで観察される「重ね合わせ（superposition）」現象、すなわち特徴が密なベクトルへと圧縮される現象については考慮していない。標準的な学習ダイナミクスがいかにしてそのような圧縮された表現を生み出すのかを理解することは、依然として未解決の課題である。
• 実在するコーパスへのスケーラビリティ: 境界は $c$（木の形状の数）に依存しており、これは非常に大きくなる可能性がある。フレームワークは核心的なメカニズムを定式化しているものの、著者らは、これがPenn Treebankのような複雑な実在のコーパスに対するタイトな境界をまだ提供できていないことを認めている。

結論として、本研究は形式言語理論を通じてトランスフォーマーモデルの内部動作を理解するための基礎を築いており、トランスフォーマーの深さが、それがモデル化する文法の階層の深さを自然に反映していることを示唆している。