技術要約：トークンレベルにおけるTransformerとハイブリッドモデルの比較

問題提起

アテンション機構と再帰的シーケンス層を組み合わせたハイブリッド言語モデルは、損失およびダウンストリームのベンチマークにおいて、純粋なTransformerよりも経験的な優位性を示すことが実証されている。理論的には、この優位性は両アーキテクチャの相補的な表現力に起因している。すなわち、アテンションは可視的なプレフィックスからの情報検索（コピーや構造的一致に有用）に長けており、一方で再帰層は、順序立てられた状態追跡計算のための潜在状態の構築および更新に長けているというものである。

しかし、どのような特定のデータ型や予測能力がこれらの経験的な利点を駆動しているのか、また、観察された改善がハイブリッドアーキテクチャを動機付ける理論的な強みと一致しているのかについては、依然として不明である。本論文は、次の問いに取り組む：どの個々のトークンの出現が、マッチングされたTransformerに対するハイブリッドモデルの平均損失の低下に寄与しているのか。そして、これらのトークンは、再帰とアテンションの理論的な強みと対応しているのか？

手法

著者らは、同一のレシピファミリーから得られた、規模の揃った2つの7Bスケールモデル、Olmo 3 7B（純粋なTransformer）とOlmo Hybrid 7B（アテンションと再帰層を交互に配置）を用いて、きめ細かなトークンレベルの分析を行う。

コア指標

ターゲットとなるトークン $x_i$ がプレフィックス $x_{<i}$ が与えられたとき、著者らはペアとなるトークンレベルの損失差を算出する：
$$\Delta_i = \ell^{Tr}_i - \ell^{Hyb}_i = \log p^{Hyb}(x_i | x_{<i}) - \log p^{Tr}(x_i | x_{<i})$$
$\Delta_i$ が正であることは、ハイブリッドモデルがTransformerよりも高い確率（低いNLL）をそのトークンに割り当てていることを示す。

分析フレームワーク

本研究では、散文、コード、およびマークアップのドメインにわたって、3つの相補的な分析アプローチを採用している。

1. 観測的タグ層化分析（Observational Tag-Stratified Analysis）:

   • ターゲットとなるトークンを表面的なタグ（例：散文における品詞タグ、コード/マークアップにおける識別子、文字列、デリミタ）に整合させる。
   • 生要約（Raw Summaries）: 各タグカテゴリの平均 $\Delta_i$ を計算し、絶対的なハイブリッドの優位性を決定する。
   • 回帰の堅牢性（Regression Robustness）: 困惑度、頻度、位置、サブワードの状態、および局所的な再利用といった交絡変数を制御した線形回帰を行い、タグレベルのパターンがこれらの要因を考慮した後でも持続するかどうかを判断する。

2. 制御された合成プローブ（Controlled Synthetic Probes）:

   • 特定の計算要件を分離するため、固定されたテンプレートと変化する依存距離（$d \in \{32, \dots, 1024\}$）を持つ3つの合成タスクに対してモデルを評価する：
     • 代名詞メモリ（Pronoun Memory）: 正しい代名詞を選択するために、役割結合状態を維持する必要がある。
     • エンティティ追跡（Entity Tracking）: クエリに答えるために、エンティティと属性の結合を維持する必要がある。
     • 構造的閉鎖（Structural Closure）: 可視的なオープナーに基づき、閉じるデリミタを予測する必要がある。

3. フィルタリング評価（概念実証）:

   • 1Bスケールの事前学習ラン（Transformer、Hybrid、Pure RNN）に適用し、トークンレベルの分解がいかにして学習中のアーキテクチャ診断を鋭敏にできるかを実証する。

主な結果

1. 非一様なトークンレベルの利得

ハイブリッドモデルの優位性は、すべてのトークンにおいて一様ではない。

• 開放クラスの内容語（Open-Class Content Words）: ハイブリッドは、開放クラスの内容を担うカテゴリ（名詞、動詞、形容詞、副詞）において最大の損失減少を示す。散文において、内容語の生の差は機能語よりも約61%大きい。
• 閉鎖クラスの機能語（Closed-Class Function Words）: 優位性はより小さく、不均一である（限定詞、前置詞、代名詞）。
• 語彙サイズとの相関: タグの語彙サイズ（開放性）とハイブリッドの優位性の間には正の相関がある。より大きな語彙（開放クラス）はより大きなハイブリッドの利得を示す一方で、小さな閉鎖的な目録はより小さな利得を示す。

2. 構造的デリミタ：オープナー vs クローザー

• オープニング・デリミタ（Opening Delimiters）: ハイブリッドは、すべてのドメイン（散文、Python、HTML、LaTeX）において、開始括弧やタグに対して著しく優位である。これらのトークンは、しばしば新しいスコープや状態の更新を開始する。
• クロージング・デリミタ（Closing Delimiters）: ハイブリッドの優位性は、閉じるデリミタにおいてはほぼ消失するか、あるいは逆転する。Transformerはここで競争力のある、あるいはより優れた性能を発揮する。これは、閉じるトークンが可視的なプレフィックスによって既に確立された構造的義務を満たす（検索/閉鎖タスクである）ためである。

3. 繰り返されるN-gramとコピー

• ハイブリッドの優位性は、繰り返されるn-gramにおいて崩壊する。繰り返されるスパンの長さが増すにつれ（$n=1$ から $16$）、生の損失差は急速にゼロに向かって縮小する。
• 回帰分析は、反復特徴が差をTransformer側へとシフトさせることを確認している。これは、ターゲットが可視プレフィックスによるコピーによって予測可能である場合、アテンション機構で十分であり、再帰状態は追加の利益をもたらさないことを示唆している。

4. 合成プローブの結果

• 状態条件付きタスク（代名詞メモリ、エンティティ追跡）: ハイブリッドは一貫してTransformerを上回り、Transformerがチャンスを下回る長い距離においても、チャンス以上の精度を維持する。
• 構造的閉鎖（Structural Closure）: 距離に関わらず、Transformerがハイブリッドを上回る。
• 結論: 決定的な違いは単なる依存距離ではなく、計算のタイプである。状態条件付きの読み出し（readout）は再帰を支持し、可視プレフィックスの検索/閉鎖はアテンションを支持する。

5. フィルタリング評価の有用性

1Bスケールの事前学習ランにおいて、集計された検証損失はアーキテクチャ間の分離をほとんど示さなかった。しかし、フィルタリングされた損失は明確なレジームを明らかにした：

• 状態指向フィルター（上位10の開放クラス、コピーなし）: 差を増幅させ、ハイブリッドが純粋なTransformerおよび純粋なRNNを大幅に上回っていることを示した。
• コピーフィルター（繰り返される5-gram）: 純粋なRNNが、検索タスクにおいてアテンションベースのモデルに大きく遅れをとっていることを明らかにした。これは、集計損失によって隠されていた弱点である。

意義と主張

本論文は、ハイブリッドモデルの経験的な成功は、一般的な「より優れた」パフォーマンスではなく、特定の、理論的に一貫したメカニズムによって駆動されていると主張している。

1. 表現力理論の検証: 結果は表現力理論と一致している。再帰層は、文書の意味的状態（例：エンティティ、役割、またはプログラム変数の追跡）を活用する予測を改善するが、アテンション機構は可視プレフィックスの検索（コピー）や構造的閉鎖（オープナーとの一致）に依存するタスクにおいて依然として優れている。
2. 状態追跡ベンチマークの洗練: 著者らは、既存のクローズドワールド状態追跡ベンチマーク（$A_5$ 単語問題など）は、構造化された線形RNNによって解決可能であるため、将来の再帰層を区別するには不十分であると論じている。彼らは、エンティティや関係が新しいものと共に動的に成長する、より要求の厳しいターゲットとしての**談話状態追跡（discourse-state tracking）**を提案している。
3. アーキテクチャ探索のための診断ツール: 論文は、フィルタリングされたトークン損失が、事前学習における高シグナルの診断ツールとして機能することを提案している。集計損失を「状態条件付き」と「コピー/検索」のコンポーネントに分解することで、研究者は、トレードオフを覆い隠してしまう単一の集計パープレキシティ数に頼ることなく、アーキテクチャの変更が状態表現の向上をもたらしたのか、あるいは検索能力の向上をもたらしたのかを特定できる。

著者らは、トークンレベルの分解が事前学習の診断を鋭敏にし、集計メトリクスによって隠された能力のトレードオフを露呈させ、将来のハイブリッドアーキテクチャの設計を導くことができると結論付けている。