技術要約：アテンション・マスクから慣性ゼロベクトル・トークンへ

1. 問題提起

現在のアテンションに基づくモデルは、相互作用を制御するためにアテンション・マスク（$m_{ij}$）に依存している。これらのマスクは、どのクエリとソースのペアが相互作用を許可されるかを指定する関係レベルの制御である（例：因果関係やルーティングのため）。しかし、マスクは、トークンの表現自体が非参加を本質的に意味するという状態レベルのメカニズムを提供するものではない。

標準的なスケールド・ドットプロダクト・アテンションは、ゼロベクトル・トークン（$h=0$）を慣性のある要素として扱うことに失敗している：

• 受信側として： もしクエリ $q_i = 0$ であれば、アテンション・スコアは一様になり、出力は可視な値の平均ではなくゼロになる。
• ソース側として： もしソース・トークンが $k_j=0, v_j=0$ である場合、それは定数（$e^0=1$）をソフトマックスの分母に加算する。これにより、他のアクティブなトークンの重みが変化してしまう。つまり、原点は「通常の状態」ではなく「無効な状態」として機能してしまう。

本論文は、補完的な要件を主張している。すなわち、外部のマスキングのみに頼ることなく、表現が自身の非参加を運ぶ、構造的NULL状態の必要性である。

2. 手法

2.1 トークン存在係数

核心となる革新は、各隠れキャリア $h_i$ に対して、滑らかなアクティブ存在係数 $p_i$ を割り当てることである：
$$p_i = \rho_\tau(h_i) = \frac{\|h_i\|^2}{\tau + \|h_i\|^2}$$
ここで $\tau > 0$ はスケール・ハイパーパラメータである。

• 特性： $p_i \in [0, 1)$ であり、原点（$h_i=0$）においてのみ正確にゼロとなり、$\tau \to 0$ において固定された非ゼロベクトルに対して1に近づく。
• 二重の役割： この単一の係数は、2つの異なる役割を制御する：
  1. ローカル更新への参加： トークン $i$ が放出する情報のゲーティング。
  2. コンテキスト支持への参加： トークン $i$ が共有統計量（分母、分割）に寄与する質量の決定。

2.2 OAttention (サポート結合型アテンション)

OAttention は、この規則の具現化である。これは標準的なアテンションを以下のように修正する：

• 受信者ゲーティング： 出力は受信者の存在度 $p_i$ によって乗じられる。
• ソースの重み付け： ソースの存在度 $p_j$ が、アテンション機構の分子と分割（分母）の両方に乗じられる。
• 数式：
  $$\text{OAttention}_i(H; m) = p_i \frac{\sum_j m_{ij} p_j \exp(s_{ij}) v_j}{\epsilon_{den} + \sum_j m_{ij} p_j \exp(s_{ij})}$$
  ここで $s_{ij}$ は標準的なスケールド・ドットプロダクト・スコアであり、$m_{ij}$ は外部の可視性マスクである。

この設計により、もし $h_i=0$ ならば $p_i=0$ となり、ゼロ出力が得られる（Null Receiver）。もし $h_j=0$ ならば $p_j=0$ となり、ソースは分子および分母に何も寄与せず、他のすべての重みが変化することなく維持される（Null Source Insertion）。

2.3 O-Closure とトークン・ダイナミクス

本論文は、O-Closure という概念を通じて、この概念をモデル・アーキテクチャ全体へと拡張する。これは、ゼロ・トークンの挿入が既存の出力や状態を変化させてはならないという法則である。これには以下が必要となる：

• ローカル・マップ (ゼロ吸収)： フィードフォワード・ネットワーク（OFFN）や正規化（ONorm）のようなコンポーネントは、その更新を $p_i$ によってゲーティングしなければならない（例：$h^+ = h + p_i \cdot \text{FFN}(h)$）。
• サポート結合型マップ (ゼロ質量)： クロストークン統計量（OStandardizeなど）は、ゼロ・トークンがアクティブなトークンの平均や分散をシフトさせないよう、存在度で重み付けされたモーメントを使用しなければならない。
• OTransformer： OAttention、OFFN、ONorm、OInject といった O-closed なコンポーネントを合成して構築されたモデル（OTransformer）は、残差加算と合成の下で NULL 状態を保存するパス全体を保証する。

3. 主な貢献

1. Null 一貫性の定式化： 表現に付随する状態レベルの参加と、関係レベルの可視性マスクを分離する、厳密なオペレータ特性を定義した。
2. OAttention の導出： 単一のトークンレベルの存在係数が、標準的なソフトマックスの競合を維持しつつ、null-receiver、null-source insertion、self-attention insertion、および empty-support プロパティを満たすことを証明した。
3. O-Closure 法： トークン・オペレータが、ゼロ吸収とコンテキスト消去の条件を満たし、null-consistent なアーキテクチャ（OTransformer）へと合成可能となるための代数的な条件を確立した。
4. コンポーネントの実装： OFFN、ONorm、OInject、OStandardize のための、これらの法則に従った具体的な実装を提供した。

4. 結果

本論文は、限定的な範囲における3つの異なる主張を評価している：

4.1 正確性 (オペレータ契約)

• 手法： FP32、BF16、FP16 における OAttention 実装の独立した GPU 評価。
• 結果： 実装は、直接評価に対して $L_\infty$ 誤差 $\le 8.94 \times 10^{-8}$ を達成した。null receiver に対して正確なゼロ出力を維持し、null source が挿入された際に既存の出力を変更しないことに成功した。

4.2 アクティブ・パス互換性 (リトフィット)

• 手法： 事前学習済み TabPFN v3 回帰器のクローンに対する「ゼロ・ファインチューニング」のリトフィット。モデルの重みは凍結され、隠れキャリア OAttention（および Full-O バリアント）のみが導入された。
• 結果： 18 の一致したデータセット–シード・ケースにおいて：
  • 隠れキャリア OAttention： 平均 RMSE を +0.088% 変化させた。
  • Full-O (OFFN/ONorm を含む)： 平均 RMSE を +0.177% 変化させた。
    これらの変化は、普遍的な非劣性の保証ではなく、「較正されたニア・アイデンティティ（near-identity）」の観察として記述されている。

4.3 構成的必然性 (アブレーション)

• 手法： 標準的なホスト、 「OA-only」ホスト（OAttention を持つが FFN/Norm は標準）、およびフル「OTransformer」（すべての O-closed コンポーネント）を比較する、2ブロックのアブレーション研究。
• 結果：
  • OA-only： NULL 状態を保持することに失敗した。ゼロ・トークンの挿入が、標準的な FFN やアフィン正規化によってゼロを再活性化させ、古いトークンの状態に大きなシフトを引き起こした（$L_\infty \approx 7.98$）。
  • OTransformer： NULL 状態の保持に成功した（$L_\infty \approx 0$）。これは、アテンションだけでは、ホスト・コンポーネントにおける閉鎖性がなければ不十分であることを示している。

5. 意義と主張

本論文は、その貢献を正確性、アクティブ・パス互換性、および構成的必然性の範囲付きテストとして位置づけている。

• 主張していること：

  • トークンの表現が、本質的に「構造的 NULL」状態を運べる数学的フレームワークを確立した。
  • O-Closure が、ゼロの挿入がモデル内のアクティブな計算を破壊することを防ぐために必要であることを証明した。
  • これらのメカニズムを、最小限の性能低下で事前学習済みモデルにリトフィットできることを示した。

• 明示的に主張していないこと：

  • 普遍的な損失なし： 結果は、O-closed モデルがすべてのタスクにおいて普遍的に優れている、あるいは非劣であることを証明するものではない。
  • 任意のホスト閉鎖性： 理論は、ホストモデルのルーティング、プーリング、およびリードアウト・パスも O-Closure 法を満たしていることを条件としている。
  • 学習されたゼロ・アトラクタ・ダイナミクス： 本論文は、学習が自然にこれらの NULL 状態を発見したり利用したりすることを主張していない。これはそれらのための「メカニズム」を提供するものであり、その「出現」を証明するものではない。
  • 一般的な欠損値セマンティクス： 構造的 NULL と、情報を持つ欠損（例：学習された [MASK] トークン）を区別しており、一般的な欠損データのセマンティクスを解決することを主張していない。

要約すると、本論文は、アテンション・モデルにおいて「ゼロベクトル」を真に慣性のある要素にするための、厳密な代数的およびアーキテクチャ的な解決策を提供している。計算パス全体が O-Closure 法を遵守している限り、トークンの表現の不在がその影響の不在を保証することを保証するものである。