An External Structured Memory Architecture for Language Modeling beyond Probabilistic Fitting

技術要約：言語モデルにおける確率的適合を超えた、外部構造化メモリ・アーキテクチャ

問題提起
本論文は、現在の自己回帰型言語モデル（Transformerに代表される）のパラダイムに内在する4つの構造的なコストを特定している。これらは、学習コーパスのパラメータ圧縮に依存することに起因する：

1. 計算量： 自己注意機構（Self-attention）は、シーケンス長に対して $O(n^2 \cdot d)$ の二次関数的な複雑さを伴う。
2. データ： 統計的分布の適合には膨大なデータセットが必要であり、ドメイン適応にはさらなるアノテーションを要求する。
3. メモリ： 知識は分散した重みの中に圧縮されており、そのため所在の特定ができず、増分的な更新（再学習やファインチューニングが必要）ができず、追跡も不可能である（これが、損失のある圧縮の漏洩としての「ハルシネーション」を引き起こす）。
4. 監査可能性： 安全性の整合（Alignment）は、事後的な嗜好最適化（RLHFなど）に依存しており、これは収束が困難な「パッチ当て」のループとして記述される。

著者は、学習コーパスや知識構造は本質的に静的なものであるため、目標とすべきは「パラメータに何を記憶させるか」ではなく、「知識を圧縮されたパラメータではなく、明示的な構造として扱うこと」であると主張している。

手法
提案されるアーキテクチャは、統一された方程式を中心とした**外部構造化メモリ（External Structured Memory）**システムによって、パラメータによるメモリを置き換えるものである。このシステムは、以下の3つのコアコンポーネントで構成される：

1. 階層的構造化知識ストア (HSKS):
   単方向参照型の読み取り専用ストアであり、5つのレイヤーからなる：

   • L1 (Ontology/存在論): 知識単位の静的な定義（ID、属性）。
   • L2 (Relation/関係): 単位間の静的な妥当性とリンクの方向。
   • L3 (Invariant/不変量): L1およびL2から創発する、静的な計算可能な位相不変量（ホモロジー次元、オイラー標数など）。
   • L4 (Evolution/進化): 生成のための動的な状態遷移パス。
   • L5 (Audit/監査): 最初の4つのレイヤーの閉包（Closure）を検証する動的なプロセス。
   • 設計原則： 単方向参照（制御可能性）、ゼロ・クロス結合（特定可能性）、および読み取り専用（改ざん防止）。

2. 低次元構造化シグネチャ:
   知識単位は、位相不変量から導出された42次元のベクトルによって表現される。

   • 基底： カラビ・ヤウ多様体の第5整数ホモロジー群に由来する、12個の線形独立な閉じた鎖。
   • 拡張： これら12個のベクトルは、投影時の情報損失を補償するために6個の「補償次元」を加えた、36次元の固有空間へと拡張される。
   • 意味論： ベクトルは、生存制約、安全制約、性能、および補償ファイバーに分割される。
   • 類似度： 12次元のデベース（de-baselined）余弦類似度（0.7）と、42次元の余弦類似度（0.3）の加重結合として計算される。

3. 学習信号と統一方程式:

   • 信号： クロスエントロピーは、構造的一貫性残差 ($\epsilon = \nabla^2\Psi$) に置き換えられる。これは「正確か？」という統計的な問いではなく、「構造として成立しているか？」という位相的な問いを投げかける。
   • 統一方程式： 8つの項からなる方程式が、位相的剛性、制約伝播、進化、およびドメイン較正演算子 ($\Omega$) を含むコンポーネントを整理する。
   • 制約： 生存 $\succ$ 安全 $\succ$ 性能 の順序で階層的に構成され、事後処理ではなく学習中に適用される。

主な貢献

1. 操作可能なスキーム： 階層的な構造化ストア、特定の位相的シグネチャ、および構造的一貫性学習信号を備えた、統合された外部化メモリ・アーキテクチャ。
2. 再現可能な実験： 表象の識別性、検索、フィールド力学、および演算子の特性をカバーする、中国語知識ベース（541エントリー）を用いた包括的な評価。
3. 境界の明示： 著者は自らの主張の限界を明確に定義しており、標準的なTransformerとのエンドツーエンドの比較や、精度の向上を主張することは避けている。

結果
実験の結果、構造的アプローチの検索精度に関する有効性については、主に否定的な結果が得られた。ただし、一つの特定の肯定的な知見が得られている：

• 棄却された仮説：

  • 識別性： 構造的シグネチャは識別可能ではあるが、弱い。最近傍探索とランダムペアの距離の比率が低く（0.13–0.15）、局所的な構造は存在するものの、主要な検索手段としては不十分であることを示している。
  • 次元数： 次元を12から42に増やしても、限界的な利益はほとんどなかった（比率は0.1435から0.1317へとわずかに改善したのみ）。
  • 検索性能： 構造的リコール（Recall@1 = 0.176）は、リテラル（逐語的）リコール（Recall@1 = 0.922）よりも大幅に劣る。
  • 二段階方式 vs 融合方式： 二段階のアプローチ（構造的プリフィルタ + リテラル再ランキング）は、直接的な融合（0.854）よりも性能が悪かった（0.699）。これは、構造的プリフィルタリングが取り返しのつかない候補の喪失を引き起こすことを示唆している。
  • 不変量： フラクタル次元は、検索ヒットとの相関がほとんど見られなかった（0.041）。
  • 冪平均（Power Means）： 統一方程式の冪平均を直接類似度指標として使用した場合、リコールはほぼゼロとなり、これらが識別指標ではなく集計演算子として機能することを確認した。

• 検証された肯定的な結果：

  • ドメイン較正 ($\Omega$): 第8項であるドメイン較正演算子を構造的検索に付加することで、Recall@1が0.176から0.249へと向上した（41%の相対的改善）。この演算子は縮小（重み付けの減少のみ）として機能しており、これは不適切な関連付けを避けるという設計意図と一致している。

• その他の特性：

  • 構造的チャネルは、リテラルチャネルよりも約13倍高速である。
  • 統一方程式とその演算子（冪平均の順序付け、$\Omega$ による縮小）は、数学的に設計通りに解け、動作することが検証された。

意義と主張
本論文は、その意義を精度や既存モデルの置換ではなく、効率性、解釈可能性、および監査可能性に置くという控えめな立場をとっている。

• 防御可能な利点：

  • 効率性： 構造的チャネルは大幅な速度向上をもたらす。
    な
  • 解釈可能性： すべてのメモリ項目が明示的な単位であり、ヒットの根拠を特定の項目まで辿ることができる。
  • 監査可能性： 読み取り専用かつ単方向の設計により、出力によるメモリへの逆汚染を防ぎ、安全性は学習による整合ではなく、構造的制約を通じて検証可能となる。
  • 増分的な更新可能性： 外部ストアは、再学習なしに更新が可能である。

• 明確に拒絶された主張：

  • 本アーキテクチャは、より高い精度を主張していない（実験的に否定された）。
  • Transformerを置き換えるとは主張していない（エンドツーエンドの比較を行っていない）。
  • 収束が速いとも主張していない（選択演算子が未構築であるため）。

著者は、構造的シグネチャが現行の実装下では主要な検索チャネルとして機能するには不十分であるものの、本アーキテクチャは、予測性能よりも安全性検証と効率性に主眼を置いた、パラメータメモリとは異なる監査可能な代替案を提供するものであると結論付けている。