MAT-3: A Bounded Averaged-Projection Operator for Pre-Inference Cognitive-Affective Guidance

技術要約：MAT-3 – 推論前における認知・感情的ガイダンスのための有界平均投影演算子

問題提起
大規模言語モデル（LLM）の感情的挙動に影響を与える現在の手法は、通常、重みの適応（ファインチューニング）、プロンプティング、または内部活性化への直接的な操作に依存している。これらのアプローチは、明示的な境界を欠いており、推論前に監査することが困難であり、あるいはモデルの内部状態を容易に可逆的または検証可能な方法とは異なる形で変化させてしまう。本論文は、より限定的で具体的な問いに取り組んでいる。すなわち、「ターゲットモデルの重みの外部において、明示的に有界であり、推論前に監査可能で、かつその幾何学的基盤が信頼できない場合に選択的に抑制できる局所的な幾何学的補正を定義できるか？」という問いである。

手法：MAT-3 演算子
提案される解決策である MAT-3 は、元の入力 ($x$) と補助的な埋め込み ($z$) に随伴する「補完ベクトル」($z_{aux}$) を構築する、外部の推論前演算子である。これはターゲットモデルの重みを変更したり、内部活性化を直接編集したりするものではない。代わりに、埋め込み空間の表現幾何学に対して作用する。

1. 局所幾何学の推定:

   • 埋め込み $z$ が与えられると、手法は $k$ 個の近傍参照ベクトルを特定して局所的な近傍を形成する。
   • 局所平均 ($\mu_z$) と、パラメータ $\lambda_{cov}$ によって正則化された不偏標本共分散行列 ($C_z$) を計算する。
   • 正則化された共分散の上位 $r$ 個の固有ベクトルを用いて、局所アフィン集合 $\mathcal{A}_z$ と直交射影 $P_z$ を定義する。

2. 平均投影:

   • 演算子は、局所アフィン集合に対する入力の横方向成分を計算する：$a_{\perp} = (I - P_z)(z - \mu_z)$。
   • この横方向成分を減少させるために、平均投影を適用する。更新規則は以下の通りである：
     $$z_{aux} = z - \eta a_{\perp}$$
   • 有効な制御重み $\eta$ は、公称制御重み $\eta_0$（$\lambda_{ctrl}$ から導出）とハード介入半径 $\epsilon$ によって決定される。具体的には、$\eta = \min(\eta_0, \epsilon / \|a_{\perp}\|)$ である。これにより、補正量 $\|z_{aux} - z\|$ が決して $\epsilon$ を超えないことが保証される。

3. MDEI 状態の統合:

   • システムは、埋め込みを 3D 状態空間 ($c, \iota, \tau$)（認知価、強度、および認知的緊張を表す）にマッピングする MDEI（内部状態力学モデル）を利用する。
   • この状態 $u$ は、介入半径 $\epsilon$ と制御重み $\lambda_{ctrl}$ を動的に校正し、幾何学的介入を力学系フレームワークへと連結させる。
   • 安定性は、強コジーブ（coercive）なリアプノフ関数を用いて分析され、特定の条件下で状態力学が有界であり、吸収集合へと収束することを保証する。

4. 安全な棄却メカニズム:

   • MAT-3 は厳格な一連の妥当性チェック（表1）を含む。近傍サイズの不足、行列の条件の悪さ、固有値ギャップの不足、分布外（OOD）距離、または角度的・意味的境界の違反など、いずれかの条件が失敗した場合、演算子は棄却（abstain）を行う。
   • 棄却が発生した場合、$z_{aux}$ は元の $z$ に設定され、検証されていない補正が適用されないことを確実にする。

主要な理論的貢献

• 有界性: 演算子は、介入の大きさが厳密に $\epsilon$ によって制限されることを保証する（定理1）。
• 横方向の縮小: 凍結された幾何学の下で、MAT-3 は全空間において非拡大（non-expansive）であるが、横方向においては厳密に縮小的（contractive）である。アフィン集合への距離は、正確に $(1-\eta)^n$ の割合で減少する（定理2）。
• 適応的安定性: 局所幾何学が入力を受けて適応する場合でも、横方向の縮小を維持するための十分条件（$\epsilon_{adapt} < \eta$）が提供されるが、これは射影の変動を制御することに依存する。
• 意味的保証: 局所的な意味的境界が確立されており、意味写像がリプシッツ連続である場合、意味的距離の変化は介入半径によって制限されることを保証する。

結果と検証
本論文は、ダウンストリームの LLM の精度、感情的適格性、安全性向上、または推論上の利点については報告しないことを明記している。検証は厳密に代数的かつ合成的なものである：

• 合成セットアップ: $\mathbb{R}^{10}$ 内に埋め込まれたガウスノイズを伴う 2D スパイラル多様体を使用した。
• パフォーマンス: 2,000 件のクエリのうち、1,967 件がすべての妥当性チェックを通過した。介入半径 $\epsilon$ は浮動小数点精度で遵守された。
• 収束: 観測された横方向距離の減少は、理論的な $(1-\eta)^n$ のレートと一致し、最大誤差は $3.89 \times 10^{-16}$ であった。
• ユニットテスト: 実装は、射影の対称性、冪等性、直交等変性、および固有値ギャップや OOD 失敗に関する特定の棄却ロジックのテストをすべて通過した。

意義と主張
本論文は、MAT-3 を、数学的に明示的で監査可能な、推論前ガイダンスのためのメカニズムとして位置づけている。その意義は以下の点にある：

1. 関心の分離: 共分散の正則化と介入コストを分離し、モデルの重数の外部で動作する。
2. 棄却による安全性: 「安全な棄却」をコア機能として導入し、局所的な幾何学的基盤が信頼できない場合（例：OOD 入力や条件の悪い近傍）に補正を防ぐ。
3. 理論的厳密性: 凍結された幾何学の下での正確な収束率と安定条件を提供しており、証明されていること（有界性、横方向の縮小）と、経験的なまま残っていること（ダウンストリームの有用性）を明確に区別している。

著者は、演算子の代数的な特性とその実装は検証されているものの、これらの特性を言語モデルの挙動の向上へと翻訳できるかどうかは、依然として開かれた経験的な問いであると結論付けている。次の必要なステップは、凍結された LLM（例：Llama, Mistral）を用いて、Macro-F1、較正、および棄却率などの指標に焦点を当てながら、MAT-3 をベースライン、ファインチューニング、およびその他の介入手法と比較するダウンストリーム評価を行うことである。