技術的概要：Preisach 注意機構：逐次記憶のヒステリシスモデル

問題定義

現在の支配的な逐次モデル化アーキテクチャ、特にトランスフォーマーは、時間的（距離に応じて減衰する）または位置的（トークンの位置でインデックス付けされる）注意機構に依存している。理論的解析により、ハード注意機構を持つトランスフォーマーがチューリング完全であることが確立されているが、これを達成するには $O(\log n)$ の深さが必要であり、標準的なソフトマックス注意は第一階述語論理の限られた断片にしか対応していない。トランスフォーマー、再帰型ニューラルネットワーク（RNN）、および状態空間モデル（SSM）に共通する決定的な限界は、過去の入力の「頻度」や絶対的な位置ではなく、その「重要性」に基づいた記憶メカニズムの欠如である。入力履歴の局所極値の順序に依存し、時間的間隔に独立して出力が決定されるような、長期的なエピソード記憶を維持できるアーキテクチャが必要とされている。

手法

本論文は、数学物理学における古典的な Preisach ヒステリシス演算子に基づいた、新しい逐次モデル化アーキテクチャである**Preisach 注意層（PAL）**を導入する。

中核メカニズム：Preisach 演算子

Preisach 演算子は、それぞれ活性化閾値 $\alpha$ と非活性化閾値 $\beta$ を特徴とするバイナリリレー $\hat{\gamma}_{\alpha\beta}$ の出力を集約する。逐次モデル化の文脈において：

1. バイナリリレー: 入力系列 $u$ に対して、リレーの状態は $u_n \geq \alpha$ の場合 1 に、$u_n \leq \beta$ の場合 0 に切り替わる。それ以外の場合は、直前の状態を維持する。
2. 極値スタック: 「消去特性（wiping property）」の基本的な帰結として、演算子の出力は現在の**極値スタック（$\Pi_n$）**のみに依存する。このスタックは、交互に現れる局所最大値と局所最小値を格納する。新しい極値は、それより小さい大きさのすべての過去の極値を消去し、自然で重要性に基づく忘却メカニズムを提供する。
3. レート非依存性: 出力はトークンの絶対時間や位置ではなく、局所極値の順序のみに依存する。

アーキテクチャの定義

• PAL 層: この層は、閾値平面 $(\alpha, \beta)$ 上の離散化された測度 $\mu$ に対して、バイナリリレーの出力の重み付き和を計算する。
• マルチヘッド PAL（MPAL）: スカラー PAL をベクトル値系列に拡張するため、入力をスカラー信号に射影し、複数のヘッドで処理した後、再度射影して戻す。
• PAL-トランスフォーマー: 標準的な注意機構を MPAL に置き換えた、標準的なトランスフォーマーエンコーダー・デコーダー構造。正弦波位置符号化（PE）と MLP 層は維持するが、中核的な記憶メカニズムはヒステリシス型である。

主要な貢献と結果

1. $O(1)$ の深さにおけるチューリング完全性

本論文は、単一層の PAL-トランスフォーマーがチューリング完全であることを証明する。

• メカニズム: このアーキテクチャは、チューリング機械と同等である任意の 2 スタックプッシュダウンオートマトン（2-PDA）をシミュレートする。
• 符号化: 文字集合の記号とスタックの深さは、「カンター深さ符号化（Cantor-depth encoding）」を用いて極値スタックに符号化される。
• 深さの利点: このシミュレーションは $O(1)$ の深さ（1 つの MPAL 層と 1 つの MLP 層）で達成される。これは、チューリング完全性を達成するために $O(\log n)$ の深さを必要とする標準的なハード注意機構トランスフォーマー（Pérez et al., 2021）と対照的である。
• ベクトル PAL（vPAL）: 2 次元信号射影を用いた変種は、単一のヘッド（$H=1$）でチューリング完全性を達成し、PAL において信号次元とヘッド数は交換可能なリソースであることを示している。

2. 表現力の分離

本論文は、PAL とトランスフォーマーによって計算可能な関数クラスが比較不可能であることを確立する。

• PAL $\setminus$ トランスフォーマー: PAL は $O(1)$ 層で歴史的範囲統計（例：$max(u) - min(u)$）を計算できる。深さが有界な標準的なトランスフォーマーは、回路複雑性の下限（MAX は $AC^0$ に属さない）により、これを正確に計算できない。
• トランスフォーマー $\setminus$ PAL: トランスフォーマーは正確なランダムアクセス検索（例：位置 $p$ のトークンの取得）を実行できる。PAL はレート非依存性の性質により、トークンが局所極値でない場合、その値はスタックの影響から「消去」されるため、補助状態なしに位置ベースの検索を行うことが不可能である。
• 分離特性: レート非依存性が、2 つのクラスを分ける根本的な特性として特定される。PAL の出力は入力系列の時間スケーリングに対して不変であるのに対し、標準的な注意機構はそうではない。

3. 論理的特徴付け

本論文は、局所極値位置のみに対する量化を許可し、極値集約演算子を含む第一階述語論理の拡張である**極値第一階述語論理（EFO）**を定義する。

• 定理: 有界深さの PAL-トランスフォーマーによって計算可能な関数は、EFO において定義可能であることと同値である。
• 含意: EFO は、標準的なトランスフォーマーに対応する論理（FO + 集約）の厳密な断片であり、PAL は任意の位置論理を表現できないが、極値ベースの集約においては優れていることを確認する。

4. 物理学および複雑性との関連

• RFIM 等価性: 本論文は、PAL が $T=0$ における**ランダムフィールドイジングモデル（RFIM）**の学習済み逐次非平衡一般化であることを示す。極値スタックは、RFIM の履歴に対する最小十分統計量に対応する。
• 複雑性: PAL 推論の総時間計算量は（スタック更新と二分探索に起因して）$O(n \log n)$、メモリは $O(kd)$であり、標準的な注意機構の$O(n^2)$ と比較される。
• 相転移: RFIM 理論に基づき、臨界的不秩序強度付近で動作する PAL 層は、「カオスの縁（edge of chaos）」の挙動を示し、入力変化に対する感度を最大化しつつ構造化された記憶を維持することが示唆される。

意義と主張

本論文は、PAL が逐次モデル化のための根本的に異なる記憶機構を提供し、頻度ベースまたは位置ベースの記憶から重要性ベースの記憶へと転換することを主張する。

• 理論的進展: 既存のアーキテクチャと比較不可能な、逐次モデル空間における新たな点を提示し、$O(1)$ 深さのチューリング完全性と独自の論理的特徴付け（EFO）を提供する。
• 効率性: 極値スタックに依存することで、PAL は推論の複雑性を二次から準線形（$O(n \log n)$）に削減し、長期的なエピソード記憶を必要とするタスクに理論的に適している。
• タスクの適合性: 著者らは、PAL がレート非依存であり、歴史的範囲統計に依存するタスクにおいて標準的な注意機構を上回ると予測している。具体的には以下のようなタスクである：
  • 長文書にわたるエンティティの状態の追跡。
  • 歴史的範囲に基づいた時系列の異常検知。
  • 位置感度なしの順序付けられた事象に関する推論。
  • 意思決定閾値が行動を駆動するエネルギー市場の配送。

本論文は、PAL がランダムアクセスを実行することはできないが、すべてのレート非依存汎用関数に対する入力履歴の最小十分統計量を維持する能力を有しているため、過去の出来事の重要性が頻度や絶対的な位置よりも重要である問題に対しては自然なアーキテクチャであると結論付けている。この研究は理論的なものであり、経験的検証と学習ダイナミクス（特に臨界性に関するもの）は、将来の研究における未解決課題として特定されている。