技術的サマリー：誤り制御ダイナミクスを通じた再帰モデルにおける状態追跡の再考

問題提起

再帰的アーキテクチャにおける状態追跡の支配的な理論的枠組みは、ほぼ一貫して表現力に焦点を当ててきた。つまり、固定されたアーキテクチャが理論的に一連の記号遷移規則を実現できるかどうかを決定することである。最近の研究では、状態空間モデル（State-Space Models）や線形アテンション（Linear Attention）など、さまざまなモデルが特定の記号遷移を表す理論的能力を有することが確立されているが、実証結果は、理論的表現力と実用的な頑健性の間に大きな隔たりがあることを示している。モデルは、理論的にそれを遂行する能力を有していても、長さの外挿や反復的なロールアウト下で、状態を安定的に追跡できずに失敗することが多い。

本論文は、誤り制御（隠れ状態が記号状態を区別する方向に沿って生じるドリフトを支配するダイナミクス）が、同様に重要でありながら見過ごされてきた分析軸であると主張する。中心的な問題は、理論的表現力が、隠れ状態を誤った記号表現へと押しやる累積誤りを修正する能力を保証するものではないことである。

手法

理論的枠組み

著者らは、再帰層によって定義される再帰モデルの分類体系を用いて状態追跡を形式化した：
$$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$$
彼らは、状態ヤコビアンに基づいてモデルを 2 つの主要なクラスに分類する：

1. アフィンモデル：状態遷移が $h_{t-1}$ に対してアフィンである（すなわち、ヤコビアン $\partial h_t / \partial h_{t-1}$ は $h_{t-1}$ に依存しない）。このクラスには、Mamba、AUSSM、線形 RNN などの状態空間モデル（SSM）が含まれる。
2. 状態依存モデル：遷移が現在の状態に非線形に依存する（例：ゲート付き RNN、tanh RNN）。

著者らは、異なる記号状態の隠れ状態表現間の差によって張られる記号部分空間 $U$（$U := \text{span}\{c_g - c_{g'}\}$）を導入する。彼らは、状態を保存する系列（記号作用が恒等写像である場合）において、正確なアフィン戻り写像は $U$ 上で恒等写像として作用しなければならないことを証明する。その結果、アフィンモデルは $U$ に沿った誤りを収縮させることができない。それらは状態表現を正確に保存するが、擾乱された状態を正しい重心に戻すメカニズムを提供しない。

分析指標

アフィン追跡者の失敗を定量化するために、著者らは識別可能比率 $q(t)$ を定義する：
$$q(t) = \frac{R(t)}{M(t)}$$
ここで：

• $R(t)$ はクラス内広がり（クラス重心周りの隠れ状態の分散）である。
• $M(t)$ はクラス間分離（クラス重心間の最小距離）である。
• $q(t)$ はマージンに対する広がりを測定する。

彼らは、$q(t)$ が閾値 $\tau$（近傍重心デコーダの場合、具体的には $0.5$）未満に留まっている間のみ、追跡が「読み取り可能」であると確立する。

実験設定

著者らは、群要素のRunning Product（累積積）を維持することを要求する群状態追跡タスク上で、再帰的アーキテクチャのスペクトルを評価する：

• タスク：パリティ（$C_2$）、巡回群（$C_6$）、対称群（$S_3$）。$S_3$ は非可換であるため、順序に敏感な合成が避けられない。
• モデル：Mamba、Mamba-3、AUSSM、Negative Mamba、線形 RNN、トークンゲート付き RNN、tanh RNN、状態ゲート付き RNN など多様なセット。
• プロトコル：モデルは長さ 60 までカリキュラム学習で訓練され、長さ 1000 までの外挿で評価される。また、誤り回復ダイナミクスを測定するために、擾乱注入実験も実施される。

主要な貢献

1. アフィン中立性の理論的証明

本論文は定理 1を証明する：アフィン再帰ネットワークが記号状態を正確に保存する場合、その戻り写像は記号部分空間 $U$ 上で恒等写像として作用する。これは、アフィンモデルが記号状態を分離する方向に沿って誤りを選択的に収縮させることができないことを意味する。一度状態を保存するアフィン写像が固定されると、ドリフトを修正するための「自由度」は残されていない。

2. 有限ホライズン失敗の特性化

著者らは、アフィンモデルが誤りを修正することはできないが、累積誤りによって支配される有限ホライズンの間は追跡を維持できることを示す。

• 系 1は、近似アフィン追跡者において、$U$ 沿いの誤りが時間とともに線形に蓄積することを示す（$e_U(t) \approx e_U(0) + t\bar{\eta}$）。
• 追跡は、識別可能比率 $q(t)$ が読み取り可能閾値を越えたときに崩壊する。この交差時刻 $T_{cross}$ は、モデルの最大通過長さ（$mp$）を定量的に予測する。
• 2 つの失敗モードが特定される：飽和（$q(t)$ が閾値より高い状態で始まる場合）と上昇（$q(t)$ が交差するまで線形に成長する場合）。

3. 誤り制御ダイナミクスの実証的検証

広範な実験を通じて、本論文は二項対立を確立する：

• 状態依存モデル（tanh RNN、状態ゲート付き RNN など）は条件付き誤り収縮を示す。それらは $U$ 沿いの擾乱を選択的に縮小させ、$q(t) < 0.5$ を無限に維持し、最大テスト長さ（1000）まで頑健な追跡を達成する。
• アフィンモデルはこの選択的収縮を欠く。それらは即座に失敗するか（飽和）、クラス内広がりが増大して分離マージンを侵食するにつれて、予測可能なホライズン後に失敗する（上昇）。

4. 部分空間分解

クラス内広がりを記号部分空間に平行な成分（$U$）と直交する成分（$U^\perp$）に分解することにより、著者らはアフィンモデルの失敗が、特に $U$ 内での広がりの増大によって駆動されることを示す。状態依存モデルは $U$ 内の広がりを効果的に抑制し、誤りを記号識別に影響を与えない直交部分空間に留める。

結果

• 頑健性の隔たり：状態依存モデルは、すべてのタスク（$C_2, C_6, S_3$）において長さ 1000 まで記号状態を一貫して追跡する。対照的に、アフィンモデルはさまざまな程度の不安定性を示す。例えば、Mamba と Mamba-3 は短い長さであっても $S_3$ で失敗するのに対し、Negative Mamba とトークンゲート付き RNN は $C_2$ と $S_3$ で延長されたホライズンを示すが、最終的には崩壊する。
• 予測力：識別可能比率 $q(t)$ が読み取り可能閾値を越える時点（$T_{cross}$）は、113 個の訓練済みモデル全体で、下流の最大通過長さ（$mp$）と強く相関する（$r \approx 0.87$）。
• 非線形性の重要性：頑健な追跡能力は、活性化関数のヤコビアンが状態依存であることに依存する。点ごとの非線形性（tanh、ReLU）およびペア演算子（max/min、GroupSort）は頑健な追跡を可能にするが、全体ベクトル正規化（LayerNorm、球射影）は失敗し、実質的に記号部分空間上でアフィン写像として振る舞う。
• $C_2$ の極端なケース：本論文は、いくつかのアフィンモデルがパリティタスク（$C_2$）で成功するのは、誤りを修正するからではなく、バイナリマージンが十分に大きく、「中立振動」（誤りが符号を反転させるがマージン内に留まる）を許容できるためであると指摘する。この許容度は群の位数が増加するにつれて縮小し、これがアフィンモデルが $C_6$ や $S_3$ で失敗する理由を説明する。

意義と主張

本論文は、再帰的状態追跡のパラダイムを表現力の理論から誤り制御の理論へと転換すると主張する。

• 理論的限界：著者らは、頑健な状態追跡は、記号規則を表現するアーキテクチャの能力（表現力）によってのみ決定されるのではなく、誤りダイナミクスを制御する能力によって決定的に決定されると主張する。アフィンモデルは、状態表現を保存することが、誤り修正が必要なまさにその方向において中立であることを強制するため、本質的に制限されている。
• 実用的含意：アフィンモデル（SSM など）の長さ外挿における失敗は、訓練の欠陥ではなく、構造的な限界である。それらは頑健な無限ホライズンの状態追跡ではなく、累積誤りによって支配される「有限ホライズン解」を学習する。
• 設計指針：頑健な追跡を達成するためには、アーキテクチャはヤコビアンが記号部分空間に沿って誤りを収縮させることを可能にする状態依存遷移を組み込む必要がある。本論文は、非線形性の具体的な形式よりも、それが記号方向の状態依存変調を可能にするかどうかが重要であると示唆する。

著者らは結論として、アフィンモデルはドメイン内タスクや短いホライズンには十分であるかもしれないが、状態依存の誤り修正メカニズムなしには、複雑な記号推論に必要な頑健で長期的な状態追跡は構造的に不可能であると述べている。