Task-Restricted Symmetries in Recurrent Weight Space

技術要約：回帰的重み空間におけるタスク制限付き対称性

問題提起
回帰型ニューラルネットワーク（RNN）は、その重み空間において実質的な機能的冗長性を有している。特定のタスク分布に対する入出力のロールアウト（展開）を変化させることなく、回帰行列を大幅に変更することが可能である一方で、他の方向への同程度の大きさの変化は、その挙動を破壊してしまうことがある。厳密な重み空間の対称性（関数を正確に保存する変換）は十分に研究されているが、本論文では「近似的な」機能的不変性、すなわち、特定のタスク分布においてのみ近似的に振る舞いを保存する構造的な変化について調査している。著者らは、生の回帰座標を用いると、異なる訓練実行間での非正規構造の比較が困難になり、これらの近似的な対称性の特定を妨げることを指摘している。

手法
本研究は、以下の式で定義される1層tanh RNNに焦点を当てている：
$$h_t = \tanh(W_{xh}x_t + W_{hh}h_{t-1}), \quad \hat{y}_t = W_{hy}h_t$$
ここでバイアスはゼロに設定されている。中心となる手法論的貢献は、回帰行列 $W = W_{hh}$ を分析するための**順序化実シュア座標（Ordered Real Schur Coordinates）**の使用である。

1. シュア分解: 行列 $W$ を $W = QTQ^\top$ と分解する。ここで $Q$ は直交行列であり、$T$ は実準上三角行列である。
2. ブロック分離: $T$ を $B$（ブロック対角スペクトルブロック）と $N$（厳密なブロック上三角非正規結合）に分割する。
3. 順序付けられた分割: ブロックは固有値の絶対値の降順で並べられる。閾値 $\alpha$（0.9に設定）により、主要なスペクトルブロック（$R$）と補集合（$C$）を分離する。これにより、非正規結合行列 $N$ を以下のように分割する：
   • $T_{RR}$: 主要セクター内での結合。
   • $T_{C \to R}$: 補集合セクターから主要セクターへの結合。
   • $T_{CC}$: 補集合セクター内での結合。
4. 構造化アブレーション: 著者らは「固定エンコーダ／固定デコーダ」の介入を行う。特定のブロック（例：$T_{CC}$）をゼロにし、行列 $\tilde{W}_{hh}(S) = Q \tilde{T}(S) Q^\top$ を再構成し、入力重みや出力重みを再学習することなくネットワークの性能を評価する。
5. 指標:
   • $\Delta FVU$: 未説明分散の割合（保持された誤差）の変化量を用いて、生の性能低下を測定する。
   • $S_{\Delta T}$: 正規化された感度。除去されたシュア質量（フロベニウスノルム）あたりの誤差増加量を測定する。

主な貢献

• 診断基盤: 著者らは、非正規行列における固有値座標の不良条件の問題を克服し、回帰ダイナミクスを比較・摂動するための再現可能な直交基底として、順序化シュア座標を確立した。
• タスク制限付き不変性: 近似的な機能的不変性は、重み空間の普遍的な対称性ではなく、「タスク制限付き」であることを示している。除去可能な結合の集合は、特定のタスクおよび特定の訓練済み解に強く依存する。
• メカニズムのアブレーション: このフレームワークにより、どの非正規結合が特定の計算（例：自律的なリプレイ対積分）に必要であるか、あるいはどの結合が冗長であるかを因果的にテストすることが可能になる。

結果
本研究は、いくつかのタスクにわたって手法を評価している：

1. 固定長コピー・タスク:

   • 「高密度直交（dense orthogonal）」訓練解（$N_h=72$）において、$T_{CC}$ ブロック（補集合セクター内の結合）を除去しても、自律的リプレイの精度はフルモデルとほぼ同一（1.00）であった。
   • しかし、$T_{C \to R}$ または $T_{RR}$ を除去すると、性能が大幅に低下し、より低精度の機能クラスへと移行した。
   • 「ケイリー変換（Cayley-transform）」解においては、補集合ブロックは無視できる程度であり、アブレーションによる影響はほとんどなかった。
   • 結論: $T_{CC}$ は高密度直交解における近似的なスタビライザーとして機能するが、普遍的な不変性ではない。

2. 神経科学スタイルのタスク（Flip-flop、正弦波生成、文脈依存積分）:

   • Flip-flop: $T_{C \to R}$ をゼロにすると最大の誤差増加（$\sim 0.09$）が発生したが、$T_{RR}$ はほとんど影響を与えなかった。
   • 正弦波生成: $T_{CC}$ および $T_{C \to R}$ の除去の両方が大きな誤差を引き起こし、$T_{C \to R}$ が最も高い正規化感度を示した。
   • 文脈依存積分: $T_{CC}$ の除去が誤差増加の主因となり、これは緩やかな蓄積のための補集合内での回帰の必要性と一致している。
   • 結論: 「損失保存型のアブレーション・プロファイル」はタスク間で大きく異なる。一様に除去しても安全なシュア結合は存在しない。

意義と主張
本論文は、シュア座標によるアブレーションが、訓練された回帰解を保持する構造的摂動と、計算を破壊する摂動を識別するための実用的な診断ツールであることを主張している。

• 普遍的な対称性ではない: 著者らは、特定された近似的な不変性は「回帰重み空間の普遍的な対称性」ではないことを明示している。むしろ、それらは与えられたタスクと解のロールアウト分布に特有の候補となる不変性である。
• 文脈的必要性: 結果は、非正規成分を一般に無視できるという考えを否定している。代わりに、特定の解が、入出力マップを保持しながら失うことができる特定の結合と、タスク固有の機能を担う結合のどちらであるかを特定している。
• 限界: 著者らは、実験がバニラな1層tanh RNN、低次元タスク、および狭い幅の範囲に限定されていることを述べ、その範囲について謙虚な姿勢を示している。これらの知見がLSTM、GRU、または大規模なシーケンスモデルに一般化するとは主張していない。また、性能の保持が、除去された結合に計算的役割がないためではなく、単にアブレーションによって出力（readout）と整列している特定の隠れ状態部分空間を回避した結果である可能性についても言及している。