技術要約：縮小写像を超えた深層平衡モデルのための不動点理論

1. 問題提起

深層平衡モデル（DEQ）は、単一の重み共有レイヤー $f_\theta$ の不動点 $z^*(x)$ をニューラルネットワークの出力として定義する。これは $z^* = f_\theta(z^*, x)$ を満たす。このアプローチは、$L$ 個のレイヤーを明示的に積み重ねる代わりに、暗黙的な平衡定式化を用いることで、一定のメモリコストで無限の深さを持つネットワークを可能にする。

しかし、DEQの理論的保証（特に平衡点 $z^*$ の存在、一意性、および計算可能性）は、ほぼ排他的にバナッハの縮小写像原理に依存している。これは、演算子 $f_\theta(\cdot, x)$ が厳密なリプシッツ縮小写像（すなわち、リプシッツ定数 $k < 1$）であることを要求する。著者らは、この仮定には以下の3つの決定的な限界があることを指摘している：

1. アーキテクチャの制限： 多くの現代的な安定したアーキテクチャは、直交行列や等長写像（アイソメトリ）を用いるが、これらは $f_\theta$ を厳密な縮小写像ではなく、単なる非拡大写像（$k=1$）にする。厳密な縮小写像は、消失または爆発現象を防ぎ、表現力を維持するために避けられることが多い。
2. 学習の制約： スペクトル正規化を用いて厳密な縮小定数 $k < 1$ を強制することは、確率的な勾配更新の下で維持することが困難であり、有用な構成からモデルを偏らせる可能性がある。
3. 安定性解析の欠如： 既存の収束証明は、$k=1$ が許容される場合にパラメータ $\theta$ が更新された際、平衡点 $z^*$ がどのようにシフトするかについての定量的な境界を提供していない。

本論文は、厳密な縮小写像を超えて不動点理論を適用するための理論的空白に対処するものである。

2. 手法

著者らは、不動点理論における2つの異なるクラスの演算子を活用することで、厳密な縮小要求を緩和するフレームワークを開発した。

A. Wardowski の F-縮小写像

グローバルなリプシッツ定数 $k < 1$ を要求する代わりに、著者らはF-縮小写像を利用する。演算子 $T$ がF-縮小写像であるとは、特定の単調性と極限条件を満たす関数 $F: (0, \infty) \to \mathbb{R}$ と定数 $\tau > 0$ が存在し、以下を満たすことである：
$$\|Tx - Ty\| > 0 \implies \tau + F(\|Tx - Ty\|) \leq F(\|x - y\|)$$
このクラスは、リプシッツ縮小写像（例：$F(t) = \ln t$ を選択した場合）を厳密に包含するが、グローバルにリプシッツ縮小的ではない演算子も許容する。

B. 非拡大演算子のための Krasnoselskii–Mann (KM) 反復

単なる非拡大演算子（バナッハの原理が成立せず、標準的なピカール反復 $z_{n+1} = f(z_n)$ が収束しない場合）に対して、著者らはフォワードソルバーをKrasnoselskii–Mann 反復に置き換えることを提案する：
$$z_{n+1} = (1 - \lambda)z_n + \lambda f(z_n)$$
ここで $\lambda \in (0, 1)$ はステップサイズである。この「減衰」させた反復は、より広いクラスの非拡大演算子に対して不動点へ収束するように設計されている。

C. 安定性のための距離的劣正則性（Metric Subregularity）

縮小定数なしでパラメータの変化（$\theta \to z^*(\theta)$）に対する平衡点の感度を分析するために、著者らは距離的劣正則性を導入する。この仮定は、不動点への距離が残差によって抑えられることを示唆する：
$$\|z - z^*(\theta)\| \leq \mu \|f_\theta(z, x) - z\|$$
この条件は縮小を要求するよりも弱く、非拡大領域における安定性解析を可能にする。

3. 主要な貢献と理論的結果

I. F-縮小写像下での存在と一意性（定理 5.1）

$f_\theta$ が閉集合 $D \subseteq \mathbb{R}^n$ 上のF-縮小写像である場合、以下のことが証明される：

• 一意の不動点 $z^*$ が存在する。
• 標準的なピカール反復は $z^*$ に収束する。
• 収束速度： 収束は $O(n^{1-1/k})$（ここで $k \in (0,1)$ はF-縮小の定義から）の多項式速度で保証される。これは厳密な縮小写像の幾何学的収束速度より一般に遅いが、存在性を保証するには十分である。

II. 非拡大演算子のための収束（定理 5.5）

単なる非拡大演算子（例：直交レイヤー）の場合：

• 存在性： $D$ がコンパクトかつ凸であれば、不動点が存在する（Brouwerの定理による）。
• 収束： KM反復は不動点へ収束する。
• 速度： 著者らは、残差 $\|f(z_n) - z_n\|$ に関する非漸近的な収束速度 $O(1/\sqrt{n})$ を確立した。
• アルゴリズム的含意： これは、厳密な縮小が保証できないアーキテクチャのための、計算可能なフォワードソルバーを提供する。

III. 安定性とデータ依存性（定理 5.10）

$f_\theta$ が非拡大であり、かつ距離的劣正則性を満たすという仮定の下で：

• 平衡写像 $\theta \mapsto z^*(\theta)$ はリプシッツ安定である。
• 具体的には、$\|z^*(\theta_1) - z^*(\theta_2)\| \leq \mu L \|\theta_1 - \theta_2\|$ となる（ここで $L$ はパラメータに関する演算子のリプシッツ定数）。
• これにより、非縮小領域におけるDEQ学習のための第一原理的なロバスト性境界が提供される。

IV. KM適合型学習アルゴリズム（セクション 6）

著者らは修正された学習アルゴリズムを提案する：

• フォワードパス： 標準的なピカール反復やBroyden法ではなく、KM反復を使用する。
• バックワードパス： 同じ減衰反復スキームを用いて、随伴方程式 $v = \lambda (\frac{\partial f}{\partial z})^\top v + (1-\lambda)v + \frac{\partial L}{\partial z^*}$ を解く。これにより、スペクトル半径が1に近い場合に特異となり得る $(I - \frac{\partial f}{\partial z})$ の逆行列を求める必要がなくなる。

4. 実験結果

著者らは、合成数値実験（NumPy、倍精度）を用いて理論を検証した：

1. アフィン反例 (E1):

   • 設定： $f(z) = Rz + c$ （$R$ はブロック対角回転行列、直交かつ非縮小）である20次元アフィン写像。
   • 結果： 標準的なピカール反復は収束に失敗した（残差が一定に保たれた）。一方、KM反復は収束し、残差は $10^{-3}$ まで減少した。これは理論的な $O(1/\sqrt{n})$ 境界を厳密に遵守している。
   • 意義： 等長写像に対してはKM反復が必要であることを裏付けている。

2. 非線形DEQレイヤー (E1'):

   • 設定： レイヤー $f(z) = \tanh(Wz + Ux)$ で、$W$ が直交（非縮小）の場合と、$W' = 0.9W$（厳密な縮小）の場合を比較。
   • 結果： 驚くべきことに、ピカール反復は両方のケースで収束した（平均52.6イテレーション）。これはKM反復よりも優れた性能を示した。
   • 洞察： 飽和する非線形性（$\tanh$）が平衡点の近くで局所的な縮小をもたらしており、線形部分における厳密な縮小仮定を不要にしていた。著者らはこれを「誠実なネガティブな知見」とし、KMによる緩和は主に線形に近い領域や非飽和活性化関数において「荷重を担う（load-bearing）」ものであると明確にしている。

3. 安定性チェック (E3):

   • 設定： 直交$W$を持つ$\tanh$レイヤーにおいて、パラメータ $U$ を摂動させ、出力の変化とパラメータの変化の比率を測定。
   • 結果： 摂動の大きさに関わらず、比率は有界（平均0.716）であり、定理5.10で予測されたリプシッツ安定性と一致した。

5. 意義と主張

本論文は、厳密な縮小写像を超えて動作する、DEQのための初の不動点理論的フレームワークを提供すると主張している。その意義は以下の通りである：

• 理論的拡張： 以前はバナッハの縮小要求によって除外されていた、より普及している安定なアーキテクチャ（直交および等長アーキテクチャ）を含むようにDEQ理論を拡張した。
• 実用的なソルバー： 非縮小領域におけるフォワードパスおよびバックパスのための、数学的に収束が保証された具体的な代替案（KM反復）を提供する。
• ロバスト性： 縮小定数がない状況下での学習ダイナミクスに対する安定性境界を、距離的劣正則性に依拠して確立した。
• 謙虚な姿勢： 著者らは、非拡大演算子に対して収束を保証する理論ではあるものの、実際の非線形レイヤー（$\tanh$ など）は局所的な縮小特性によって標準的な手法でも収束する場合があることを明示的に認めている。このフレームワークは、そのような局所的縮小が保証できないアーキテクチャ（例：線形に近い領域や非飽和活性化関数）のための「安全網」として提示されている。

著者らは、今後の課題として、スパイキングニューラルネットワーク（時間次元の不動点）への保証の拡張や、大規模な画像分類ベンチマーク（CIFAR-10/ImageNet）へのKMベースのソルバーの適用を行い、縮小ベースラインとの精度および効率の比較を行う予定であるとしている。