技術要約：エコーステートネットワークにおけるフラクタルおよびカオス的活性化関数

問題提起

現代のリザーバーコンピューティング（RC）およびエコーステートネットワーク（ESN）は、主に、安定性と解析的な扱いやすさを確保するために、グローバル・リプシッツ連続かつ滑らかな活性化関数（例：tanh、ReLU）に依存している。この制約は、ネットワークの状態が初期条件に依存せず、入力履歴のみによって決定される一意の軌道に収束することを要求する「エコーステート特性（ESP）」に基づいている。しかし、このような滑らかな関数への依存は、複雑系理論に見られる潜在的に有利な不規則ダイナミクスの探索を制限している。さらに、防衛、災害対応、製薬モデリングなどの実用的なアプリケーションでは、標準的なスペクトル半径のヒューリスティック（$\rho < 1$）だけでは不十分な、極限条件下での堅牢な動作が求められることが多い。非従来型の構成（カオス的、確率的、またはフラクタルな関数）が導入された場合、理論的な「カオスの縁（edge of chaos）」に関する予測と、実用的な堅牢性の要件との間には乖起が存在する。

手法

著者らは、非滑らかな活性化関数を用いたESNの系統的な経験的研究を実施し、ネットワークサイズ（$N \in \{1, \dots, 2000\}$）、スペクトル半径（$\rho$）、およびリーク率（$a$）を変化させながら、36,610の異なるリザーバー構成を評価した。

調査された活性化関数:
研究では、不規則な活性化関数を以下の3つのファミリーに分類した：

1. フラクタル: カントール関数（悪魔の階段）、カントール集合（指示関数）、ワイエルシュトラス関数、およびマンデルブロットに基づく関数（離散/量子化されたものと連続/補間されたものの両方）。
2. カオス: ロジスティック写像のバリアント（シグモイド包絡およびモジュロ包絡）。
3. 確率的: ブラウン運動駆動型活性化（負のコントロールとして使用）。

実験設計:

• 収束テスト: 同一の入力シーケンス（ガウス分布、一様分布、およびスパース分布）によって駆動される、異なる初期条件を持つ2つの軌道を検証した。ESPの遵守は、状態距離 $||x(t) - x'(t)||$ が200タイムステップ以内に閾値（0.1）を下回ることと定義された。
• パラメータ・スイープ: $\rho$（最大100まで）および $a$ に関する広範なスイープを行い、安定性フェーズ図を作成した。
• 理論的枠組み: 著者らは、量子化された活性化関数のための退化エコーステート特性（d-ESP）を導入し、d-ESPはリーキー更新下で従来のESPを包含すると定義した（離散的な記号列の一致として収束を定義）。また、量子化による失敗閾値を予測するクラウディング比（Crowding Ratio）（$Q = N/k$、ここで $k$ は量子化レベル数）を提案した。
• 分析: 実証的なリプシッツ定数の推定、固有値分析によるスペクトル半径の検証、および有界性と入力-状態安定性（ISS）に関する理論的証明を用いた。

主な貢献

1. 不規則な活性化関数の定式化: 本論文は、不規則な活性化関数（フラクタル、カオス、確率的）のクラスを定式化し、RCに適した実数値構成を規定した。
2. 理論的拡張（d-ESP）: 量子化関数に対する退化ESPの概念を導入し、d-ESPがリーキー更新下で従来のESPを導くことを証明した。また、量子化に起因する失敗を予測するクリティカルなクラウディング比（$Q^*$）を仮定した。
3. フェーズ図: リザーバーサイズ、スペクトル半径、リーク率にわたるESP遵守状況を経験的にマッピングし、前処理のトポロジー（単調/圧縮型 vs 分散/不連続型）が連続性そのものよりも重要な安定性の決定要因であることを明らかにした。
4. 診断手法: 先行文献で特定されたゼロ確率質量問題（zero-probability-mass pathologies）を回避するために設計された、有限時間減衰率の推定および収束指標を採用した。

主な結果

• 特定の非滑らかな関数の優れた性能: カントール関数（至る所連続で、ほとんど至る所で微分がゼロ）は、$\rho \approx 10$ までのスペクトル半径においてESP整合的な挙動を維持し、これは滑らかな関数の一般的な境界を1桁上回るものである。$N=2000$ において、これは tanh や ReLU（中央値 約15.6）と比較して、2.6倍速い収束（中央値 6.1 タイムステップ）を達成した。
• 前処理トポロジーが安定性を決定する:
  • 圧縮型/単調型: シグモイドでラップされたロジスティック写像（単調、圧縮型）は、$\rho \approx 5$ まで安定性を維持した。カントール関数（単調）は $\rho \approx 10$ まで安定していた。
  • 分散型/不連続型: モジュロ・ラップを用いたロジスティック写像およびカントール集合（不連続）は、より低いスケールまたはスペクトル半径において急激な相転移と失敗を示した。
• 量子化の限界: マンデルブロット関数の離散バリアントは、小規模では安定性を維持したが、$N=2000$（ここで $Q \approx 95$）では失敗し、一意の軌道ではなく偽のアトラクタへと収束した。対照的に、連続（滑らかに補間された）マンデルブロット・バリアントは、すべてのスケールで100%の安定性を維持した。
• 失敗モード:
  • 確率的: ブラウン運動活性化はESPを満たすことができず、内部の確率性が記憶の減衰を妨げることを裏付けた。
  • 高い局所変動: ワイエルシュトラス関数は、連続かつ有界であるにもかかわらず、極端な局所リプシッツ定数（$L_{max} > 545$）により、収縮メカニズムを阻害したためESPを維持できなかった。
• 有界性とESP: 有界性は状態の爆発を防ぐが（命題 2.3）、ESPには十分ではない。安定性は、活性化関数の実効利得、単調性、および分散的な不連続性の欠如の相互作用に依存する。

意義と主張

本論文は、滑らかさが安定したリザーバーコンピューティングの前提条件であるという従来の常識に異議を唱えることを主張している。著者らは以下の通り述べている：

• 非滑らかなダイナミクスは有利になり得る: 特定のフラクタルおよびカオス的関数は、従来の滑らかな関数が失敗する極端なスペクトル半径においても、収束を加速させ、安定性を維持することができる。
• 滑らかさよりも単調性: 有界な活性化関数において、単調性は微分可能性やグローバル・リプシッツ連続性よりも、記憶の減衰特性とESPを維持するためのより重要な特性であると考えられる。
• 「カオスの縁」の再定義: 理論的な「カオスの縁」の予測と実用的な性能との間の矛盾は、先行研究における滑らかな活性化関数の独占的な使用に起因している可能性がある。結果は、活性化関数の幾何学的性質（圧縮型か分散型か）が安定性の主要な駆動要因であることを示唆している。
• 実用的含意: これらの知見は、設計思想を「滑らかかカオス的か」から「圧縮型か分散型かの前処理」へとシフトさせることを示唆している。著者らは、これらの非滑らかな関数は安定性と速度において有望であるが、標準的な計算ベンチマークやハードウェア・リザーバーにおける有用性は今後の課題であると述べている。

結論として、特定のフラクタル関数の卓越した性能の背後にあるメカニズムは、実効利得分析によって部分的にしか説明されていないものの、その結果は活性化関数の幾何学的性質がリザーバーのダイナミクスにどのように影響するかについての理解を根本的に拡張するものである。