技術要約：分数次最適化手法とフラクタル活性化関数の融合

問題提起

ニューラルネットワークの学習は、不規則でマルチスケールな構造を持つ損失ランドスケープに直面することが多い。フラクタル幾何学はこのような粗さ（roughness）を記述するための数学的枠組みを提供し、分数解析（fractional calculus）は非局所的な挙動やメモリ効果を分析するためのツールを提供するが、これら二つの分野は、ニューラルネットワーク研究において歴史的に独立して発展してきた。

先行研究では、フラクタル活性化関数（Weierstrass型やBlancmange型の級数から派生したもの）が、ネットワークにマルチスケールな非線形表現を注入し、表現力を高める可能性があることが確立されている。これとは別に、分数次最適化手法は、非整数次の微分を組み込むことでメモリ効果と非局所的な挙動を導入し、一次勾配降下法を拡張するものとして提案されてきた。しかし、これら二つの構成要素間の相互作用、具体的には、分数的なメモリ原理に基づいて設計された最適化手法が、フラクタルな活性化関数を利用するネットワークの学習に適しているかどうかについては、未解明のままである。さらに、目的関数がフラクタル構造によって明示的に摂動を与えられた場合の、分数次最適化手法の有効性についても、体系的な評価が行われていない。

手法

本研究では、フラクタル活性化と分数次最適化の相互作用を調査するために、二段階の実験フレームワークを採用している。

1. 数学的基礎

著者らは、Weierstrass型の関数と分数微分の間の理論的な関連性を確立している。Weierstrass型の関数に対し、粗さ指数 $\gamma_H$ に対して $\nu < \gamma_H$ である階数の分数微分が存在し、それが関数をより低い指数を持つ別のWeierstrass型の関数へと写像することを証明している。離散的なGrünwald–Letnikov (G-L) 定式化が、これらの微分を計算するためのメカニズムとして特定されており、代数的に減衰する係数を持つ重み付き履歴和を提供する。このカーネルはメモリベースの最適化手法の基礎となり、一方で切断されたWeierstrass級数はフラクタル活性化関数の基礎となる。

2. 実験設計

本研究では、21種類の最適化手法を5つのグループに分類し、4種類のフラクタル活性化関数（および標準的なベースライン）を用いて、2つの異なるタスクに対して評価を行っている。

• タスクA：制御された曲面の最適化

  • 曲面： AckleyおよびHimmelblauのベンチマーク関数。
  • バリアント： 標準的な形式、および制御されたマルチスケールな粗さを導入するためにWeierstrass型級数 ($P_J$) によって摂動を加えたバリアント。
  • 指標： 最終損失、最良損失、成功率（既知の極小値への到達）、極小値への距離、および実行時間。
  • 設定： 最適化手法、曲面バリアントごとの40回の反復実行。

• タスクB：ニューラルネットワークによる分類

  • データセット： OpenMLの10個の公開分類データセット（例：Iris, Wine, Ionosphere, Vehicle Silhouettes）。
  • アーキテクチャ： フィードフォワード多層パーセプトロン (MLP)。
  • 活性化関数： 4つの選択されたフラクタル活性化関数（Modulated Blancmange, Decaying Cosine, Modified Weierstrass–Tanh, Weierstrass–Mandelbrot $x+\sin$）およびReLUとTanh。
  • 設定： 最適化手法 $\times$ 活性化関数 $\times$ 分数次による構成ごとの40回の反復実行。

3. 最適化手法のファミリー

21種類の最適化手法は以下のように分類される：

1. 古典的なベースライン： SGD, RMSprop, Adam, Adadelta。
2. Herrera型（局所スケーリング）： 履歴を保持することなく、Caputoに着想を得た冪乗則因子 $f_\nu(g_t)$ を用いて現在の勾配を再スケールする（例：FSGD, FAdam）。
3. メモリベース（明示的な履歴）： 現在の勾配を、降下法の安全策とノルムマッチングによって安定化された有限履歴のG-L勾配 $g^{(\nu)}_t$ に置き換える（例：MemoryFSGD, MemoryFAdam）。
4. 適応型メモリベース： 通常の勾配と、ノルムマッチングされた分数次勾配を、信頼性と損失によって制御された有界な混合係数 $\lambda_t$ によって組み合わせる（例：AdaptiveMemoryFSGD）。
5. 関連研究： AdaGL, FCSGD_GL, AOFGDのバリアントなどを含む。

主な貢献

1. 統一された理論的枠組み： 本論文は、Weierstrass型の関数の分数微分解析と、最適化手法で使用される離散的なG-L構成を明示的に結びつけ、フラクタル活性化と分数次最適化が、同一のマルチスケールな数学的メカニズムの異なる実現形態であることを示している。
2. 新しい適応型フレームワーク： AdaptiveMemory ファミリーの最適化手法の導入。これらの手法は、分数次 $\nu$ は固定したまま、メモリ項の寄与を制御する信頼係数 $\lambda_t$ を適応させることで、メモリが信頼できないと判断された場合に古典的な最適化手法へ正確に還元することを可能にする。
3. 体系的な経験的比較： フラクタルに摂動を与えられた曲面およびニューラルネットワーク分類タスクの両方における、21種類の最適化手法の包括的な評価を行い、異なる条件下での異なる分数メカニズム（局所スケーリング vs 明示的なメモリ）の性能を詳細に提示している。

結果

曲面最適化実験

• 最適化手法ファミリーの支配性： ベースとなる最適化手法のファミリー（SGD vs RMSprop/Adadelta）が支配的な要因であった。SGD型の手法は、分数的な修正の有無にかかわらず、AckleyとHimmelblauの両方において他の手法を上回った。
• フラクタル摂動の影響：
  • Himmelblau において、加算的なフラクタル摂動はすべての手法の信頼性を低下させたが、適応型次数手法（AOFGD_Adam）およびAdamベースのバリアントに有利に働いた。
  • Ackley において、摂動は局所的な低値領域を作り出し、メモリベースおよび確率的に摂動を与えられたSGDバリアント（例：FCSGD_GL, MemoryFSGD）がこれを活用できるようになったが、平坦な外側のプラトーのため、全体的な成功率は依然として低かった。
• メモリ vs スケーリング： 制御された曲面において、明示的な勾配メモリ（メモリベースのグループ）は、持続的な振動構造が存在する摂動のあるランドスケープにおいて特に信頼性が高いことが示された。

ニューラルネットワーク分類実験

• フラクタル活性化関数： フラクタル活性化関数は、10個のデータセットのうち8個でトップ15に入り、6個のデータセットで単独のベスト構成を提供した。しかし、すべての最適化手法の構成を通じて平均すると、標準的な活性化関数（ReLU, Tanh）がフラクタルなものよりも優れた性能を示すことが多かった。Modified Weierstrass–Tanh（劣臨界）が最も一貫したフラクタル活性化であり、一方で超臨界のWeierstrass–Mandelbrotバリアントは一般に性能が悪かった。
• 最適化手法の性能：
  • Herrera型（局所スケーリング）： これらの手法は全体として最も強力であり、6つのデータセットで唯一のベスト構成を達成し、7番目のデータセットでも1位を分け合った。これらは、計算コストがほとんどかからないにもかかわらず、高い性能を提供した。
  • 明示的メモリ（GL-Memory）： これらの手法は分類タスクにおいて性能が悪く、しばしばトップ15から外れ、高い分散を示した。著者らは、決定論的な曲面での成功とは対照的に、ミニバッチ学習におけるサンプリングノイズを増幅させていることが原因であると考えている。
  • 適応型メモリ： このグループは、純粋なメモリ手法よりも堅牢性が向上しており、グループ平均で上位にランクインし、2つのデータセット（Climate-Model Simulation Crashes, Glass Identification）で勝利した。
• 相互作用： 最良の結果は、普遍的なフラクタル成分の適用ではなく、特定の組み合わせ（例：Modified Weierstrass–Tanh と Herrera型最適化）を通じて得られた。単一の分数次（$\nu$）が普遍的に最適であるということはなく、勝利した構成は $\nu \in \{0.75, 1.25, 1.50\}$ を使用していた。

意義と主張

本論文は、フラクタル活性化と分数次最適化が、学習問題の異なる部分（表現 vs 最適化ダイナミクス）に対する数学的に互換性のある修正であるが、その組み合わせは、普遍的な置き換えとしてではなく、特定の識別可能なペアリングを通じてのみ利益をもたらすことを主張している。

• メカニズム vs ランキング： 本研究は重要な相違点を浮き彫りにしている。明示的な勾配メモリは、決定論的なマルチスケール・ランドスケープ（曲面実験）には有益であるが、確率的なミニバッチ学習（分類）においては、ノイズを増幅させるという負の側面を持つ。
• 実用的なガイダンス： 著者らは以下を推奨している：
  1. 活性化関数、最適化手法の定式化、および分数次を共同で選択すること。
  2. 計算コストがほとんどかからず、正確な古典的限界を持つため、Herrら型（Herrera-type）の局所スケーリングをデフォルトの分数次拡張として使用すること。
  3. 分数次をチューニングすべき離散的なハイパーパラメータとして扱うこと。
  4. 明示的な勾配メモリは、持続的なマルチスケール構造を持つ低ノイズの設定に限定するか、あるいは有界な適応的混合（提案された $\lambda_t$ フレームワーク）を通じてのみ使用すること。

本研究は、統一されたフレームワークはさらなる研究のための再現可能な基礎を提供するが、明示的な勾配メモリの無差別な使用はデータによって支持されないことを結論付けており、「最良」の手法は特定のデータセットと活性化・最適化のペアリングに強く依存するという。