Limitations of Learning Tanh Neural Networks with Finite Precision

技術要約：有限精度における $\tanh$ ニューラルネットワーク学習の限界

問題提起
本論文は、有限精度の算術演算下における、双曲線正接関数（$\tanh$）活性化関数を用いたニューラルネットワーク・クラスの学習に関する根本的な限界を調査している。理論的な結果は、ニューラルネットワークが普遍的近似能力を持つことを確立しているが、実用的な学習は、利用可能なサンプリング値の有限性と、計算デバイスの有限な精度によって制約を受ける。著者らは、次のような問いに取り組んでいる：あるアルゴリズムが、特定の精度 $\epsilon$ で $\tanh$ ネットワークの全関数を近似することを保証するために、いくつのサンプル $m$ が必要か？

本研究は、$\tanh$ 活性化関数の滑らかで非均質な性質と、有限精度（量子化）によって課される制約との相互作用に焦点を当てている。ReLU ネットワークでは、均質性（$\rho(\lambda x) = \lambda \rho(x)$）により局所的な「バンプ（隆起）」関数を正確に構築できるが、$\tanh$ ネットワークは実解析的であり、一般にコンパクトな台（正の測度を持つ集合上で厳密にゼロとなる性質）を持つ関数を生成することができない。これは、学習の複雑さの低減限界を証明する上で大きな分析上の障壁となる。なぜなら、正確な局在化に依存する標準的な手法が通用しないからである。

手法
著者らは、$\tanh$ ネットワークにおける正確なコンパクトな台の欠如を克服するために、有限精度算術を活用した新しいフレームワークを開発した。彼らのアプローチは、主に以下の3つの技術的構成要素からなる：

1. 有限精度による局在化： 著者らは、値の絶対値 $|x| \le \epsilon_p$ が $\epsilon_p$ 以下であればゼロに丸められる量子化写像 $Q_{\epsilon_p}$ を想定している。彼らは、小さな立方体上で非自明な挙動を示しつつ、その領域の外側では指数関数的に急速に減衰する「鋭く局在化したバンプ」を生成するニューラルネットワークを構築する。ネットワークの深さとパラメータを調整することで、これらの関数の「裾（テイル）」を計算デバイスの精度閾値 $\epsilon_p$ 以下に強制し、正の $L_p$ ノルムを持ちながらも、計算デバイスからはゼロと区別できない状態にする。

2. 不動点反復メカニズム： コアとなる革新は、$\tanh$ 活性化関数の不動点構造の活用である。スケーリングされた活性化関数 $\sigma_a(x) = \tanh(ax)$ （ただし $a > 1$）に対して、$\tanh(ax_\star) = x_\star$ を満たす非自明な不動点 $\pm x_\star$ が存在する。著者らは、粗いバンプ関数に対して $\sigma_a$ を反復的に適用するネットワーク層を設計する。この反復は信号を増幅させ、出力をステップ関数プロファイルへと駆動させる（サポート内では $\pm x_\star$ に収束し、サポート外では急速に減衰する）。このメカニズムは、ReLU の解析で使用される均質性に基づく構成に代わるものである。

3. 適応型ランダム化アルゴリズム・フレームワーク： 下限値は、以前の観測に基づいてサンプリング点を選択し、内部的なランダム性を使用できる適応型ランダム化アルゴリズムに対して導出される。証明には「鳩の巣原理」を用いた議論が用いられる。すなわち、格子状に配置された多数の互いに素なバンプ関数を構築し、それらのサポートがサンプリング密度よりも小さいことを示すことで、それらの関数の大部分が、すべてのサンプリング点において量子化された値としてゼロを返すことを示す。その結果、アルゴリズムはこれらの関数をゼロ関数と区別できなくなる。

主要な貢献と結果
本論文は、$\tanh$ ニューラルネットワークの学習に関するサンプリング複雑性の下限を確立している。主な結果（定理6）は、入力次元 $d$、深さ $L$、幅 $B$、および有界な係数を持つネットワークのクラスにおいて、$m$ 個のサンプルを使用するあらゆるアルゴリズムの近似誤差 $\epsilon$ は以下を満たすことを証明している：
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
ここで、定数 $C$ はネットワークアーキテクチャのパラメータに依存する。

主な知見は以下の通りである：

• アーキテクチャに対する指数関数的依存性： 固定された精度を達成するために必要な許容サンプル数 $m$ は、ネットワークのアーキテクチャパラメータ（具体的には幅と深さ）に対して指数関数的に増加する。これは、たとえ最適化問題が計算可能であったとしても、ネットワークサイズが増大するにつれて学習が不可能になることを示唆している。
• ReLUとの比較： ReLUの設定（Berner et al., 2023）では下限が $m^{-1/d - 1/p}$ とスケーリングするのに対し、有限精度下での $\tanh$ 設定では $m^{-1/p}$ とスケーリングする。しかし、$\tanh$ の下限における定数因子はアーキテクチャに指数関数的に依存するため、同様の実用的な実行不可能性を招く。
• 内在的な不安定性： これらの結果は、学習問題における根本的な不安定性を明らかにしている。サブ指数的な数のサンプルを使用するいかなるアルゴリズムに対しても、すべてのサンプリング点において（機械精度未満の）微小な摂動によって異なるが、$L_p$ 距離が（オーダー 0.5 で）大きいペアのネットワークが存在する。したがって、指定されたサンプリング領域内では、再構成手順が正確さと安定性を同時に満たすことはできない。
• 精度の役割： この困難性の結果は、有限精度の仮定に依存している。構成は、バンプ関数の裾を量子化閾値 $\epsilon_p$ の下に「隠す」能力に基づいている。

意義と主張
本論文は、ReLUネットワークに対する従来の困難性の結果を、広く使用されている $\tanh$ 活性化関数へと拡張することを主張している。$\tanh$ は、リカレント・アーキテクチャ（RNN, LSTM）、物理情報ニューラルネットワーク（PINN）、および現代の基盤モデルにおいて普及している。

著者らは、これらの結果が単なる計算量（実行時間）の問題ではなく、情報理論的な限界に関するものであることを強調している。たとえ最適化アルゴリズムがグローバルな最小値を見つけられるとしても、点評価から関数を一意に特定するために必要なサンプル数は、法外に大きくなる。本研究は、$\tanh$ の滑らかさと解析的な性質が、微分可能性においては有利に働くことが多い一方で、下限を証明するために必要な局所的な特徴の構築に関して、学習可能性における深刻な課題をもたらすことを浮き彫りにしている。

本論文は、簡略化された定理（定理1）と、機械精度 $\epsilon_p$、ネットワーク幅 $B$、深さ $L$、および係数境界 $c$ などのパラメータへの明示的な依存関係を含む完全な技術的記述（定理6）を提供している。また、中程度のネットワークサイズと現実的な機械精度において、一様な回復のために必要なサンプルサイズが天文学的な数値となり、学習タスクが計算上不可能であることを示すための数値検証ツールも含まれている。