技術的サマリー：任意の縮約順序と不正確な活性化関数実装を伴う浮動小数点ニューラルネットワークの表現力

1. 問題定義

ニューラルネットワークの表現力に関する既存の理論的枠組みは、主に正確な実数演算に依存している。しかし、実用的なニューラルネットワークは有限精度の浮動小数点演算の下で動作しており、以下の特徴を有する：

• 有限の表現可能性: パラメータと活性化値は、機械数と呼ばれる離散集合に属する。
• 丸め誤差: 算術演算には丸め誤差が生じる。
• 非結合性: 浮動小数点の加算は非結合的であり、アフィン変換の出力は縮約順序（項を合計する順序）に依存する。
• 不正確な実装: 活性化関数（例：exp、tanh、sin）の実用的な実装は、計算コストを最適化するために、正確に丸められた値から最後の桁数単位（ulp）程度逸脱することが多い。

浮動小数点の表現力を取り扱った先行研究は、以下のような理想化された仮定によって制限されてきた：

1. 解析を区分的線形な活性化関数（例：ReLU、ステップ関数）に限定すること。
2. 固定された左から右への縮約順序を仮定すること。
3. 正確に丸められた活性化関数の実装を仮定すること。

これらの仮定は、縮約順序が変動し、かつ滑らかで広く使用される活性化関数（例：シグモイド、GELU、Swish）が有界な近似誤差で実装されている、現代の超大規模並列環境（例：GPU）におけるネットワークの振る舞いを捉えきれていない。その結果、これらの現実的な条件下において、浮動小数点ニューラルネットワークが普遍的代表性を保持するかどうかは依然として不明である。

2. 手法

著者らは、浮動小数点ニューラルネットワークの普遍的代表性を分析するための一般的な枠組みを導入する。ネットワークが指定された浮動小数点ドメイン間のすべての関数を正確に表現できる場合、そのネットワークは「普遍的代表器」とみなされる。

主要な定義と枠組み

• 浮動小数点ニューラルネットワーク ($N(I,S)$): 任意の縮約順序 $S$ の下で定義される。層 $\ell$ におけるアフィン変換は、$\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ を計算する。ここで、$\Sigma$ は順序 $o$ に従った縮約和を表し、$\otimes$ と $\oplus$ はそれぞれ浮動小数点の乗算と加算である。
• 識別可能性: 導入された核心的な概念は$\sigma$-識別可能性である。ドメイン $X$ が $S$ の下で $\sigma$-識別可能であるとは、任意の異なる $x, x' \in X$ に対して、ある浮動小数点アフィン変換 $\phi$ が存在し、$\sigma(\phi(x)) \neq \sigma(\phi(x'))$ となることをいう。
  • 必要性: 本論文は、あるドメインが $\sigma$-識別可能でない場合、そのネットワークはそのドメイン上のすべての関数を表現できないことを証明している（補題 2）。
  • 十分性: 活性化関数に関する穏やかな条件（条件 1）の下で、$\sigma$-識別可能性が普遍的代表性にとって十分であることが示されている（定理 5）。

技術的アプローチ

1. 点の分離: 著者らは、活性化関数の出力が浮動小数点グリッドに対して不連続に変化する「分離点」($\eta$) を定義する（すなわち、$\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$）。これら点が正確に丸められた実装と不正確な実装の両方において存在する条件を確立する。
2. 転移性: 一連の技術的補題（第 V 節）は、条件 1 の下で、特定の浮動小数点数のペアが、左から右への加算と活性化関数を用いて目標値へ「転移」可能であることを示している。これにより、特定の入力を分離するネットワークの構築が可能となる。
3. 不正確さへの対処: 有界な ulp 誤差を持つ実装に対して、著者らは条件 2 を導出する。これは、精度 $p$ が十分に高い場合（例：$p \geq 7$）、近似誤差が必要な分離点を崩壊させないことを保証する。

3. 主要な貢献

A. 一般的な識別可能性枠組み

本論文は、識別可能性に基づいた普遍的代表性のための必要十分条件を確立する。

• 必要条件: 最初の層において、アフィン変換 followed by 活性化関数を通じて、すべての異なる入力ペアを識別できないネットワークは、すべての関数を表現できない。この枠組みは、正確に丸められたコサインなどの以前の反例を、より広範な関数クラスに一般化する。
• 十分条件: 活性化関数が条件 1（特定の出力値 $C_0, C_1, C_2$ の存在）を満たし、かつドメインが $\sigma$-識別可能であれば、4 層ネットワークはそのドメイン上の任意の関数を表現できる。重要なのは、これは任意の縮約順序に対して成り立ち、普遍的代表性が特定の合計順序の産物ではないことを証明している点である。

B. 実用的な活性化関数への拡張

この理論は、区分的線形関数を超えて、広範な滑らかな実用的活性化関数に拡張される：

• 正確に丸められた場合: 本論文は、シグモイド、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish、および sinの正確に丸められたバージョンに対する普遍的代表性を証明する。
• 不正確な実装: 著者らは、有界な ulp 誤差（最大 $K=10$ ulps）を持つ実装が普遍的代表器として機能し続けるための検証可能な条件を提供する。これには、exp や sin などの関数が近似される実用的なライブラリが含まれる。

C. 否定的結果と反例

この枠組みは、特定の条件下で普遍的代表器として失敗する特定の活性化関数を特定する。

• 系 4: 正確に丸められたコサイン、$\sqrt{1+x^2}$、cosh、または $e^{-x^2}$ を使用するネットワークは、識別可能性条件を満たさないため、特定のドメイン（例：$[-2^{p+3}, 2^{p+3}]_F$）上のすべての関数を表現できない。これはコサイン活性化関数の既知の反例を一般化するものである。

4. 結果

本論文は、以下の主要な定理を確立する：

• 定理 5: $\sigma$ が条件 1 を満たし、$X$ が範囲 $[-2^{e_{max}}, 2^{e_{max}}]_F$ において $\sigma$-識別可能であれば、任意の関数 $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ は、任意の縮約順序 $S$ の下で 4 層 $\sigma$ ネットワークによって表現可能である。
• 系 9 および 12: 正確に丸められたシグモイド、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish、および sinについては、広範なドメイン（例：$(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$）において普遍的代表性が成り立つ。特筆すべきは、浮動小数点演算の非アフィン性により、恒等写像活性化関数さえも（実数演算とは異なり）浮動小数点演算において普遍的代表器となることが示された点である。
• 系 13 および 16: シグモイド、tanh、ReLU、ELU、SeLU、GELU、Swish、Mish、および sinが有界な ulp 誤差（条件 2）で実装されている場合、精度 $p \geq 7$ であれば普遍的代表性が成り立つ。

5. 意義と主張

本論文は、浮動小数点ニューラルネットワークの理論的理解を大幅に一般化すると主張している：

1. 現実性: 固定された縮約順序や正確な丸めといった理想化された仮定を超え、実際のハードウェア実行（任意の順序、有界な ulp 誤差）を反映するモデルへと移行している。
2. 広範な適用性: 現実的な浮動小数点意味論の下で、滑らかで区分的線形ではない活性化関数（GELU や Swish など）を使用するネットワークの表現力に対する、初の理論的保証を提供する。
3. 根本的な洞察: 活性化関数が十分な「分離」特性を維持する限り、浮動小数点演算における「普遍近似」の現象は、加算の非結合性や実装の不正確さに対して頑健であることを示している。
4. 限界: 結果は、表現可能な値の数が少なく、導出された条件が特定のルックアップテーブル実装なしには成り立たない低精度形式（例：float8）に関しては限定的である。また、証明は特定の分離点の存在に依存しており、コサインのような特定の関数や非常に低い精度では失敗する可能性があることも指摘している。

著者らは、これらの結果が区分的線形性、固定された合計順序、または正確な活性化挙動に依存しない新しい枠組みから導き出されたものであり、これにより実用的な有限精度環境におけるニューラルネットワークの理解に対するより厳密な基盤を提供していると強調している。