🤖 machine learning

Floating-Point Networks with Automatic Differentiation Can Represent Almost All Floating-Point Functions and Their Gradients

本論文は、実用的な浮動小数点演算および自動微分の下で動作するニューラルネットワークが、任意のターゲット関数の値およびそれに対応する勾配を理論的に表現できることを示し、普遍的近似の結果を現実世界の計算制約へと拡張するものである。

原著者： Sejun Park, Yeachan Park, Geonho Hwang

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

原著者： Sejun Park, Yeachan Park, Geonho Hwang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットにパズルを解く方法を教えようとしていると想像してください。純粋数学の世界では、ロボットが完璧で無限に精密な数値（実数など）を無限に供給されており、決して小さな間違いも犯さずに計算を行えると仮定します。このような完璧な条件下では、ニューラルネットワーク（ロボットの脳）が、単にパズルの答えを学習するだけでなく、パズルをわずかに微調整したときにその答えが「どのように変化するか」までも学習できることがすでに分かっていました。この「どのように変化するか」のことを、**勾配（グラディエント）**と呼びます。

しかし、現実のコンピュータは完璧な数値では動きません。コンピュータは浮動小数点数を使用しており、これは川に置かれた限られた数の「踏み石」のようなものです。踏み石の数は限られているため、コンピュータは数値を丸めなければならず、それが丸め誤差（ラウンドオフエラー）につながります。さらに、コンピュータがこれらの変化を計算する方法（自動微分と呼ばれる手法）は、これらの微小な誤差に依存する特定の、ステップ・バイ・ステップのレシピに基づいています。

この論文は、大きな問いを投げかけています。現実世界のコンピュータの脳は、すべての丸め誤差や限られた踏み石を抱えながらも、依然として「任意の答え」と「任意の変化（勾配）」を同時に学習することができるのだろうか？

コアとなる発見：「丸め」のマジックトリック

著者らは、答えは「イエス」であると言い、巧妙なトリックを用いてそれを証明しています。

ニューラルネットワークを工場の組立ラインだと考えてみてください。

旧来の視点： 完璧な数学の世界では、工場に特定の数値と特定の「変化率」を出力させたい場合、単に機械を調整すればよいのです。
現実世界の課題： 現実のコンピュータの世界では、「機械」（数学的演算）にはある不具合があります。つまり、完全に一貫しているわけではないのです。3つの数値を異なる順序で掛け合わせると、丸めによって結果がわずかに異なることがあります。これを非結合性と呼びます。

著者らは、この「不具合」が実はスーパーパワーであることを発見しました。

彼らは、浮動小数点ネットワークが**「両面のコイン」**のように機能するように構築できることを示しました。

面A（出力）： あなたが望む正確な答えを出す（例：「温度は25度です」）。
面B（勾配）： あなたが望むあらゆる変化の信号を出す（例：「入力をわずかに変えたとき、出力は正確にこれだけ変化します」）。たとえその変化の信号が、答え自体の数学的な内容とは全く無関係であったとしても、です。

「二つのトラック」の比喩

入力を受け取って結果を出すマシンを構築していると想像してください。

トラック1（答え）： マシンに「ハロー」と言わせたい。
トラック2（反応）： マシンを少し突っついただけで、マシンが「火事だ！」と叫ぶようにしたい。たとえ「ハロー」と「火事だ！」の間に論理的なつながりがなくても、です。

完璧な数学の世界では、反応（「火事だ！」）は答え（「ハロー」）と数学的に結びついていなければなりません。答えが変われば、反応も比例して変わります。これらを独立して選ぶことはできません。

しかし、浮動小数点の世界では、著者らは「丸め誤差」を秘密のコードとして利用できることを示しています。計算のステップ（例えば、掛け算の順序など）を注意深く配置することで、マシンは以下のことが可能になります。

答えを完璧に計算する。
同時に、答えとは全く無関係な「反応」を計算する。これにより、実質的に勾配をハッキングするのです。

なぜこれが重要なのか（論文による説明）

この論文は、病気の治療や自動運転車の構築について語っているわけではありません。その代わりに、これらのネットワークができる理論的な限界に焦点を当てています。

完全な制御： ネットワークに十分な層（深さ）があれば、任意のデータポイントと任意の勾配を適合させることができます。それは、テレビにどんな映像を表示させ、どんなボタン操作に対してどんな反応をさせるかを自由に決められるユニバーサルリモコンを持っているようなものです。
セキュリティとプライバシー： 勾配を独立して操作できるため、理論的には、正しい答えを出しつつ、攻撃者がデータを逆エンジニアリングするために使用する「手がかり（勾配）」を隠すようにネットワークを訓練できます。ネットワークに「はい」と言わせながら、その「ささやき（勾配）」には「何もありません」と言わせることができるのです。
数学のルールを破る： この論文は、「完璧な数学」と「コンピュータの数学」の根本的な違いを強調しています。完璧な数学において、勾配は関数の奴隷です。しかし、コンピュータの数学においては、丸め誤差のおかげで、勾配は自由なエージェントになれるのです。

「材料」

著者らは、この手法が今日使われている最も一般的な「活性化関数」（脳の中のスイッチ）に対して機能することを証明しました。

ReLU（最も一般的なスイッチ）
Sigmoid および Tanh（S字型の曲線）
Swish, GELU, ELU（より滑らかな新しいスイッチ）

標準的なフォーマット（16ビット、32ビット、または64ビットの浮動小数点数）を使用している限り、この「マジックトリック」が機能することを示しました。

まとめ

簡単に言えば、浮動小数点ニューラルネットワークは、私たちが考えていたよりも柔軟です。 コンピュータが微小な丸め誤差を作るおかげで、それらは「任意の答え」と「任意の変化の信号」を同時に出力するようにプログラムできるのです。たとえそれら二つが論理的に結びつくべきでないものであっても、です。この論文は、これらのネットワークがほとんどの関数とその勾配を表現できるほど強力であることを証明しており、コンピュータの限界（丸め誤差）を、完全な制御のための機能へと変えているのです。

技術要約：自動微分を用いた浮動小数点ネットワークは、ほぼすべての浮動小数点関数とその勾配を表現できる

1. 問題提起

現代のニューラルネットワークのアプリケーションでは、関数値の近似だけでなく、入力に対する勾配の計算も頻繁に求められます。これらの勾配は、科学的機械学習（偏微分方程式の解法）、感度解析、逆問題、強化学習、敵対的攻撃、および入力生成といったタスクにおいて極めて重要です。

近似理論における理論的結果は、実数パラメータと正確な算術を用いるニューラルネットワークが、コンパクトな領域上で微分可能な関数とその勾配の両方を近似できることを確立しています。しかし、これらの理論的保証は、実用的な実装に直接適用できるものではありません。現実世界のニューラルネットワークは、パラメータや中間値が有限の数値集合に制限され、演算に丸め誤差を伴う浮動小数点算術（IEEE 754標準）を使用するアルゴリズムとして動作します。その結果、実用的なネットワークは、連続的な実数値関数ではなく、一連の浮動小数点演算によって定義されるアルゴリズムとなります。さらに、これらのシステムにおける勾配は、この計算グラフに適用された自動微分（AD）（例：バックプロパゲーション）を介して計算されます。浮動小数点算術の下では、ADの出力は必ずしも微分可能な実関数の導関数ではなく、非結合性と丸めに左右される特定の計算手順の結果となります。

本研究が取り組む中心的な問題は、「浮動小数点ニューラルネットワークは、自動微分と組み合わされたとき、任意の関数値および任意の勾配を表現できるか？」という点です。

2. 方法論とフレームワーク

2.1 定義とセットアップ

著者らは、浮動小数点アフィン変換 $\rho_l$ と点ごとの活性化関数 $\sigma$ の合成として、浮動小数点ニューラルネットワーク $f$ を以下のように定義します：
$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$
ここで、 $\rho_l(x) = A_l \otimes x \oplus b_l$ です。ここで、 $\otimes$ と $\oplus$ は、それぞれ丸め操作を含む浮動小数点乗算および加算を表します。

勾配計算は、逆モード自動微分アルゴリズム $DAD $を用いてモデル化されます。複合関数$ \phi_x \circ f $（ここで$ \phi_x $はスカラー関数（例：損失関数）、$ \phi'_x$ はその導関数）に対して、勾配は次のように計算されます：
$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$
決定的なのは、浮動小数点演算の非結合性を考慮するために、乗算が左結合的（ $((a \otimes b) \otimes c) \dots$ ）に評価されることです。この非結合性は、証明において利用される重要なメカニズムです。

2.2 ネットワーク構築戦略

表現可能性を証明するために、著者らは関数値の表現と勾配の表現を分離するように設計された特定のネットワークを構築します。コアとなる戦略は、連結操作（ $\#$ ）を用いて2つのサブネットワーク $f_1$ と $f_2$ を組み合わせる手法です：

$f_1$ （関数値ネットワーク）： 目標とする関数値 $f^*(x)$ を出力しつつ、ゼロ勾配（ $D f_1, x = 0$ ）を生み出すように設計されています。これは、特定の入力に対する指示関数を構築し、連続的な重みによる乗算を通じて勾配を抑制することで実現されます。
$f_2$ （勾配ネットワーク）： 入力勾配が非ゼロであるときに、特定の目標勾配 $g^*(x)$ を生成しつつ、ゼロ関数値（ $f_2(x) = 0$ ）を出力するように設計されています。このネットワークは、浮動小数点乗算の非結合性を利用して、関数出力とは独立して勾配の大きさと方向を操作します。

最終的なネットワークは $f = f_2 \# f_1$ として構築され、これによりネットワークは $f(x) = f^*(x)$ かつ $DAD(\phi_x \circ f, x) = g^*(x)$ を同時に満たすことが可能になります。

2.3 活性化関数に関する条件

証明は、活性化関数 $\sigma$ およびその導関数 $\sigma'$ に課される特定の技術的条件（条件1–3）に依存しています。これらの条件は、以下の能力を保証するためのものです：

入力を区別すること（条件1）。
オーバーフローを起こすことなく勾配を抑制または増幅すること（条件2）。
第1層において特定の勾配値を生成すること（条件3）。

著者らは、標準的な浮動小数点形式（float16, float32, float64, bfloat16, および8ビット形式）の下で、ReLU, ELU, GELU, Swish, Sigmoid, tanh を含む幅広い実用的な活性化関数に対して、これらの条件が成立することを検証しています。

3. 主な貢献と結果

3.1 任意の値と勾配の表現（定理 3.1 / 定理 1）

主要な結果は、ほとんどすべての目標関数 $f^*$ と目標勾配 $g^*$ （入力勾配がゼロの場合に $g^*(x)=0$ となる緩やかな整合性条件を伴う）に対して、次を満たす浮動小数点ネットワーク $f$ が存在することを確立しています：
$f(x) = f^*(x) \quad \text{および} \quad DAD(\phi_x \circ f, x) = g^*(x)$
これは、標準的な活性化関数（ReLU, ELU, GELU, Swish）についてはわずか7層のネットワークで、Sigmoid および tanh についてはそれより少し多い層数で、ドメインが特定の範囲（例： $[-\Omega/8, \Omega/8]^d$ ）内にある場合に成立します。

3.2 入力導関数に依存する勾配の表現（定理 3.2 / 定理 2）

著者らはこの結果を拡張し、単一のネットワーク $f$ が、入力 $x$ と入力勾配 $y = \phi'_x(f(x))$ の両方の任意の関数である勾配を表現できることを示しました。具体的には、ほとんどすべての $f^*$ および対称性 $g^*(x, -y) = -g^*(x, y)$ を満たす $g^*(x, y)$ に対して、次を満たすネットワーク $f$ が存在します：
$f(x) = f^*(x) \quad \text{および} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$
この結果は、正確な算術と浮動小数点算術の間の根本的な相違を浮き彫りにしています。正確な算術において、合成関数の勾配 $\nabla(\phi \circ f)$ は必ず $\phi'(f(x))$ に比例しなければなりません。しかし、非結合性と丸みにより、浮動小数点算術におけるネットワークは、関数出力を正しく維持しながら、入力勾配に比例しない勾配を生成できるのです。これは、勾配を実質的に「操作」していることを意味します。

3.3 他の活性化関数への一般化

論文では、条件1–3を満たす活性化関数に対する一般化された定理（定理 5 および 7）を提供しており、これらの結果を特定の集合 $\Sigma$ から一般的な活性化関数へと拡張しています。

4. 重要性と主張

本論文は、浮動小数点ニューラルネットワークは、自動微分を用いることで、関数値と勾配の両方に対して普遍的な表現能力を持つことを実証していると主張しています。これは、正確な算術を前提とする古典的な近似理論では保証されていない特性です。

本研究の意義は、以下の点にあります：

理論と実務の架け橋： ニューラルネットワークが勾配を適合させる理論的能力が、実際のディープラーニングフレームワーク（PyTorch, TensorFlowなど）で使用されているアルゴリズムにも及んでいることを検証しています。これらは浮動小数点算術に依存しています。
勾配操作： 浮動小数点ネットワークは、目標とするタスク（関数値の適合）を実行しながら、同時に「操作された」勾配を持つことができることを明らかにしています。これは、実用的な設定におけるADで計算される勾配が、必ずしも基礎となる数学的関数の導関数を厳密に反映しているわけではなく、計算グラフと丸みの産物である可能性があることを示唆しています。
セキュリティとプライバシーへの影響： 関数値を適合させつつ、任意の（例えばゼロや誤導的な）勾配を出力できる能力は、勾配ベースの攻撃や推論に対する保護メカニズムを示唆しています。なぜなら、勾配情報は関数挙動から切り離すことが可能だからです。
科学的機械学習： 本結果は、解とその感度（勾配）の両方が必要とされる物理モデルのサロゲートとしてニューラルネットワークを使用することの理論的基盤を支持しており、有限精度の実装が理論的に必要な忠実度を達成できることを裏付けています。

著者らは、結果が「ほとんどすべての」関数（測度ゼロの特異なケースを除く）に対して成立し、ドメインのサイズや浮動小数点の精度に関する特定の条件（主要な定理には $E \ge 6$ が必要であるが、低精度への拡張も存在する）に依存していることを述べ、控えめなトーンを維持しています。彼らは、すべての 可能な勾配挙動が制約なしに達成可能であると主張しているわけではありません（例えば、対称性の制約 $g^*(x, -y) = -g^*(x, y)$ はADの定義に固有のものです）。