Function approximation and nonparametric regression with binary and ternary ReLU networks

技術要約：バイナリおよびターナリReLUネットワークを用いた関数近似と非パラメトリック回帰

問題提起
深層ニューラルネットワーク（DNN）は、分類、パターン認識、予測のための標準的なツールとなっている。しかし、高い精度を達成するためには、膨大なパラメータ数を必要とするモデルが必要になることが多く、これが計算コストやメモリ要件の増大を招いている。これは、容量の限られたデバイスへのデプロイにおいて課題となる。これに対処するため、研究者たちは、重みを離散的な集合、具体的にはバイナリ重み $\{ \pm 1 \}$ およびターナリ重み $\{ 0, \pm 1 \}$ に制限する方法を模索してきた。このようなネットワークはメモリ削減やエネルギー効率の面で利点がある一方で、その表現能力に関する理論的な空白が存在する。具体的には、深層のバイナリおよびターナリReLUネットワークが、複雑な滑らかな関数を近似し、実数値のネットワークと同等の非パラメトリック回帰における最適な統計的レートを達成できるかという点である。

手法
本論文は、制限された重み集合を持つ深層スパースReLUネットワークの近似能力を調査している。著者は、重みが $[-1, 1]$ の範囲内、および特定の集合 $\{0, \pm 1/2, \pm 1, 2\}$ にある $\beta$-ヘルダー関数に対する深層スパースReLUネットワークに関する既存の結果に基づいている。

核心となる手法上の貢献は、厳密にバイナリ $\{ \pm 1 \}$ またはターナリ $\{ 0, \pm 1 \}$ の重みを持つネットワークを用いて、重みが $\{0, \pm 1/2, \pm 1, 2\}$ であるネットワークをシミュレートするための明示的なマッピングを構築することである。これは以下の手法を通じて行われる：

1. 重みのスケーリングと同次性： ReLU活性化関数の正の同次性（$a > 0$ に対して $\sigma(ax) = a\sigma(x)$）を利用して、スケーリング係数をネットワークアーキテクチャ内に吸収させる。
2. 層の拡張： 特定の線形結合およびスケーリング操作を複製するために、追加の隠れ層を導入する。
   • 重み $\{0, \pm 1/2, \pm 1, 2\}$ をシミュレートするために、著者は、2つの追加の隠れ層を用いて、ターナリ重み $\{0, \pm 1\}$（$1/2^{L+3}$ でスケーリング）を持つネットワークを構築する。これには、入力座標の複製と、ターゲットとなる重みを表現するための $\{0, \pm 1/2\}$ の線形結合が含まれる。
   • ターナリ重み $\{0, \pm 1/2\}$ をシミュレートするために、著者は、3つの追加の隠れ層を用いて、バイナリ重み $\{ \pm 1 \}$（$1/4^{L+6}$ でスケーリング）を持つネットワークを構築する。これには、必要な値を再構成するために重み $\pm 1/4$ を用いて入力の特定の線形結合を計算することが含まれる。
3. 非パラメトリック回帰分析： これらの近似結果を非パラメトリック回帰の経験的リスク最小化問題に適用する。著者は、重みが $\{0, \pm 1\}$ である深層スパースターナリReLUネットワークのクラスを定義し、そのクラスにおける経験的リスク最小化器の予測誤差を分析する。

主要な貢献と結果

1. 関数近似 (定理 2.2):
   本論文は、$[0, 1]^d$ 上のヘルダー・ボール $C^\beta_d(K)$ に属する任意の関数 $f_0$ が、以下によって $\epsilon$-近似可能であることを証明している：

   • 深層スパース・ターナリReLUネットワーク： 重みが $\{0, \pm 1\}$（$1/2^{L+3}$ でスケーリング）であるネットワーク。
   • 深層バイナリReLUネットワーク： 重みが $\{ \pm 1 \}$（$1/4^{L+6}$ でスケーリング）であるネットワーク。

   これらのネットワークの深さと幅は、重みが $\{0, \pm 1/2, \pm 1, 2\}$ であるネットワークに必要とされるものと比較して、幅の定数倍の増加と、深さのわずかな加算的な増加のみで済むことが示されている。近似誤差の境界は、$N$ をネットワークサイズおよびサンプル複雑性に関連するパラメータとしたとき、$O(N^{-\beta/d} + N^{-m})$ の次数に留まる。

2. 非パラメトリック回帰 (定理 3.1):
   著者は、ノイズを含む観測値 $Y_i = f_0(X_i) + \epsilon_i$ から未知の回帰関数 $f_0$ を復元する問題に、上記の近似結果を適用する。彼らは、重みが $\{0, \pm 1\}$ である深層スパース・ターナリReLUネットワークからなる仮説空間 $\mathcal{F}_n$ を定義する。

   主な結果は、$\mathcal{F}_n$ 上の経験的リスク最小化器 $\hat{f}_n$ の予測誤差（平均二乗誤差）が以下を満たすことを確立している：
   $$R(\hat{f}_n, f_0) \leq C n^{-\frac{2\beta}{2\beta+d}} \log^2 n$$
   ここで、$n$ はサンプルサイズ、$\beta$ は滑らかさのパラメータ、$d$ は次元である。

意義と主張
本論文は、重みが $\{0, \pm 1\}$ である深層スパース・ターナリReLUネットワークが、対数因子を除いて、$\beta$-滑らかな回帰関数に対する予測のミニマックスレートを達成するために理論的に十分であることを主張している。これは、ネットワークの深さとスパース性が適切に調整されている限り、重みをバイナリまたはターナリ集合へと極端に量子化しても、モデルの統計的効率性が根本的に損なわれないことを示している。

著者は、重みが $\{0, \pm 1/2, \pm 1, 2\}$ であるネットワークに関する先行研究（参考文献 [3]）を、これらの近似が厳密にバイナリまたはターナリの重みで実現可能であることを示すことで拡張したことを強調している。これらの結果は、高精度な回帰タスクにおいてバイナリおよびターナリネットワークを使用することへの理論的な正当性を与えており、そのようなネットワークの計算およびメモリ上の利点が、最適な収束レートを犠牲にすることなく実現できることを示唆している。