EML Trees Are Universal Approximators

技術要約：EMLツリーは万能近似器である

問題提起
本論文は、新たに導入されたExp-Minus-Log（EML）関数の木構造による合成が、滑らかな関数に対する万能近似器として十分な表現能力を備えているかという問いに取り組んでいる。先行研究[22]では、EMLの合成によって任意の初等関数（三角関数や指数関数を含む）を明示的な記号構成を通じて「正確に」表現できることが示されていたが、これらの構造がソボレフ空間 $W^{k,\infty}$ における任意の関数を、定量化可能な誤差範囲内で近似できるかについては、依然として理論的な未解決問題であった。さらに、本論文では、学習可能なパラメータを備えた一般化EML関数が、先行文献で探索された離散的な記号的復元とは異なり、連続的なパラメータ空間において効果的に最適化できるかどうかを調査している。

手法
著者らは、局所的な多項式近似と明示的な代数的表現を組み合わせた構成的証明戦略を通じて、EMLツリーの厳密な近似理論を開発している。

1. 一般化EML関数: 本研究では、1ユニットあたり6つの学習可能なパラメータを組み込んだ、一般化EML原子 $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$ を導入している。この一般化により、係数を直接エンコードすることが可能となり、定数「1」から再帰的に定数を構築する必要性が回避される。これにより、ツリーのサイズにおけるスケーリングの悪化を防いでいる。
2. 構成的近似フレームワーク: 万能近似定理の証明は、以下の3段階のプロセスに基づく。
   • 局所化 (Localization): ドメイン $(0,1]^d$ を小さな立方体に分割する。Bramble–Hilbertの補題を用いて、重なり合う立方体上でターゲット関数に対する局所的な多項式近似体を構成する。
   • 平滑化 (Smoothing): 指示関数による局所多項式のパッチングに伴う不連続性を避けるため、シフトおよびスケール変換された双曲線正接 ($\tanh$) 関数を用いて、滑らかな「近似的な単位の分割 (approximate partition of unity)」を構成する。
   • 明示的構成 (Explicit Construction): 必要な代数演算（加算、減算、乗算、除算、指数演算）および $\tanh$ 関数自体が、EMLツリーによって正確に表現できることを著者らは示している。これらの「ブロック」を合成することで、グローバルに平滑化された多項式近似を正確に表現するEMLツリーを構成する。
3. 特異性の処理: 自然対数は非正の引数に対して定義されないため、理論的結果は当初、半開ドメイン $(0,1]^d$ 上で確立される。著者らは、ドメインを内部へと押し込むアフィン縮小写像を近似体と合成することにより、これらの結果を閉区間 $[0,1]^d$ へと拡張し、境界効果を制御している。
4. 実証的検証: 著者らは、勾配ベースの最適化（Adamに続くL-BFGS）を用いたEML型のツリーのための学習アルゴリズムを実装した。5つの一次元ベンチマーク関数を用いてモデルをテストし、実数値パラメータ化と複素数パラメータ化を比較した。

主な貢献

• 万能近似定理: 本論文は、EMLツリーがソボレフ空間 $W^{k,\infty}((0,1]^d)$ の関数に対する万能近似器であることを証明している。この定理は、特定の近似誤差を達成するために必要なEMLツリーのサイズ（原子数）と深さの明示的な上限を提供しており、これらは誤差の逆数および次元に対して多項式的にスケールする。
• 閉ドメインへの拡張: ゼロにおける対数特異点を回避するためにアフィン縮小を利用することで、近似保証を閉立方体 $[0,1]^d$ へと拡張する系（corollary）を提示している。
• 一般化されたパラメータ化: 6つのパラメータを持つ一般化EML関数の導入は、オペレータのよりコンパクトな表現を容易にし、係数の直接的なエンコードを可能にする。これは、構成的証明および実用的な最適化において極めて重要である。
• オペレータの明示的構成: 加算、乗算などの初等演算および $\tanh$ 関数をEMLツリーを用いて構成する方法の詳細な記述を提供し、近似理論に必要な構成的ビルディングブロックを確立している。

結果

• 理論的側面: 本論文は、任意の $f \in W^{s,\infty}([0,1]^d)$ に対して、近似誤差が $W^{k,\infty}$ ノルムにおいて $O(N^{-(s-k)})$ で減衰するようなEMLツリー $\tilde{p}_N^\theta$ が存在することを確立している。ここで $N$ はドメイン分割の解像度に関連する。ツリーのサイズと深さは、次元 $d$、滑らかさ $s$、およびターゲットの解像度の関数によって抑えられる。
• 実証的側面: 一次元のターゲット（多項式、$\tanh$、$\sin$、ガウス関数、および変調サイン波）を用いた実験において、一般化されたEMLツリーは、固定された計算予算内で、深さ4においてほとんどのターゲットに対し1%未満の相対RMSEを達成した。
  • 多項式および双曲線正接のターゲットに対しては、実数値パラメータ化で十分であった。
  • 複素数パラメータ化は、高度に振動するターゲット（例：$\sin(3x)e^{-x^2/2}$）に対して、オイラーの公式を介して三角関数を正確に表現できる能力に起因すると考えられる、測定可能な優位性を示した。
  • 解釈性の限界: 「グリーディ・スナップ (greedy snap)」分析により、学習された連続パラメータが、構成的証明によって予測された離散的な記号構成（例：$\{0, \pm 1\}$）に収束しなかったことが明らかになった。パラメータのわずかな部分しか離散値にスナップせず、原子が完全に離散化することもしなかった。これは、ツリーが関数値を正確に近似していても、必ずしも理論的証明から導出された特定の記号構造を復元するわけではないことを示唆している。

意義および主張
本論文は、EMLツリーを「理論的根拠に基づいた関数近似の枠組み」として確立することを主張している。初等関数の記号的な正確性と、連続パラメータの統計的学習との間の溝を埋めることで、本研究はEMLベースのアーキテクチャの表現能力に対して厳密な正当性を与えている。

著者らは、実証的な結果の実用的な意味合いについては控えめな姿勢を保っている。彼らは、本研究が近似定理の収束率の完全な検証ではなく、EMLツリーの実用的な能力に対する「サニティチェック（妥当性確認）」として機能することを明示している。学習されたモデルは、記号的な再構成ではなく連続的な近似器として機能していることを認め、離散的な記号構造を復元するには、追加の構造的正則化や帰納バイアスが必要であり、それらは今後の調査課題として残されていると述べている。本研究は、EMLツリーをニューラルネットワーク、物理情報に基づくニューラルネットワーク、および記号回帰における普遍的近似の広範な文献と結びつけ、解釈可能かつ表現力豊かな関数近似のための実行可能な選択肢として位置づけている。