EML Trees Are Universal Approximators

기술 요약: EML 트리는 보편적 근사 함수이다

문제 정의
본 논문은 최근 도입된 EML(Exp-Minus-Log) 함수의 트리 구조적 합성이 매끄러운 함수(smooth functions)를 위한 보편적 근사 함수(universal approximators)로서 충분한 표현력을 갖는지에 대한 문제를 다룬다. 이전 연구[22]는 EML의 합성이 명시적인 기호적 구성(symbolic construction)을 통해 모든 초등 함수(삼각함수 및 지수함수 포함)를 정확하게 표현할 수 있음을 입증했으나, 이러한 구조가 정량화된 오차 범위를 가지며 소볼레프 공간(Sobolev space) $W^{k,\infty}$ 내의 임의의 함수를 근사할 수 있는지에 대해서는 이론적 의문으로 남아 있었다. 나아가, 본 논문은 학습 가능한 파라미터를 갖춘 일반화된 EML 함수가 기존 문헌에서 탐구된 이산적 기호 복구(discrete symbolic recovery)와는 구별되는 연속적 파라미터 공간에서 효과적으로 최적화될 수 있는지를 조사한다.

방법론
저자들은 국소 다항식 근사(local polynomial approximation)와 명시적 대수적 표현을 결합한 구성적 증명 전략을 통해 EML 트리에 대한 엄밀한 근사 이론을 개발한다.

1. 일반화된 EML 함수: 본 연구는 단위당 6개의 학습 가능한 파라미터를 포함하는 $EML_{\theta_i}(x,y) = a_i e^{b_i x + c_i} + d_i \ln(e_i y + f_i)$ 형태의 일반화된 EML 원자(atom)를 도입한다. 이러한 일반화는 계수를 직접 인코딩할 수 있게 하여, 숫자 1로부터 계수를 재귀적으로 구성해야 하는 필요성을 우회함으로써 트리 크기의 급격한 증가를 방지한다.
2. 구성적 근사 프레임워크: 보편적 근사 정리의 증명은 세 단계의 과정을 거친다.
   • 국소화(Localization): 영역 $(0,1]^d$를 작은 큐브들로 분할한다. 브람블-힐트 보조정리(Bramble–Hilbert lemma)를 사용하여, 중첩되는 큐브들 상에서 대상 함수의 국소 다항식 근사치를 구성한다.
   • 평활화(Smoothing): 지시 함수(indicator functions)를 사용하여 국소 다항식을 패칭할 때 발생하는 불연속성을 피하기 위해, 저자들은 이동 및 스케일링된 하이퍼볼릭 탄젠트($\tanh$) 함수를 사용하여 매끄러운 "근사 단위 분할(approximate partition of unity)"을 구축한다.
   • 명시적 구성: 저자들은 필요한 대수적 연산(덧셈, 뺄셈, 곱셈, 나눗셈, 지수 연산)과 $\tanh$ 함수 자체가 EML 트리에 의해 정확하게 표현될 수 있음을 입증한다. 이러한 "블록"들을 조합함으로써, 전역적으로 평활화된 다항식 근사치를 정확하게 나타내는 EML 트리를 구성한다.
3. 특이점 처리: 자연로그는 양수가 아닌 인자에 대해 정의되지 않으므로, 이론적 결과는 우선 반개방 영역(half-open domain) $(0,1]^d$에서 확립된다. 저자들은 도메인을 내부로 밀어넣는 아핀 축소 사상(affine contraction mapping)을 대상 함수와 합성하여 경계 효과를 제어함으로써, 이 결과를 폐쇄 영역 $[0,1]^d$로 확장한다.
4. 실증적 검증: 저자들은 경사 기반 최적화(Adam 후 L-BFGS)를 사용하여 EML 유형 트리에 대한 학습 알고리즘을 구현한다. 이들은 다섯 가지 1차원 벤치마크 함수를 대상으로 모델을 테스트하며, 실수 값 및 복소수 값 파라미터화를 비교한다.

주요 기여

• 보편적 근사 정리: 본 논문은 EML 트리가 소볼레도 공간 $W^{k,\infty}((0,1]^d)$ 내의 함수들에 대한 보편적 근사 함수임을 증명한다. 이 정리는 특정 근사 오차를 달성하기 위해 필요한 EML 트리의 크기(원자의 수)와 깊이에 대한 명시적인 상한을 제공하며, 이는 오차의 역수와 차원에 따라 다항식적으로 스케일링된다.
• 폐쇄 영역으로의 확장: 저자들은 로그 특이점(zero에서의 로그 특이점)을 피하기 위해 아핀 축소를 활용하여, 근사 보증을 폐쇄 큐브 $[0,1]^d$로 확장하는 추론을 제시한다.
• 일반화된 파라미터화: 6개 파라미터를 가진 일반화된 EML 함수의 도입은 연산자의 더 압축된 표현을 용이하게 하고 계수의 직접적인 인코딩을 가능하게 하며, 이는 구성적 증명과 실질적인 최적화에 필수적이다.
• 연산자의 명시적 구성: 본 연구는 EML 트리를 사용하여 기초 연산(덧셈, 곱셈 등)과 $\tanh$ 함수를 표현하기 위한 상세한 구성을 제공하여, 근사 이론에 필요한 구성적 빌딩 블록을 확립한다.

결과

• 이론적 결과: 본 논문은 임의의 $f \in W^{s,\infty}([0,1]^d)$에 대하여, 근사 오차가 $W^{k,\infty}$ 노름에서 $O(N^{-(s-k)})$로 감소하는 EML 트리 $\tilde{p}_N^\theta$가 존재함을 확립한다. 여기서 $N$은 도메인 분할의 해상도와 관련된다. 트리의 크기와 깊이는 차원 $d$, 매끄러움 $s$, 그리고 목표 해상도의 함수에 의해 제한된다.
• 실증적 결과: 1차원 대상 함수(다항식, $\tanh$, $\sin$, 가우시안, 변조된 사인파)에 대한 실험에서, 일반화된 EML 트리는 고정된 계산 예산 내에서 깊이 4 이내에 대부분의 대상에 대해 1% 미만의 상대적 RMSE를 달ek성했다.
  • 실수 값 파라미터화는 다항식 및 하이퍼볼릭 탄젠트 대상에 충분했다.
  • 복소수 값 파라미터화는 매우 진동하는 대상(예: $\sin(3x)e^{-x^2/2}$)에 대해 측정 가능한 이점을 제공했는데, 이는 오일러 항등식을 통해 삼각함수를 정확하게 표현할 수 있는 능력 때문인 것으로 보인다.
  • 해석 가능성의 한계: "그리디 스냅(greedy snap)" 분석 결과, 학습된 연속 파라미터가 구성적 증명에서 예측된 이산적 기호 구성(예: $\{0, \pm 1\}$)으로 붕괴되지 않았다. 아주 적은 비율의 파라미터만이 이산 값으로 스냅되었으며, 어떤 원자도 완전히 이산화되지 않았다. 이는 트리가 함수 값을 정확하게 근사하지만, 이론적 증명에서 도출된 특정 기호 구조를 반드시 복구하는 것은 아님을 시사한다.

의의 및 주장
본 논문은 EML 트리를 "이론적으로 근거가 있는 함수 근사 프레임워크"로 확립한다고 주장한다. 기초 함수 표현의 기호적 정확성과 연속 파라미터의 통계적 학습 사이의 간극을 메움으로써, 본 연구는 EML 기반 아키텍처의 표현 능력에 대한 엄밀한 정당성을 제공한다.

저자들은 실증적 결과의 실제적 함의에 대해 겸허한 태도를 유지한다. 그들은 이 연구가 근사 정리의 수렴 속도를 완전히 검증하기보다는 EML 트리의 실질적 능력에 대한 "정당성 확인(sanity check)" 역할을 한다고 명시적으로 밝힌다. 또한 학습된 모델이 기호적 재구성이 아닌 연속적 근사기로 작동함을 인정하며, 이산적 기호 구조를 복구하려면 추가적인 구조적 정규화나 귀납적 편향(inductive bias)이 필요하며, 이는 향후 연구 과제로 남겨둔다고 언급한다. 본 연구는 EML 트리를 신경망, 물리 정보 신경망(PINN), 기호 회귀(symbolic regression)의 광범위한 문헌과 연결하여, 해석 가능하고 표현력이 풍부한 함수 근사를 위한 유효한 대안으로 자리매김한다.