기술 요약: 자동 미분을 사용하는 부동 소수점 네트워크는 거의 모든 부동 소수점 함수와 그 기울기를 표현할 수 있다

1. 문제 정의

현대적인 신경망 응용 분야는 종종 함수 값의 근사뿐만 아니라 입력에 대한 기울기(gradient)의 계산도 요구한다. 이러한 기울기는 과학적 머신러닝(편미분 방정식 풀이), 민감도 분석, 역문제(inverse problems), 강화 학습, 적대적 공격 및 입력 생성과 같은 작업에 매우 중요하다.

근사 이론(approximation theory)의 이론적 결과들은 실수 매개변수와 정밀한 산술(exact arithmetic)을 사용하는 신경망이 컴팩트한 도메인 상에서 미분 가능한 함수와 그 기울기를 모두 근사할 수 있음을 확립했다. 그러나 이러한 이론적 보장은 실제 구현에 직접적으로 적용되지 않는다. 실제 세계의 신경망은 실수의 연속적인 함수라기보다 부동 소수점 연산(IEEE 754 표준)의 시퀀스로 정의되는 알고리즘으로 동작하며, 여기서 매개변수와 중간값은 유한한 숫자의 집합으로 제한되고 연산에는 반올림 오차가 포함된다. 또한, 이러한 시스템의 기울기는 이 계산 그래프에 적용된 자동 미분(AD, 예: 역전파)을 통해 계산된다. 부동 소수점 산술 하에서 AD 출력은 반드시 미분 가능한 실수 함수의 도함수여야 하는 것이 아니라, 비결합성(non-associativity)과 반올림의 영향을 받는 특정 계산 절차의 결과물이다.

본 연구가 다루는 핵심 문제는 다음과 같다: 부동 소수점 신경망이 자동 미분과 결합되었을 때, 임의의 함수 값과 임의의 기울기를 표현할 수 있는가?

2. 방법론 및 프레임워크

2.1 정의 및 설정

저자들은 부동 소수점 아핀 변환 $\rho_l$과 점별 활성화 함수 $\sigma$의 합성으로 구성된 부동 소수점 신경망 $f$를 다음과 같이 정의한다:
$$f(x) = \rho_L \circ \sigma \circ \rho_{L-1} \circ \dots \circ \sigma \circ \rho_1(x)$$
여기서 $\rho_l(x) = A_l \otimes x \oplus b_l$이다. 이때 $\otimes$와 $\oplus$는 반올림 연산을 포함하는 부동 소수점 곱셈과 덧셈을 나타낸다.

기울기 계산은 역방향 자동 미분(reverse-mode automatic differentiation) 알고리즘인 $DAD$를 사용하여 모델링된다. 스칼라 함수$\phi_x$(예: 손실 함수)와 그 도함수$\phi'_x$에 대한 합성 함수$\phi_x \circ f$의 경우, 기울기는 다음과 같이 계산된다:
$$DAD(\phi_x \circ f, x) = \phi'_x(f(x)) \otimes \rho'_L(z_L) \otimes \sigma'(y_{L-1}) \otimes \dots \otimes \rho'_1(x)$$
결정적으로, 부동 소수점 연산의 비결합성을 고려하여 곱셈은 좌결합적(left-associative, $((a \otimes b) \otimes c) \dots$) 방식으로 평가된다. 이 비결합성은 증명에서 활용되는 핵심 메커니즘이다.

2.2 네트워크 구축 전략

표현 가능성을 증명하기 위해 저자들은 함수 값 표현과 기울기 표현을 분리하는 특정 네트워크를 구축한다. 핵심 전략은 두 서브 네트워크 $f_1$과 $f_2$를 결합 연산($\#$)을 사용하여 결합하는 것이다:

1. $f_1$ (함수 값 네트워크): 목표 함수 값 $f^*(x)$를 출력하면서 동시에 제로 기울기($D f_1, x = 0$)를 생성하도록 설계되었다. 이는 특정 입력에 대한 지시 함수(indicator functions)를 구축하고, 작은 가중치를 순차적으로 곱함으로써 기울기를 억제함으로써 달성된다.
2. $f_2$ (기울기 네트워크): 입력 기울기가 0이 아닐 때 특정 목표 기울기 $g^*(x)$를 생성하면서 함수 값은 0($f_2(x) = 0$)을 출력하도록 설계되었다. 이 네트워크는 부동 소수점 곱셈의 비결합성을 활용하여 함수 출력과는 독립적으로 기울기의 크기와 방향을 조작한다.

최종 네트워크는 $f = f_2 \# f_1$로 구축되어, 네트워크가 $f(x) = f^*(x)$와 $DAD(\phi_x \circ f, x) = g^*(x)$를 동시에 만족할 수 있게 한다.

2.3 활성화 함수에 대한 조건

증명은 활성화 함수 $\sigma$와 그 도함수 $\sigma'$에 부과된 특정 기술적 조건(조건 1~3)에 의존한다. 이 조건들은 다음 능력을 보장한다:

• 입력을 구별하는 능력 (조건 1)
• 오버플로 없이 기울기를 억제하거나 증폭하는 능력 (조건 2)
• 첫 번째 레이어에서 특정 기울기 값을 생성하는 능력 (조건 3)

저자들은 이러한 조건들이 ReLU, ELU, GELU, Swish, Sigmoid, tanh를 포함한 광범위한 실용적 활성화 함수들에 대해 표준 부동 소수점 형식(float16, float32, float64, bfloat16 및 8비트 형식) 하에서 성립함을 검증한다.

3. 주요 기여 및 결과

3.1 임의의 값 및 기울기 표현 (정리 3.1 / 정리 1)

주요 결과는 거의 모든 목표 함수 $f^*$와 목표 기울기 $g^*$ (입력 기울기가 0일 때 $g^*(x)=0$이라는 완만한 일관성 조건을 만족하는 경우)에 대해, $f(x) = f^*(x)$ 및 $DAD(\phi_x \circ f, x) = g^*(x)$를 만족하는 부동 소수점 네트워크 $f$가 존재함을 입증한다. 이는 표준 활성화 함수(ReLU, ELU, GELU, Swish)의 경우 단 7개 레이어만으로도 가능하며, Sigmoid 및 tanh의 경우 약간 더 많은 레이어가 필요하지만, 도메인이 특정 범위(예: $[-\Omega/8, \Omega/8]^d$) 내에 있다면 성립한다.

3.2 입력 미분에 의존하는 기울기 표현 (정리 3.2 / 정리 2)

저자들은 단일 네트워크 $f$가 입력 $x$와 입력 기울기 $y = \phi'_x(f(x))$ 모두의 임의의 함수인 기울기를 표현할 수 있음을 보여줌으로써 결과를 확장한다. 구체적으로, 대칭성 $g^*(x, -y) = -g^*(x, y)$를 만족하는 거의 모든 $f^*$와 $g^*(x, y)$에 대해, 다음을 만족하는 네트워크 $f$가 존재한다:
$$f(x) = f^*(x) \quad \text{및} \quad DAD(\phi_x \circ f, x) = g^*(x, \phi'_x(f(x)))$$
이 결과는 정밀한 산술과 부동 소수점 산술 사이의 근본적인 차이를 강조한다. 정밀한 산술에서 합성 함수 $\nabla(\phi \circ f)$의 기울기는 반드시 $\phi'(f(x))$에 비례해야 한다. 그러나 부동 소수점 산술에서는 비결합성과 반올림으로 인해, 네트워크가 함수 출력은 올바르게 유지하면서도 입력 기울기에 비례하지 않는 기울기를 생성하여 기울기를 효과적으로 "조작"할 수 있다.

3.3 기타 활성화 함수로의 일반화

본 논문은 조건 1~3을 만족하는 활성화 함수에 대한 일반화된 정리(정리 5 및 정리 7)를 제공하여, 결과를 특정 집합 $\Sigma$를 넘어 일반적인 활성화 함수로 확장한다.

4. 의의 및 주장

본 논문은 자동 미분을 사용하는 부동 소수점 신경망이 함수 값과 기울기 모두에 대해 보편적인 표현 능력을 갖추고 있음을 입증한다고 주장하며, 이는 정밀한 산술을 가정하는 고전적 근사 이론에서는 보장되지 않는 속성이다.

이 연구의 의의는 다음과 같다:

1. 이론과 실제의 연결: 신경망이 기울기를 맞출 수 있다는 이론적 능력이, 정밀한 산술을 가정하는 것을 넘어 현대 딥러닝 프레임워크(PyTorch, TensorFlow)에서 실제로 사용되는 알고리즘(부동 소수점 산술)에도 확장 적용됨을 검증한다.
2. 기울기 조작: 부동 소수점 네트워크가 목표 함수 값을 맞추는 작업을 수행하는 동시에 "조작된" 기울기를 가질 수 있음을 드러낸다. 이는 실제 환경에서 AD를 통해 계산된 기울기가 밑바탕이 되는 수학적 함수의 미러(mirror)가 아니라, 계산 그래프와 반올림의 결과물일 수 있음을 시사한다.
3. 보안 및 프라이버시 함의: 함수 값은 맞추면서 임의의(예: 0 또는 오도하는) 기울기를 출력할 수 있는 능력은, 기울기 정보를 함수 동작으로부터 분리할 수 있으므로 기울기 기반 공격이나 추론으로부터 보호하는 메커니즘을 제안할 수 있음을 시사한다.
4. 과학적 머신 러닝: 본 결과는 솔루션과 그 민감도(기울기)가 모두 필요한 물리 모델의 대리 모델(surrogate)로서 신경망을 사용하는 것에 대한 이론적 토대를 뒷받침하며, 유한 정밀도 구현이 필요한 충실도(fidelity)를 이론적으로 달eld할 수 있음을 확인해 준다.

저자들은 결과가 "거의 모든" 함수(측도가 0인 병리적인 경우 제외)에 대해 성립하며, 도메인 크기와 부동 소수점 정밀도에 관한 특정 조건(예: 주요 정리를 위해 $E \ge 6$ 필요, 단 낮은 정밀도에 대한 확장 존재)에 의존한다는 점을 언급하며 신중한 어조를 유지한다. 이들은 모든 가능한 기울기 동작이 제약 없이 달성 가능하다고 주장하는 것이 아니다 (예: $g^*(x, -y) = -g^*(x, y)$라는 대칭성 제약은 AD의 정의에 내재된 것이다).