기술적 요약: 임의의 축소 순서와 부정확한 활성화 함수 구현을 가진 부동소수점 신경망의 표현력

1. 문제 제기

신경망의 표현력에 대한 기존 이론적 프레임워크는 주로 정밀한 실수 연산에 의존합니다. 그러나 실제 신경망은 유한 정밀도 부동소수점 연산 하에서 작동하며, 이는 다음과 같은 특징을 가집니다:

• 유한 표현 가능성: 매개변수와 활성화 값은 기계수의 이산 집합에 속합니다.
• 반올림 오차: 산술 연산은 반올림 오차를 수반합니다.
• 비결합성: 부동소수점 덧셈은 결합법칙을 만족하지 않으므로, 아핀 변환의 출력은 축소 순서(항들을 합산하는 순서) 에 따라 달라집니다.
• 부정확한 구현: 실제 활성화 함수 (예: exp, tanh, sin) 의 구현은 종종 계산 비용을 최적화하기 위해 마지막 자리 단위 (ulp) 로 수 단위만큼 정확히 반올림된 값에서 벗어납니다.

부동소수점 표현력에 대한 이전 연구들은 다음과 같은 이상화된 가정에 의해 제한되어 왔습니다:

1. 분석을 조각별 선형 활성화 함수 (예: ReLU, Step) 로 제한함.
2. 고정된 왼쪽에서 오른쪽으로의 축소 순서를 가정함.
3. 정확히 반올림된 활성화 함수 구현을 가정함.

이러한 가정들은 축소 순서가 다양하고, 매끄럽고 널리 사용되는 활성화 함수 (예: Sigmoid, GELU, Swish) 가 유계 근사 오차로 구현되는 현대의 대규모 병렬 환경 (예: GPU) 에서의 네트워크 행동을 포착하지 못합니다. 따라서 이러한 현실적인 조건 하에서 부동소수점 신경망이 보편적 표현력을 유지하는지 여부는 여전히 불분명합니다.

2. 방법론

저자들은 부동소수점 신경망의 보편적 표현력을 분석하기 위한 일반적인 프레임워크를 제시합니다. 네트워크가 지정된 부동소수점 영역 사이의 모든 함수를 정확히 표현할 수 있을 때, 그 네트워크를 "보편적 표현자"로 간주합니다.

주요 정의 및 프레임워크

• 부동소수점 신경망 ($N(I,S)$): 임의의 축소 순서 $S$ 하에서 정의됩니다. 층 $\ell$의 아핀 변환은 $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$를 계산하며, 여기서 $\Sigma$는 순서 $o$에 따른 축소 합을 나타내고, $\otimes, \oplus$는 부동소수점 곱셈과 덧셈입니다.
• 구별 가능성: 소개된 핵심 개념은 $\sigma$-구별 가능성입니다. 영역 $X$가 $S$ 하에서 $\sigma$-구별 가능하다는 것은, 임의의 서로 다른 $x, x' \in X$에 대해 $\sigma(\phi(x)) \neq \sigma(\phi(x'))$가 되는 부동소수점 아핀 변환 $\phi$가 존재함을 의미합니다.
  • 필요성: 이 논문은 영역이 $\sigma$-구별 가능하지 않다면 네트워크가 해당 영역의 모든 함수를 표현할 수 없음을 증명합니다 (Lemma 2).
  • 충분성: 활성화 함수에 대한 약한 조건 (Condition 1) 하에서, $\sigma$-구별 가능성은 보편적 표현력을 보장하는 충분 조건임이 입증됩니다 (Theorem 5).

기술적 접근

1. 점 분리: 저자들은 활성화 함수의 출력이 부동소수점 격자에 대해 불연속적으로 변화하는 "점 분리" ($\eta$) 를 정의합니다 (즉, $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$). 그들은 정확히 반올림된 구현과 부정확한 구현 모두에 대해 이러한 점들이 존재하는 조건을 확립합니다.
2. 전달 가능성: 일련의 기술적 보조 정리 (Section V) 는 Condition 1 하에서 특정 부동소수점 쌍이 왼쪽에서 오른쪽으로의 덧셈과 활성화 함수를 사용하여 목표 값으로 "전달"될 수 있음을 보여줍니다. 이를 통해 특정 입력을 격리하는 네트워크를 구성할 수 있습니다.
3. 부정확성 처리: 유계 ulp 오차를 가진 구현의 경우, 저자들은 정밀도 $p$가 충분히 높을 때 (예: $p \geq 7$), 근사 오차가 필요한 점 분리들을 무너뜨리지 않도록 보장하는 조건 (Condition 2) 을 유도합니다.

3. 주요 기여

A. 일반적 구별 가능성 프레임워크

이 논문은 구별 가능성에 기반한 보편적 표현력을 위한 필요 및 충분 조건을 확립합니다.

• 필요 조건: 네트워크가 아핀 변환 followed by 활성화 함수를 통해 첫 번째 층에서 모든 서로 다른 입력 쌍을 구별하지 못한다면, 모든 함수를 표현할 수 없습니다. 이 프레임워크는 정확히 반올림된 코사인 (cosine) 과 같은 이전의 반례들을 더 넓은 함수 클래스로 일반화합니다.
• 충분 조건: 활성화 함수가 Condition 1(특정 출력 값 $C_0, C_1, C_2$의 존재) 을 만족하고 영역이 $\sigma$-구별 가능하면, 4 층 네트워크가 해당 영역의 모든 함수를 표현할 수 있습니다. 중요하게도, 이는 임의의 축소 순서에 대해 성립하며, 보편적 표현력이 특정 합산 시퀀스의 산물이 아님을 증명합니다.

B. 실제 활성화 함수로의 확장

이론은 조각별 선형 함수를 넘어 광범위한 매끄러운 실제 활성화 함수 클래스로 확장됩니다:

• 정확히 반올림된 경우: 이 논문은 Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish, 그리고 sin의 정확히 반올림된 버전에 대한 보편적 표현력을 증명합니다.
• 부정확한 구현: 저자들은 유계 ulp 오차(최대 $K=10$ ulps) 를 가진 구현이 보편적 표현자가 되기 위한 검증 가능한 조건을 제공합니다. 이는 exp 및 sin 과 같은 함수가 근사되는 실제 라이브러리를 포괄합니다.

C. 부정적 결과 및 반례

이 프레임워크는 특정 조건 하에서 보편적 표현자가 실패하는 특정 활성화 함수들을 식별합니다.

• Corollary 4: 정확히 반올림된 cosine, $\sqrt{1+x^2}$, cosh, 또는 $e^{-x^2}$를 사용하는 네트워크는 구별 가능성 조건을 충족하지 못하므로 특정 영역 (예: $[-2^{p+3}, 2^{p+3}]_F$) 에서 모든 함수를 표현할 수 없습니다. 이는 코사인 활성화 함수의 알려진 반례를 일반화합니다.

4. 결과

이 논문은 다음과 같은 주요 정리를 확립합니다:

• Theorem 5: $\sigma$가 Condition 1 을 만족하고 $X$가 범위 $[-2^{e_{max}}, 2^{e_{max}}]_F$를 가지며 $\sigma$-구별 가능하면, 임의의 축소 순서 $S$ 하에서 모든 함수 $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$는 4 층 $\sigma$ 네트워크로 표현될 수 있습니다.
• Corollary 9 & 12: 정확히 반올림된 Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish, 그리고 sin의 경우, 보편적 표현력은 큰 영역 (예: $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$) 에서 성립합니다. 주목할 점은, 부동소수점 연산의 비아핀성으로 인해 항등 (Identity) 활성화 함수조차도 실수 연산과 달리 부동소수점 산술에서 보편적 표현자임이 입증되었다는 것입니다.
• Corollary 13 & 16: 유계 ulp 오차로 구현된 Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish, 그리고 sin(Condition 2) 의 경우, 정밀도 $p \geq 7$이면 보편적 표현력이 성립합니다.

5. 의의 및 주장

이 논문은 부동소수점 신경망에 대한 이론적 이해를 실질적으로 일반화한다고 주장합니다:

1. 현실성: 고정된 축소 순서, 정확한 반올림과 같은 이상화된 가정을 넘어, 실제 하드웨어 실행 (임의의 순서, 유계 ulp 오차) 을 반영하는 모델로 이동합니다.
2. 광범위한 적용성: GELU 및 Swish 와 같은 매끄러운 조각별 비선형 활성화 함수를 사용하는 네트워크의 표현력에 대한 첫 번째 이론적 보장을 제공합니다.
3. 근본적 통찰: 활성화 함수가 충분한 "분리" 속성을 유지하는 한, 부동소수점 산술에서의 "보편적 근사" 현상은 덧셈의 비결합성과 구현 부정확성에 대해 견고함을 보여줍니다.
4. 한계: 표현 가능한 값의 수가 너무 적어 유도된 조건이 특정 룩업 테이블 구현 없이는 성립하지 않는 저정밀도 포맷 (예: float8) 에 대해서는 결과가 제한적입니다. 또한 논문은 증명들이 특정 분리 점의 존재에 의존하며, 이는 코사인 (cosine) 과 같은 특정 함수나 매우 낮은 정밀도에서는 실패할 수 있음을 지적합니다.

저자들은 이러한 결과들이 조각별 선형성, 고정된 합산 순서, 또는 정확한 활성화 행동을 의존하지 않는 새로운 프레임워크에서 도출되었으며, 따라서 실제 유한 정밀도 환경에서의 신경망을 이해하기 위한 더 엄격한 기초를 제공한다고 강조합니다.