기술 요약: 수축 사상(Contractions)을 넘어선 딥 이퀄리브리엄 모델(DEQ)의 고정점 이론

1. 문제 정의

딥 이퀄리브리엄 모델(DEQ)은 단일 가중치 공유 레이어 $f_\theta$의 고정점 $z^*(x)$를 신경망의 출력으로 정의하며, 이는 $z^* = f_\theta(z^*, x)$를 만족한다. 이 접근 방식은 $L$개의 레이어를 명시적으로 쌓는 대신 암시적 평형(equilibrium) 정식화를 사용하여, 일정한 메모리 비용으로 무한한 깊이의 네트워크를 가능하게 한다.

그러나 DEQ에 대한 이론적 보장—특히 고정점 $z^*$의 존재성, 유일성 및 계산 가능성—은 거의 전적으로 **바나흐 수축 정리(Banach Contraction Principle)**에 의존하고 있다. 이는 연산자 $f_\theta(\cdot, x)$가 엄격한 리프시츠 수축(즉, 리프시츠 상수 $k < 1$)이어야 함을 요구한다. 저자들은 이 가정에 세 가지 결정적인 한계가 있음을 지적한다:

1. 구조적 제한: 많은 현대적 안정 구조들은 직교(orthogonal) 또는 등거리(isometric) 가중치 행렬을 사용하며, 이는 $f_\theta$를 엄격한 수축이 아닌 단지 비확장(nonexpansive)($k=1$) 상태로 만든다. 엄격한 수축은 소실/폭주 현상을 방지하고 표현력을 유지하기 위해 기피되기도 한다.
2. 훈련 제약: 하드 마진을 가진 스펙트럴 정규화(spectral normalization)를 통해 엄격한 수축 상수 $k < 1$을 강제하는 것은 확률적 경사 업데이트 하에서 유지하기 어렵고, 모델을 유용한 구성으로부터 편향되게 만들 수 있다.
3. 안정성 분석의 부재: 기존의 수렴 증명은 $k=1$이 허용될 때 파라미터 $\theta$가 업데이트됨에 따라 고정점 $z^*$가 어떻게 변화하는지에 대한 정량적 경계를 제공하지 못한다.

본 논문은 수축 사상 너머의 고정점 이론을 DEQ 설정에 적용하기 위한 간극을 다룬다.

2. 방법론

저자들은 두 가지 구별되는 고정점 이론 클래스를 활용하여 엄격한 수축 요구 사항을 완화하는 프레임워크를 개발한다.

A. Wardowski F-수축 (F-Contractions)

전역적인 리프시츠 상수 $k < 1$을 요구하는 대신, 저자들은 F-수축을 활용한다. 연산자 $T$가 F-수축이라는 것은 특정 단조성 및 극한 조건을 만족하는 함수 $F: (0, \infty) \to \mathbb{R}$와 상수 $\tau > 0$가 존재하여 다음을 만족함을 의미한다:
$$\|Tx - Ty\| > 0 \implies \tau + F(\|Tx - Ty\|) \leq F(\|x - y\|)$$
이 클래스는 리프시츠 수축(예: $F(t) = \ln t$를 선택할 경우)을 엄격히 포함하며, 전역적으로 리프시츠 수축적이지 않은 연산자도 허용한다.

B. 비확장 연산자를 위한 크라스노셀스키-만(Krasnoselskii–Mann, KM) 반복

단순히 비확장적인 연산자(바나흐 원리가 실패하고 표준 피카르 반복 $z_{n+1} = f(z_n)$이 수렴하지 않을 수 있는 경우)를 위해, 저자들은 순방향 솔버를 크라스노셀스키-만 반복으로 대체할 것을 제안한다:
$$z_{n+1} = (1 - \lambda)z_n + \lambda f(z_n)$$
여기서 $\lambda \in (0, 1)$는 단계 크기(step size)이다. 이 "감쇠된(damped)" 반복은 더 넓은 범위의 비확장 연산자에 대해 고정점으로 수렴하도록 설계되었다.

C. 메트릭 하정규성(Metric Subregularity)을 통한 안정성

수축 상수 없이 파라미터 변화($\theta \to z^*(\theta)$)에 따른 평형의 민감도를 분석하기 위해, 저자들은 메트릭 하정규성을 도입한다. 이 가정은 고정점까지의 거리가 잔차(residual)에 의해 유계임을 상정한다:
$$\|z - z^*(\theta)\| \leq \mu \|f_\theta(z, x) - z\|$$
이 조건은 수축을 요구하는 것보다 약하며, 비확장 영역에서의 안정성 분석을 가능하게 한다.

3. 주요 기여 및 이론적 결과

I. F-수축 하에서의 존재성 및 유일성 (정리 5.1)

$f_\theta$가 닫힌 집합 $D \subseteq \mathbb{R}^n$ 상에서 F-수축이면 다음이 성립함을 증명한다:

• 유일한 고정점 $z^*$가 존재한다.
• 표준 피카르 반복은 $z^*$로 수렴한다.
• 수렴 속도: 수렴은 $O(n^{1-1/k})$ (여기서 $k \in (0,1)$은 F-수축의 정의에서 오는 값)의 다항식 속도로 보장된다. 이는 엄격한 수축의 기하학적 속도보다는 일반적으로 느리지만 존재성을 입증하기에는 충분하다.

II. 비확장 연산자에 대한 수렴성 (정리 5.5)

단순히 비확장적인 연산자(예: 직교 레이어)의 경우:

• 존재성: $D$가 컴팩트하고 볼록하면(compact and convex), 고정점이 존재한다 (브라우어 정리(Brouwer's theorem)에 의해).
• 수렴성: KM 반복은 고정점으로 수렴한다.
• 속도: 저자들은 잔차 $\|f(z_n) - z_n\|$에 대한 비점근적 수렴 속도 $O(1/\sqrt{n})$을 확립한다.
• 알고리즘적 함의: 이는 엄격한 수축이 보장되지 않는 아키텍처를 위한 계산 가능한 순방향 솔버를 제공한다.

III. 안정성 및 데이터 의존성 (정리 5.10)

$f_\theta$가 비확장적이고 메트릭 하정규성을 만족한다는 가정하에:

• 평형 맵 $\theta \mapsto z^*(\theta)$는 **리프시츠 안정적(Lipschitz stable)**이다.
• 구체적으로, $\|z^*(\theta_1) - z^*(\theta_2)\| \leq \mu L \|\theta_1 - \theta_2\|$이며, 여기서 $L$은 파라미터에 대한 연산자의 리프시츠 상수이다.
• 이는 수축 상수가 없는 비수축 영역에서 DEQ 훈련을 위한 근본적인 강건성 경계를 제공한다.

IV. KM 호환 훈련 알고리즘 (섹션 6)

저자들은 수정된 훈련 알고리즘을 제안한다:

• 순방향 패스(Forward Pass): 브로이든 방법(Broyden's method)이나 표준 피카르 반복 대신 KM 반복을 사용한다.
• 역방향 패스(Backward Pass): 동일한 감쇠 반복 스킴을 사용하여 인접 방정식(adjoint equation) $v = \lambda (\frac{\partial f}{\partial z})^\top v + (1-\lambda)v + \frac{\partial L}{\partial z^*}$를 푼다. 이는 스펙트럴 반경이 1일 때 특이 행렬(singular)이 될 수 있는 $(I - \frac{\partial f}{\partial z})$의 역행렬을 구할 필요를 없애준다.

4. 실험 결과

저자들은 합성 수치 실험(NumPy, 배정밀도)을 통해 이론을 검증한다:

1. 아핀 반례 (E1):

   • 설정: $f(z) = Rz + c$인 20차원 아핀 맵 (여기서 $R$은 블록 대각 회전 행렬이며, 직교적이고 비수축적임).
   • 결과: 표준 피카르 반복은 수렴에 실패했다 (잔차가 일정하게 유지됨). KM 반복은 잔차가 $10^{-3}$까지 감소하며 수렴하였고, 이는 이론적 $O(1/\sqrt{n})$ 경계를 엄격히 준수한다.
   • 의의: 등거리 연산자에게는 KM 반복이 필수적임을 확인한다.

2. 비선형 DEQ 레이어 (E1'):

   • 설정: 레이어 $f(z) = \tanh(Wz + Ux)$에서 $W$가 직교(비수축)인 경우 vs $W' = 0.9W$ (엄격한 수축)인 경우.
   • 결과: 놀랍게도 피카르 반복은 두 경우 모두 수렴했다 (평균 52.6회 반복). 이는 KM 반복보다 성능이 좋았다.
   • 통찰: 포화하는 비선형성($\tanh$)이 평형 근처에서 국소적 수축을 제공했기 때문에, 선형 부분의 엄격한 수축 가정이 불필요해졌다. 저자들은 이를 "정직한 부정적 결과(honest negative finding)"라고 언급하며, KM 완화가 주로 선형에 가까운 영역이나 비포화 활성화 함수(예: ReLU)에서 "핵심적인 역할(load-bearing)"을 한다고 명시했다.

3. 안정성 체크 (E3):

   • 설정: 직교-$W$ $\tanh$ 레이어에서 파라미터 $U$를 섭동시키고 출력 변화율과 파라미터 변화율의 비율을 측정함.
   • 결과: 섭동 크기에 관계없이 비율이 유계(평균 0.716)로 유지되었으며, 이는 정리 5.10에서 예측한 리프시츠 안정성과 일치한다.

5. 의의 및 주장

본 논문은 엄격한 수축을 넘어 작동하는 DEQ를 위한 최초의 고정점 이론적 프레임워크를 제공한다고 주장한다. 그 의의는 다음과 같다:

• 이론적 확장: 기존의 바나흐 수축 요구 사항으로 인해 제외되었던, 최근 안정성을 위해 점점 더 인기를 얻고 있는 직교 및 등거리 아키텍처를 포함하도록 DEQ 이론을 확장한다.
• 실용적 솔버: 비수축 영역에서의 순방향 및 역방향 패스를 위한 계산 가능하고 증명 가능한 대안(KM 반복)을 제공한다.
• 강건성: 수축 상수가 없는 상황에서 메트릭 하정규성에 기반한 훈련 역학의 안정성 경계를 확립한다.
• 겸손함: 저자들은 비확장 연산자에 대해 KM 반복이 수렴을 보장하지만, 실제 비선형 레이어(예: $\tanh$)는 국소적 수축 특성 덕분에 표준 방식으로도 여전히 수렴할 수 있음을 명시적으로 인정한다. 이 프레임워크는 그러한 국소적 수축을 보장할 수 없는 아키텍처(예: 선형에 가까운 영역 또는 비포화 활성화 함수)를 위한 필수적인 안전망으로 제시된다.

저자들은 향후 연구 과제로 스파이킹 신경망(시간 차원 고정점)으로의 확장과, 대규모 이미지 분류 벤치마크(CIFAR-10/ImageNet)에서 KM 기반 솔버를 수축 기반 베이스라인과 비교하여 정확도 및 효율성을 검증하는 것을 꼽았다.