기술 요약: 신경망 분석에 대한 동역학계 관점

문제 정의

머신러닝(ML)과 인공지능(AI)의 실질적인 성공에도 불구하고, 이들의 응용과 그 기저에 깔린 메커니즘에 대한 이론적 이해 사이에는 상당한 격차가 존재한다. 저자들은 ML 알고리즘과 신경망 구조를 동역학계(dynamical systems)로 재정의함으로써 이 간극을 메워야 할 결정적인 필요성을 식별한다. 핵심 과제는 설명 가능하고 신뢰할 수 있는 AI에 관한 문제들을 동역학적 프레임워크 내에서 얼마나 효과적으로 재구성할 수 있는지, 고차원 및 이질적 시스템을 어떻게 다룰 것인지, 그리고 엄밀한 분석적 증명을 어느 정도까지 확립할 수 있는지 결정하는 것이다.

본 논문은 분야의 방향성 (b), 즉 신경망의 동작을 이해하기 위해 동역학계 이론의 확립된 수학적 도구들을 사용하여 ML 알고리즘 자체를 동역학계로 간주하는 데 초점을 맞춘다. 이는 "네트워크 상의 동역학"(고정된 가중치에서의 정보 전파)과 "네트워크의 동역학"(훈련 중 가중치의 진화)을 분리하는 과정을 포함한다.

방법론

저자들은 상미분방정식(ODE), 지연 미분방정식(DDE), 랜덤 동역학계(random dynamical systems), 그리고 상호작용 입자계(interacting particle systems, IPS)에서 파생된 개념들을 채택하여 동역학계 이론에 뿌리를 둔 다각적인 접근 방식을 사용한다. 방법론은 세 가지 주요 축을 중심으로 구조화된다:

1. 정보 전파 (네트워크 상의 동역학): 신경망의 입출력 맵을 하나의 동역학계로 분석한다. 저자들은 이산적 구조의 무한 깊이 극한을 활용하여 네트워크를 연속 시간 시스템(Neural ODEs 및 Neural DDEs)으로 모델링한다. 또한 미분 기하학, 모스 이론(Morse theory), 함수 해석학의 도구를 적용하여 이러한 맵의 기하학적 구조를 분류한다.
2. 훈련 동역학 (네트워크의 동역학): 최적화 알고리즘, 특히 경사 하강법(GD)과 확률적 경사 하강법(SGD)을 이산 시간 동역학계(또는 SGD의 경우 랜덤 동역학계)로 모델링한다. 저자들은 스펙트럼 이론, 리아푸노프 지수(Lyapunov exponents), 밀너러 끌개(Milnor attractors) 이론을 사용하여 고정점(최솟값)과 불변 다양체의 안정성을 분석한다.
3. 평균장 극한(Mean-Field Limits) 및 네트워크 토폴로지: 대규모 네트워크의 고차원 문제를 해결하기 위해 저자들은 평균장 극한 기법을 활용한다. 이들은 그래프 극한(graph limits), graphops, 유향 그래프 측도(digraph measures, DGMs)를 사용하여 기존의 상호작용 입자계 이론을 이질적 네트워크로 확장한다. 이를 통해 대규모 신경망에 대한 연속체 극한(Vlasov-Fokker-Planck 방정식)을 도출할 수 있다.

주요 기여 및 결과

1. 정보 전파 및 보편적 특성

본 논문은 네트워크 구조와 네트워크가 표현하거나 근사할 수 있는 함수의 클래스 사이의 엄밀한 연결 고리를 확립한다.

• 보편적 임베딩 vs 근사: 저자들은 보편적 근사(임의의 함수를 매우 잘 근사하는 것)와 보편적 임베딩(함수를 정확히 표현하는 것)을 구분한다.
• 증강된 구조 (Augmented Architectures): 증강된 Neural ODEs(위상 공간 차원 $m$이 입력 차원 $d$보다 큰 경우)는 $m \geq d + q$를 만족할 때 $C^k$ 함수에 대해 보편적 임베딩 특성을 가진다는 것이 증명되었다.
• 기하학적 분류: 모스 이론을 사용하여 저자들은 임계점의 존재와 정칙성(regularity)을 기준으로 스칼라 다층 퍼셉트론(MLP)과 Neural ODEs를 분류한다.
  • 비증강(Non-augmented) 구조는 특정 함수 클래스(예: 특정 경우의 엄격한 단조 함수)로 제한되며, 일반적으로 보편적 근사 능력이 부족하다.
  • 증강된(Augmented) 구조는 임계점을 포함한 더 넓은 범위의 함수 클래스를 표현할 수 있다.
  • 병목/퇴화(Bottleneck/Degenerate) 구조는 특정 제한을 보인다. 예를 들어, Neural ODE는 시간 경과에 따라 차원이 일정하게 유지되어야 하므로 은닉층에 병목이 존재할 수 없다.
• 메모리 의존성: Neural DDE의 경우, 저자들은 보편적 근사가 "메모리 용량"(립시츠 상수 $K$와 지연 시간 $\tau$의 곱)에 달려 있음을 보여준다. 메모리 용량이 충분히 크면, 위상 공간의 차원을 늘리지 않고도 Neural DDE가 보편적 임베딩과 근사를 달erm할 수 있다.

2. 훈련 동역학 및 안정성

저자들은 최적화 알고리즘을 동역학계로 취급하여 수렴 특성을 분석한다.

• 과결정(Overdetermined) vs 과매개변수화(Overparameterized) 영역:
  • 과결정 설정($D < qN$)에서 손실 지형(loss landscape)은 일반적으로 고립된 최솟값을 갖는다. 본 논문은 최솟값에 도달 가능한지를 판단하기 위해 밀너 안정성(끌개 영역의 르베그 측도에 기반함)을 적용한다. 안정성은 업데이트 맵의 야코비안(Jacobian)의 스펙트럼 반지름과 연결된다.
  • 과매개변수화 설정($D > qN$)에서 전역 최솟값의 집합은 연속적인 다양체(보간 솔루션)를 형성한다. 저자들은 이 다양체의 특정 영역으로의 수렴을 특징짓기 위해 안정성을 재정의한다.
• 안정성의 가장자리 (Edge of Stability): 분석 결과, 과매개변수화 설정에서 경사 하강법은 헤시안 노름이 $\|Hess L(\theta^*)|_{N(\theta^*)}\| \approx 2/\eta$를 만족하는 "평평한(flat)" 최솟값으로 수렴한다. 이는 "안정성의 가장자리" 현상에 대한 동역학적 설명을 제공하며, 더 큰 학습률이 휴리스틱하게 일반화 성능과 연관된 더 평평한 최솟값을 선택한다는 것을 시사한다.
• 확률적 경사 하강법 (SGD): SGD의 경우, 저자들은 이 과정을 랜덤 동역학계로 모델링한다. 저자들은 과매개변수화 영역에서 보간 솔루션의 안정성이 무작위 야코비안 행렬 곱의 리아푸노프 지수에 의해 결정됨을 입증한다. 음의 리아푸노프 지수는 국소적 안정성을 의미한다. 이 결과는 Furstenberg-Kesten 정리와 "규칙적인" 최솟값(생성된 반군(semigroup)의 강한 가약성)에 대한 가정에 기초한다.

3. 평균장 극한 및 일반 네트워크 모델

본 논문은 볼츠만 머신, 홉필드 네트워크, RNN, 트랜스포머를 포함한 다양한 네트워크 유형으로 평균장 이론을 일반화한다.

• 상호작용 입자계 (IPS): 많은 신경망 모델이 IPS의 특수한 사례로 식별된다. 저자들은 이러한 시스템이 평균장 극한을 통해 분석될 수 있음을 보여준다.
• 이질적 그래프 극한: 저자들의 중요한 기여는 **유향 그래프 측도(DGMs)**를 사용하여 이질적 네트워크로 평균장 이론을 확장한 것이다. 이 프레임워크를 통해 단순한 전결합(all-to-all coupling)을 넘어 복잡한 토폴로지(예: graphon)를 가진 대규모 네트워크에 대한 비국소적 Vlasov-Fokker-Planck 방정식을 도출할 수 있다.
• 생성 모델: 본 논문은 생성 모델(GAN, 확산 모델)을 동역학적 개념과 연결한다. GAN은 복제자 역학(replicator dynamics)과 연결된 제로섬 게임으로 프레임화되며, 확산 모델은 SDE 및 이와 관련된 Fokker-Planck 방정식으로 분석된다. 점수 기반 생성 모델의 강건성은 Oseledets 공간과 데이터 매니폴드의 정렬(alignment)과 연결된다.
• 역전파로서의 변분 방정식: 저자들은 역전파가 수학적으로 동역학계의 **변분 방정식(variational equation)**을 역방향으로 푸는 것과 동일함을 명확히 한다. 이는 알고리즘을 궤적을 따른 국소 선형화와 관련된 고전적인 동역학적 개념으로 재구성한다.

의의 및 주장

본 논문은 AI/ML을 동역학적 문제로 재고하는 것이 자연스러울 뿐만 아니라 유리하다고 주장한다. 본 연구의 주요 의의는 다음과 같다:

1. 통합: 다양한 ML 구조(MLP, ResNet, Transformer)와 훈련 방법(GD, SGD)이 적응형 네트워크, IPS 또는 랜덤 동역학계라는 동역학계 이론의 범주 아래에 있음을 입증한다.
2. 엄밀한 정당화: 특정 측면(예: 메모리 용량, 위상 공간 차원, 최솟값의 안정성)을 분리함으로써, 안정성의 가장자리나 메모리의 역할과 같은 복잡한 ML 현상에 대해 엄밀한 분석적 증명이 가능하다는 것을 보여준다.
3. 설명 가능성: 동역학적 관점은 스펙트럼 반지름, 리아푸노프 지수, 다양체 기하학과 같은 근본적인 속성과 연결함으로써 왜 특정 알고리즘이 작동하는지(예: 왜 증강이 보편적 임베딩을 가능하게 하는지, 왜 평평한 최솟값이 일반화가 잘 되는지)를 설명할 수 있는 경로를 제공한다.
4. 미래 방향: 저자들은 이 프레임워크가 기울기 소실/폭발 문제(다중 척도 동역학적 효과로 해석됨)와 신뢰할 수 있는 AI 개발에 적용 가능하다고 제안한다. 저자들은 완전한 일반성을 확보하는 것이 도전적이지만, 동역학적 접근 방식이 이론적 분석을 위한 강력한 도구 상자를 제공하며, 복잡한 비선형 시스템에 대해 컴퓨터 보조 증명(computer-assisted proofs)의 도움을 받을 수 있다고 언급한다.

이 연구는 DFG 우선 순위 프로그램 SPP2298 "Deep Learning의 기초"에 대한 기여로서, 딥러닝의 이론적 토대를 이해하기 위해 동역학계 기술이 어떻게 체계적으로 적용될 수 있는지에 대한 보고서로 제시된다.