Deep Learning as the Disciplined Construction of Tame Objects

제목: 길들여진 대상의 규율 있는 구축으로서의 딥러닝

문제 제言
인공지능(AI) 시스템, 특히 딥러닝(DL)의 급격한 배포는 이들의 신뢰성, 해석 가능성 및 안전성에 관한 엄격한 보증을 제공할 수 있는 이론적 프레임워크의 발전을 앞질렀습니다. 기존의 이론적 프레임워크들은 다음과 같은 이분법적 문제에 직면해 있습니다:

1. 볼록 분석(Convex Analysis): 견고하지만, 현대 딥러닝의 대상(예: ReLU 네트워크)이 갖는 비볼록(non-convex) 및 비매끄러움(non-smooth)의 특성을 포괄하지 못합니다. 이러한 대상들은 일반적으로 미분 가능성이나 볼록성 같은 가정을 위반합니다.
2. 일반 비볼록 최적화(General Non-Convex Optimization): 딥러닝을 포함하기에는 충분히 광범위하지만, 실제 현상에서는 나타나지 않는 "병리적인(pathological)" 함수와 집합(예: 무한한 진동이나 좋지 않은 점근적 거동을 가진 것들)을 허용합니다. 이러한 제한의 부재는 확률적 경사 하강법(SGD)과 같은 최적화 알고리즘에 대한 일반적인 수렴 보증을 도출하는 것을 방해합니다.

따라서 현실적(딥러닝에서 사용되는 특정 함수와 구성을 포괄하는)이면서도 다작적인(수학적 우주를 잘 다루어지는 대상으로 제한하여 비자명한 이론적 보증을 가능하게 하는) "좋은" 이론적 프레임워크가 필요합니다.

방법론 및 이론적 프레임워크
본 논문은 딥러닝을 연구하기 위한 통합적 프레임워크로 타이트 기하학(Tame Geometry)(특히 o-미니멀리티(o-minimality))을 제안합니다. 방법론은 다음과 같습니다:

• 정의 가능성(Definability): 딥러닝의 대상(활성화 함수, 손실 함수, 그리고 이들의 구성)이 특정 o-미니멀 구조 내에서 "정의 가능하다"는 것을 확립합니다. 어떤 집합이나 함수가 정의 가능하다는 것은, 그 구조(예: 투영 및 불리언 연산에 대해 닫혀 있는 구조) 내에서 1차 논리 공식으로 기술될 수 있음을 의미합니다.
• 구조적 분석(Structural Analysis): o-미니멀 구조의 성질을 활용하여, 정의된 대상들이 병리적 행동(예: 무한 진동)을 결여하고 강력한 구조적 규칙성을 가짐을 보여줍니다.
• 층화(Stratification): 층화 정리(특히 Verdier 층화)를 활용하여, 복잡하고 비매끄러우며 비볼록한 함수들을 서로 "잘" 맞물리는 유한한 매끄러운 다양체(strata)들로 분해합니다.
• 수렴 분석(Convergence Analysis): 이러한 기하학적 성질을 적용하여 일반적인 비매끄러운 비볼록 설정에서의 확률적 서브그레이디언트 방법(Stochastic Subgradient Method, SSM), 즉 확률적 경사 하강법(SGD)을 분석합니다.

주요 기여 및 결과

1. 프레임워크의 현실성 (딥러닝에서의 정의 가능성):

   • 저자들은 딥러닝 이론 및 실무에서 마주치는 거의 모든 함수와 문제가 o-미니멀 구조에서 정의 가능함을 입증합니다.
   • 구성성(Compositionality): 정의 가능한 함수의 클래스는 변분 분석(variational analysis)에 사용되는 거의 모든 연산(구성, 부분 최소화, (부분) 미분 등)에 대해 닫혀 있습니다.
   • 경험적 범위: 일반적인 활성화 함수(ReLU, Softsign, Swish, Mish, GELU 등)와 손실 함수(제곱 오차, 힌지 손실, 교차 엔트로피 등)에 대한 조사를 통해, 이들이 $\mathbb{R}_{\text{alg}}$ (반대수적), $\mathbb{R}_{\text{exp}}$ (지수적), 또는 $\mathbb{R}_{\text{Pfaff}}$ (파파프)와 같은 구조에서 정의 가능함을 보여줍니다. 특히, $\mathbb{R}_{\text{Pfaff}}$는 GELU(Gaussian Error Linear Unit)와 에러 함수(erf)를 포함한 거의 모든 표준 딥러닝 함수에 충분합니다.

2. 다작적 성격 (병리 없는 보증):

   • 병리적 대상의 배제: o-미니밀리티는 경계의 차원이 원래의 차원과 같거나 높은 집합(예: 위상수학자의 사인 곡선)이나 무한 진동을 갖는 함수와 같은 병리적 객체를 배제합니다.
   • 구조적 규칙성: 정의된 집합과 함수는 놀라운 성질을 누립니다:
     • 작은 집합 정리(Small Sets Theorem): "작음"에 대한 개념(유한함, 가산함, 조밀하지 않음, 측도 0)이 일치합니다.
     • 극한의 존재: 정의된 곡선에 대해 일방향 극한이 모든 곳에서 존재하며, 그 극한 또한 정의 가능합니다.
     • 층화(Stratification): 임의의 정의된 집합은 경계 조건(frontier condition)과 베르디어 조건(Verdier condition, 접공간이 층 사이에서 연속적으로 거동함을 보장)을 만족하는 유한한 수의 매끄러운 다양체(strata)들로 분할될 수 있습니다.
     • 단조성(Monotonicity): 정의된 함수는 상수이거나 엄격하게 단조인 유한한 구간들로 분해될 수 있습니다.

3. 확률적 서브그레이디언트 방법(SSM)의 수렴:

   • 본 논문은 Davis 등 [32]과 Bolte 등 [21]의 결과를 종합하여, 타이트 기하학의 구조적 성질이 딥러닝 훈련에서 마주치는 거의 모든 함수에 대해 SSM의 수렴 보증을 가능하게 함을 보여줍니다.
   • 딥러닝 손실 함수는 정의 가능하므로, 매끄러운 다양체들로 층화될 수 있습니다. 이를 통해 변분 분석의 도구들(예: Clarke subdifferential)을 적용하여, SSM이 무한히 진동하거나 병리적인 행동에 빠지는 대신 임계점(Clarke critical point)으로 수렴함을 증명할 수 있습니다.
   • 이 프레임워크는 비매끄러운 함수에 대한 자동 미분(Automatic Differentiation, AD)의 첫 번째 이론을 지원하며, AD 기반 SSM의 수렴 증명을 제공합니다.

4. 기존 프레임워크와의 비교:

   • 볼록 분석과 달리, o-미니멀리티는 비볼록성을 다룹니다.
   • 일반 비볼록 분석과 달리, o-미니멀리티는 일반적인 수렴 정리를 방해하는 성질이 나쁜 함수들을 배제합니다.
   • 본 논문은 많은 이론적 프레임워크가 구성성을 주장하지만, o-미니멀리티는 결과물로서의 대상이 여전히 잘 다루어지는(tame) 상태를 유지하는 "규율 있는" 구축을 제공한다는 점을 강조합니다.

의의 및 주장
본 논문은 완전히 새로운 정리를 제시하기보다는 **해설적 노트(expository note)**로서 자리매김합니다. 본 논문의 주요 의의는 다음과 같습니다:

• 통합: o-미니멀리티, 최적화 이론, 그리고 딥러닝의 접점에 있는 개념들을 통합적으로 설명합니다.
• 정당화: 타이트 기하학이 딥러닝 모델의 실제 구축 방식(타이트한 기초 요소들의 규율 있는 구성)과 일치하기 때문에, AI 시스템을 위한 "자연스러운 수학적 프레임워크"라고 주장합니다.
• 접근성: 연구자와 실무자들이 이 이론적 프레임워크를 이해하고 활용할 수 있도록 간결하고 최신의 증명과 논거를 제공합니다.
• 겸손함: 저자들은 아이디어 자체가 새로운 것이 아니라, 비볼록하면서도 타이트한 설정에서 확률적 경사 하강법의 수렴에 대한 일관된 서사를 개발하기 위해 수집된 것임을 명시합니다.

결론적으로, 수학적 우주를 "타이트한" 대상으로 제한함으로써, 비현실적인 볼록성 가정에 의존하지 않고도 현대 AI 시스템의 신뢰성 문제를 해결할 수 있는 딥러닝에서 사용되는 최적화 방법론에 대한 최초의 견고한 이론을 얻을 수 있습니다.