An Approximation Theory Perspective on Machine Learning

이 논문은 머신러닝과 함수 근사 이론 간의 간극을 분석하고, 매니폴드 특성을 사전에 학습하지 않고도 알려진 매니폴드에서의 함수 근사를 가능하게 하는 새로운 연구 결과를 제시합니다.

핵심

이 논문은 **"기계 학습 (AI) 이 왜 작동하는지, 그리고 왜 가끔 실패하는지"**를 수학적인 '근사 이론 (Approximation Theory)'이라는 렌즈를 통해 설명하는 흥미로운 이야기입니다.

쉽게 말해, **"AI 가 데이터를 보고 미래를 예측하는 능력은 사실 '복사'와 '추측'의 수학적인 문제"**라는 것을 다루고 있습니다.

이 복잡한 논문을 일상적인 비유로 풀어보겠습니다.

---

1. 핵심 문제: "완벽한 지도가 없는 여행"

기계 학습의 목표는 알려지지 않은 데이터 (예: 고양이 사진) 를 보고 정답 (이게 고양이다) 을 맞추는 것입니다.

• 기존 방식: 우리는 수많은 고양이 사진 (데이터) 을 보여주고 AI 에게 "이게 고양이야"라고 가르칩니다. AI 는 이 패턴을 외워서 새로운 사진을 보고 맞춥니다.
• 문제점: 하지만 우리가 가진 데이터는 세상의 모든 고양이 사진을 다 담은 것이 아닙니다. 마치 지도 없이 여행하는 것과 같습니다. "이 길이 고양이들이 다니는 길일까?"라고 AI 는 추측할 뿐, 정확한 지도 (수학적 이론) 를 가지고 있지 않습니다.

이 논문은 **"우리가 가진 지도 (수학) 가 너무 오래되어서, 현대의 AI 여행에는 맞지 않는다"**고 지적합니다.

2. 주요 비유: "거대한 방 vs. 숨겨진 통로" (차원의 저주)

전통적인 수학은 데이터를 3 차원 공간이나 10 차원 공간 같은 **'거대한 방'**에 있다고 가정합니다. 하지만 실제로는 데이터가 그 방 전체를 채우는 게 아니라, 방 안에 숨겨진 얇은 '통로 (매니폴드)' 위에만 존재합니다.

• 비유: 100 층짜리 거대한 빌딩 (고차원 공간) 이 있다고 칩시다. 전통적인 수학은 빌딩 전체를 다 채우기 위해 벽돌을 쌓으려 합니다. 하지만 실제로 사람들이 사는 곳은 1 층과 2 층 사이의 좁은 복도 (저차원 매니폴드) 뿐입니다.
• 결과: 전통적인 방법은 벽돌을 너무 많이 써서 비효율적입니다. 이 논문은 **"벽돌을 쌓는 대신, 그 좁은 복도 (데이터가 있는 실제 공간) 를 따라가는 새로운 길"**을 제안합니다.

3. 새로운 접근법 1: "지도 없이 길 찾기" (매니폴드 학습 없이 학습)

기존의 고급 수학은 "먼저 그 좁은 통로 (매니폴드) 의 모양을 완벽하게 그려낸 뒤, 그 위에 그림을 그려야 한다"고 했습니다. 하지만 통로 모양을 그리는 것 자체가 너무 어렵고 시간이 걸립니다.

• 이 논문의 아이디어: 통로의 모양을 먼저 그릴 필요 없습니다! **데이터가 흩어져 있는 그 자리에서 바로 그림을 그릴 수 있는 '마법의 붓 (국소 커널)'**을 개발했습니다.
• 비유: 숲속에서 길을 찾을 때, 전체 숲의 지도를 먼저 그려낼 필요 없이, 발걸음 닿는 곳마다 나뭇잎을 보고 길을 찾아나가는 것과 같습니다. 이 방법은 지도 (매니폴드) 를 학습하는 과정 없이도 정확한 예측을 가능하게 합니다.

4. 새로운 접근법 2: "소음 분리"로서의 분류 (Classification as Signal Separation)

기존의 분류 문제는 "고양이와 개를 어떻게 구분할까?"였습니다. 보통은 경계선을 그어 "이쪽은 고양이, 저쪽은 개"라고 나눕니다. 하지만 경계가 모호하면 (예: 고양이와 개의 중간 형태) AI 는 혼란을 겪습니다.

• 이 논문의 아이디어: 분류를 '소음 분리 (Signal Separation)' 문제로 바꿉니다.
• 비유: 혼잡한 파티에서 여러 사람의 목소리가 섞여 있다고 칩시다. 기존 방식은 "누가 누구의 목소리인지 경계를 그어라"는 것입니다. 하지만 이 논법은 **"각 목소리가 어디서 시작되는지 (지원 영역) 를 찾아내서, 그 영역만 분리해 내라"**는 것입니다.
  • "아, 이쪽 소리는 고양이 목소리가 가장 크게 들리는 영역이야. 저쪽은 개 목소리가 가장 크게 들리는 영역이야."
  • 이렇게 소리의 영역을 분리하면, 경계선이 모호한 부분에서도 훨씬 정확하게 분류할 수 있습니다.

5. 딥러닝 (Deep Learning) 이 왜 강력한가?

왜 층이 많은 (Deep) 신경망이 얇은 (Shallow) 신경망보다 좋은가요?

• 비유: 얇은 신경망은 한 번에 모든 것을 외우려고 하는 학생입니다. 복잡한 수학 문제를 한 번에 풀려고 하면 머리가 터집니다.
• 딥 신경망은 여러 단계를 거치는 전문가 팀입니다.
  • 1 단계 팀: "이건 귀 모양이야."
  • 2 단계 팀: "그 귀 모양은 고양이 귀야."
  • 3 단계 팀: "고양이 귀가 있으면 고양이지."
  • 이렇게 작은 조각 (구성 요소) 을 단계적으로 조합하면, 훨씬 적은 노력으로 복잡한 문제를 해결할 수 있습니다. 이 논문은 딥러닝이 바로 이런 **'조립식 구조'**를 잘 활용하기 때문에 강력하다고 설명합니다.

6. 결론: AI 의 미래를 위한 제안

이 논문은 기계 학습이 단순히 "데이터를 많이 먹여서 정답을 맞히는 것"을 넘어, 수학적인 원리 (근사 이론) 를 제대로 이해해야 한다고 말합니다.

• 기존의 한계: "최적화 (Optimization)"라는 이름으로 AI 를 훈련시키는 것은 마치 눈가리개를 하고 미로를 찾는 것과 같습니다.
• 제안: 우리는 데이터가 있는 실제 공간 (매니폴드) 을 이해하고, 그 공간에 맞는 '국소적인 (Local)' 도구를 사용해야 합니다.
  • Transformer(트랜스포머) 같은 최신 AI 도구를 보면, 사실은 우리가 수백 년 전부터 연구해 온 '국소 커널 (Local Kernel)' 이론과 매우 닮아있다는 것을 발견했습니다.
  • 즉, 최신 AI 는 오래된 수학의 새로운 얼굴일 뿐입니다.

요약

이 논문은 **"AI 를 더 똑똑하게 만들려면, 단순히 데이터를 더 많이 주는 게 아니라, 데이터가 숨어 있는 '진짜 공간'의 구조를 이해하고, 그 공간에 맞는 수학적 도구를 개발해야 한다"**고 외치고 있습니다.

• 지도 없이 길 찾기: 매니폴드 (데이터의 실제 모양) 를 먼저 그릴 필요 없음.
• 소음 분리: 분류를 '경계 나누기'가 아닌 '영역 분리'로 접근.
• 조립식 학습: 딥러닝은 복잡한 문제를 작은 조각으로 나누어 해결하는 효율적인 방법.

이러한 통찰은 AI 가 더 적은 데이터로도 더 정확하게, 그리고 더 안전하게 작동할 수 있는 길을 열어줍니다.

기술 요약

이 논문은 기계 학습 (Machine Learning) 의 근간이 되는 함수 근사 (Function Approximation) 문제를 대수적 및 해석적 관점에서 재조명하고, 기존 기계 학습 프레임워크와 고전적 근사 이론 간의 간극을 해소하려는 시도를 담고 있습니다. 저자들은 신경망 (Neural Networks) 과 커널 기반 방법론이 가진 표현력 (Expressive Power) 을 근사 이론의 엄밀한 수학적 틀 안에서 분석하며, 특히 매니폴드 (Manifold) 위에서의 근사, 물리 정보 신경망 (PINNs), 그리고 새로운 분류 패러다임 등을 다룹니다.

다음은 논문의 주요 내용, 방법론, 기여도, 결과 및 의의에 대한 상세한 기술적 요약입니다.

---

1. 문제 제기 (Problem Statement)

• 근사 이론과 기계 학습의 괴리: 기계 학습의 핵심 목표는 주어진 데이터 $\{(x_j, y_j)\}$로부터 알 수 없는 확률 분포 $\tau$에서 추출된 새로운 데이터에 대해 $f(x) \approx y$를 만족하는 함수 $f$를 학습하는 것입니다. 그러나 현재의 기계 학습 이론은 경험적 위험 최소화 (Empirical Risk Minimization, ERM) 와 최적화 과정에 집중되어 있으며, **함수 근사 이론 (Approximation Theory)**이 이론적 기초의 중심 역할을 하지 못합니다.
• 일반화 (Generalization) 의 불명확성: 이 간극으로 인해 훈련된 모델이 보지 못한 데이터 (unseen data) 에 얼마나 잘 일반화될지에 대한 이론적 근거가 부족합니다.
• 차원의 저주 (Curse of Dimensionality): 고차원 유클리드 공간에서의 함수 근사는 차원이 증가함에 따라 필요한 샘플 수가 기하급수적으로 증가하는 '차원의 저주'에 직면합니다. 기존 이론은 데이터가 고차원 공간 전체에 균일하게 분포한다고 가정하지만, 실제 데이터는 저차원 매니폴드 위에 존재하는 경우가 많습니다.
• 현재 패러다임의 한계: 최적화 (Optimization) 에만 의존하는 접근법은 지역 최소값 (local minima), 스펙트럴 편향 (spectral bias), 그리고 데이터의 노이즈에 대한 민감성 등의 문제를 안고 있습니다.

2. 방법론 및 주요 접근 (Methodology)

저자는 고전적 근사 이론을 기계 학습 문제에 적용하기 위해 다음과 같은 방법론적 틀을 제시합니다.

2.1. 데이터 공간 (Data Spaces) 과 국소 근사 (Local Approximation)

• 데이터 공간 정의: 유클리드 공간뿐만 아니라 거리 공간 $(X, \rho)$, 측정 $\mu^*$, 고유값 시퀀스 $\{\lambda_k\}$, 직교 함수계 $\{\phi_k\}$로 정의된 일반적인 '데이터 공간'을 도입합니다. 이는 리만 매니폴드를 포함하는 일반적인 구조입니다.
• 국소화 커널 (Localized Kernels): 푸리에 급수나 스펙트럴 방법의 전역적 (global) 특성을 극복하기 위해, **국소화 커널 (Localized Reconstruction Kernels)**을 구성합니다. 이는 함수의 매끄러움 (smoothness) 이 국소적으로 변할 때 근사 정확도가 자동으로 조정되도록 합니다.
• Marcinkiewicz-Zygmund (MZ) 측도: 무작위로 샘플링된 데이터 (scattered data) 에서 적분을 근사하기 위해 MZ 측도 (quadrature measures) 를 사용합니다. 이는 최적화 없이도 데이터 분포를 고려한 근사를 가능하게 합니다.

2.2. 신경망과 근사 이론의 연결

• 얕은 네트워크 (Shallow Networks): 보편적 근사 정리 (Universal Approximation Theorem) 와 Barron 공간 등을 통해 얕은 신경망의 근사 능력을 분석합니다. 확률론적 접근 (Existence results) 과 구성적 접근 (Constructive approximation) 을 구분하여 논의합니다.
• 깊은 네트워크 (Deep Networks):
  • 합성 구조 (Compositional Structure): 깊은 네트워크는 DAG(방향성 비순환 그래프) 구조를 통해 함수의 합성 구조를 효율적으로 근사할 수 있음을 보여줍니다. 이는 얕은 네트워크보다 차원의 저주를 우회하여 더 적은 샘플로 높은 정확도를 달성할 수 있게 합니다.
  • ReLU 및 ReLU$\gamma$ 네트워크: ReLU 활성화 함수를 가진 네트워크가 다항식이나 특정 매끄러운 함수를 얼마나 잘 근사하는지에 대한 정량적 오차 한계를 제시합니다.

2.3. 매니폴드 학습 없이 매니폴드에서의 학습 (Learning on Manifolds without Manifold Learning)

• 핵심 아이디어: 데이터가 알 수 없는 매니폴드 위에 있다고 가정하되, 매니폴드 자체의 구조 (아틀라스, 라플라시안 고유분해 등) 를 먼저 학습할 필요는 없다는 것입니다.
• 직접 근사: 데이터의 차원만 알고 있으면, 국소화 커널과 MZ 측도를 사용하여 매니폴드 위 함수를 직접 근사할 수 있음을 증명합니다. 이는 기존 매니폴드 학습 기법 (예: Graph Laplacian) 의 계산 비용과 불안정성을 제거합니다.

2.4. 분류를 신호 분리 (Signal Separation) 로 접근

• 새로운 관점: 분류 문제를 단순히 경계선을 찾는 문제가 아니라, 서로 다른 클래스에 해당하는 확률 분포의 지지 (Support) 를 분리하는 '신호 분리' 문제로 재정의합니다.
• 활성 학습 (Active Learning): 이 접근법을 통해 각 클래스의 지지 영역에서 단 하나의 점만 레이블을 요청하면 (총 클래스 수만큼만 레이블 필요), 기하학적 연결성을 통해 전체 데이터의 분류가 가능함을 보입니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

1. 이론적 통합: 기계 학습의 다양한 주제 (신경망, 커널 방법, 물리 정보 신경망, 트랜스포머) 를 근사 이론의 통일된 프레임워크 아래에서 설명했습니다.
2. 차원의 저주 극복 전략:
   • 매니폴드 가정을 통해 차원을 줄이는 것이 아니라, **국소적 매끄러움 (Local Smoothness)**과 **합성 구조 (Compositional Structure)**를 가진 함수 클래스에 초점을 맞춤으로써 차원의 저주를 우회하는 이론적 근거를 제시했습니다.
   • 깊은 네트워크가 이러한 구조를 자동으로 포착하여 효율적인 근사를 수행함을 증명했습니다.
3. 구체적 구성 알고리즘 (Constructive Algorithms):
   • 기존 확률론적 존재 정리 (Existence theorems) 를 넘어, 최적화 없이 (Optimization-free) 데이터로부터 직접 함수를 근사하는 구체적인 커널 기반 알고리즘을 제시했습니다.
   • 이 알고리즘은 노이즈가 있는 데이터에서도 집중 부등식 (Concentration Inequalities) 을 통해 일관된 오차 한계를 보장합니다.
4. 물리 정보 신경망 (PINNs) 에 대한 이론적 분석:
   • PINNs 의 수렴성, 일반화 오차, 그리고 훈련 오차와 총 오차 간의 관계를 엄밀하게 분석했습니다. 특히, PINNs 가 고차원 문제에서도 차원의 저주를 피할 수 있는 조건을 논의했습니다.
5. 분류 문제의 혁신적 접근:
   • 분류를 '신호 분리' 문제로 간주하여, **최소 레이블 (Active Learning)**로 높은 정확도의 분류를 달성하는 알고리즘 (MASC 등) 을 제안했습니다. 이는 클래스 경계가 불연속적이거나 겹치는 경우에도 효과적입니다.
6. 트랜스포머와 국소 커널의 연결:
   • 트랜스포머의 어텐션 (Attention) 메커니즘이 구면 기반 함수 (Spherical Basis Function) 네트워크와 수학적으로 동등함을 지적하며, 트랜스포머의 표현력을 근사 이론으로 설명할 수 있음을 보였습니다.

4. 의의 및 결론 (Significance & Conclusion)

이 논문은 기계 학습이 단순히 데이터에 맞는 최적화 문제가 아니라, 함수 근사 이론의 깊은 수학적 원리에 기반해야 함을 강조합니다.

• 이론적 엄밀성 강화: 최적화의 난제 (local minima 등) 를 우회하거나 완화할 수 있는 구성적 (Constructive) 방법론을 제시함으로써, 기계 학습 모델의 일반화 성능에 대한 이론적 보장을 강화했습니다.
• 실용적 효율성: 매니폴드 구조를 명시적으로 학습할 필요 없이, 데이터의 차원과 국소적 특성만으로 고품질 근사가 가능함을 보여주어 계산 비용을 절감하고 모델의 안정성을 높였습니다.
• 미래 연구 방향:
  • 신경망의 '특징 추출 (Feature Extraction)' 능력을 이론적으로 보장하는 방법.
  • 파라미터 수뿐만 아니라 '비용 (Cost)' 관점에서의 너비 (Width) 이론 개발.
  • 분류와 신호 분리의 이론적 연결을 통한 새로운 알고리즘 개발 등을 향후 과제로 제시합니다.

결론적으로, 이 연구는 근사 이론이 기계 학습의 '블랙박스'를 해부하고, 더 효율적이고 해석 가능한 모델을 설계하는 데 필수적인 도구임을 입증하며, 두 학문 간의 간극을 메우는 중요한 이정표가 됩니다.