Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry

이 논문은 다중 모달 데이터에서 발생할 수 있는 왜곡과 모델링 오류를 해결하기 위해 학습된 리만 기하 구조를 등거리 변환하고, 미분동형사상 매개변수의 규칙성과 표현력을 균형 있게 조절하는 정규화 흐름 기반의 만다폴드 학습 접근법을 제안하고 그 유효성을 실험을 통해 입증합니다.

핵심

🗺️ 배경: 데이터는 왜곡된 지도 위에 있습니다

우리가 가진 데이터 (예: 사람 얼굴 사진 10 만 장) 는 수천 차원의 복잡한 공간에 흩어져 있습니다. 하지만 실제로는 이 데이터들은 **매우 낮은 차원의 '고유한 형태 **(Manifold, 만다포드) 위에 모여 있습니다. 마치 우주 공간에 흩어진 별들이 사실은 은하수라는 하나의 나선형 띠 위에 있다는 것과 비슷하죠.

기존의 기계 학습은 이 복잡한 형태를 **직선 **(유클리드 거리)으로만 재서 분석했습니다. 하지만 이는 마치 **지구 표면 **(구형)으로 재는 것과 같습니다. 서울에서 뉴욕까지 가장 짧은 길은 대권 (구면 위의 곡선) 이지만, 평면 지도에서는 엉뚱한 경로로 연결될 수 있죠.

이 논문은 **"데이터가 실제로 있는 그 구불구불한 길 **(지오데식)을 제안합니다.

🚨 문제: 왜곡된 지도와 엉뚱한 길

연구자들은 두 가지 큰 문제를 발견했습니다.

1. **속도 불균형 **(왜곡된 거리)

   • 상황: 데이터가 빽빽한 곳 (사람들이 많이 사는 도시) 과 드문드문한 곳 (사막) 사이를 이동할 때, 기존 방법은 사막을 너무 천천히 지나가고, 도시를 너무 빠르게 지나가는 이상한 속도로 이동합니다.
   • 비유: 여행 지도를 만들었는데, 사람이 많은 서울은 1 분에 1km 를 걷는 것처럼 표시하고, 사람이 없는 황무지는 1 분에 100km 를 날아다니는 것처럼 표시한 겁니다.
   • 결과: "A 에서 B 로 가는 중간 지점"을 찾으려 할 때, 실제로는 거의 볼 수 없는 황무지 데이터만 계속 보여주게 되어 의미 없는 해석이 나옵니다.

2. **너무 유연한 지도 **(과적합)

   • 상황: 복잡한 데이터 형태를 따라가려고 지도를 너무 유연하게 (구부리고 비틀어서) 만들었습니다.
   • 비유: 두 개의 섬 (데이터 군집) 을 잇는 다리를 만들 때, 너무 자유롭게 구부려서 가장 자연스러운 직선 다리가 아니라, 이상하게 뒤틀린 다리를 만들어버린 것입니다.
   • 결과: 데이터가 없는 빈 공간에서는 어떤 길로 가야 할지 알 수 없어서, AI 가 임의의 엉뚱한 경로를 선택하게 됩니다.

💡 해결책 1: '등거리' 지도 만들기 (Iso-Riemannian Geometry)

첫 번째 문제 (속도 불균형) 를 해결하기 위해 **'등거리 **(Iso) 개념을 도입했습니다.

• 아이디어: "데이터가 빽빽하든 빈약하든, 지도 위의 이동 속도를 일정하게 유지하자."
• 비유: 이제부터는 지도를 다시 그립니다. 사람이 많은 서울이든 황무지든, 1 분에 1km 씩 일정하게 걷는 속도로 경로를 재설정합니다.
• 효과: 이제 "A 와 B 의 중간"을 찾으면, 실제로 데이터가 존재하는 자연스러운 경로 위에 정확하게 떨어집니다. 데이터의 '진짜 중간'을 찾을 수 있게 된 거죠.

💡 해결책 2: 단단하지만 유연한 지도 그리기 (Regular Normalizing Flows)

두 번째 문제 (엉뚱한 경로) 를 해결하기 위해 **지도 그리는 도구 **(딥러닝 모델)를 개선했습니다.

• 아이디어: "너무 구부러지지 않도록 **규칙 **(정규화)을 주되, 복잡한 모양은 따라갈 수 있게 유연함도 유지하자."
• 비유: 지도를 그릴 때, "너무 구불구불하게 그리지 마라 (규칙성), 하지만 섬의 모양은 정확히 따라가라 (유연성)"는 명령을 내린 것입니다.
• 효과: 데이터가 없는 빈 공간에서도 **가장 자연스럽고 단순한 경로 **(직선에 가까운 길)를 선택하게 되어, AI 가 엉뚱한 길을 가는 실수를 줄였습니다.

🏆 결론: 두 가지 방법을 합치면 완벽합니다!

이 논문은 이 두 가지 방법을 함께 사용했을 때 가장 큰 효과를 보였습니다.

• 시너지 효과: "단단하고 규칙적인 도구로 지도를 그리고, 그 위에서 이동 속도를 일정하게 조절하면" 데이터의 진짜 형태를 가장 정확하게 이해할 수 있습니다.
• 실제 결과: 합성 데이터 (구형 데이터) 와 실제 데이터 (MNIST 숫자 이미지) 실험에서, 기존 방법보다 데이터 재현 정확도가 훨씬 높아지고, 중간 지점 예측이 훨씬 자연스러워진 것을 확인했습니다.

📝 한 줄 요약

**"복잡한 데이터의 숨겨진 형태를 파악할 때, 지도를 너무 구부리지 않게 하고 **(규칙성)

이 연구는 기계 학습이 데이터를 더 똑똑하고, 공정하며, 해석하기 쉽게 이해하는 데 중요한 발걸음이 될 것입니다.

기술 요약

1. 문제 제기 (Problem Statement)

현대 기계학습은 고차원 데이터가 저차원의 비선형 매니폴드 (manifold) 근처에 존재한다는 '매니폴드 가설'에 기반합니다. 데이터의 기하학적 구조를 명시적으로 모델링하는 리만 기하학 (Riemannian geometry) 은 클러스터링, 차원 축소, 보간 (interpolation) 등의 성능을 향상시킵니다. 특히, 풀백 (pullback) 기하학을 학습하여 데이터 매니폴드를 근사하는 접근법이 주목받고 있습니다.

그러나 기존 방법론 (특히 정규화 흐름, Normalizing Flows 를 활용한 접근) 은 다음과 같은 두 가지 주요 한계를 가집니다:

1. 기하학적 왜곡 (Distortions): 학습된 리만 구조가 데이터 지지집합 (data support) 에서 국소적인 $\ell_2$-등거리 (isometry) 를 만족하지 못할 때 발생합니다.
   • 지오데식 (Geodesic) 왜곡: 데이터 밀도가 낮은 영역에서 지오데식 속도가 불규칙해져, 보간 시 희귀한 데이터가 과도하게 강조되거나 해석 불가능한 경로가 생성됩니다.
   • 차원 축소 오차: 접공간 (tangent space) 과 데이터 공간 간의 거리가 일치하지 않아, 저차원 근사 시 재구성 오차가 증폭됩니다.
2. 정규성 (Regularity) 과 표현력 (Expressivity) 의 균형 문제:
   • 복잡한 다중 모드 (multi-modal) 데이터를 학습하려면 높은 표현력이 필요하지만, 이는 불규칙한 미분동형사상 (diffeomorphism) 을 초래하여 학습된 기하학이 물리적으로 타당하지 않은 경로 (예: 모드 간 비자연스러운 이동) 를 생성하게 합니다.
   • 기존 연구 [7] 는 표현력을 위해 비부피 보존 (non-volume-preserving) 흐름을 사용했으나, 이는 국소 등거리성을 보장하기 어렵게 만들었습니다.

2. 제안된 방법론 (Methodology)

저자들은 위 두 가지 문제를 해결하기 위해 등거리화 (Isometrization) 기법과 정규화된 정규화 흐름 (Regular Normalizing Flows) 을 결합한 프레임워크를 제안합니다.

A. Iso-Riemannian Geometry (등거리화 리만 기하학)

학습된 리만 구조가 국소 등거리성을 만족하지 않더라도, 매니폴드 매핑을 재매개변수화하여 일정한 $\ell_2$-속도를 갖도록 수정하는 체계적인 방법을 제안합니다.

• Iso-geodesics: 지오데식 경로를 시간 재매개변수화하여 $\ell_2$-속도가 일정하도록 만듭니다.
• Iso-logarithm & Iso-exponential: 로그 및 지수 매핑을 재정의하여 접공간과 데이터 공간 간의 $\ell_2$-거리 관계를 보존합니다.
• Iso-parallel transport: 접벡터의 수송 시 $\ell_2$-길이를 보존하도록 조정합니다.
• 효과: 이 기법은 학습된 기하학의 왜곡을 보정하여, 보간 및 차원 축소 시 데이터의 본질적인 구조를 왜곡 없이 반영하도록 합니다.

B. Regular yet Expressive Pullback Geometry (정규성과 표현력을 갖춘 풀백 기하학)

다중 모드 데이터를 학습할 때 발생하는 기하학적 오류를 방지하기 위해, 정규화 흐름의 파라미터화를 개선합니다.

• 구조 설계:
  • 가법 결합 (Additive Coupling): $\ell_2$-등거리성을 유지하는 가법 결합 층을 사용합니다.
  • 정규화 및 선형 변환: 가법 결합과 함께 가역적인 선형 변환 (Householder 분해 등을 통한 직교 행렬) 을 도입하여 표현력을 확보합니다.
  • 활성화 함수: $\tanh$의 선형 결합과 같은 경계 있는 미분을 갖는 활성화 함수를 사용하여 미분동형사상의 정규성을 보장합니다.
• 학습 손실 함수: 기존 연구 [7] 에서 사용하던 복잡한 정규화 항 (부피 보존 및 등거리성 강제) 을 제거하고, 표준 정규화 흐름 손실 (Negative Log-Likelihood) 에 가중치 감쇠 (Weight Decay) 만을 추가하여 학습합니다. 이는 제안된 파라미터화 구조가 본질적으로 정규성과 일정한 행렬식을 보장하기 때문입니다.

3. 주요 기여 (Key Contributions)

1. Iso-Riemannian Geometry 프레임워크 도입: 학습된 리만 구조를 등거리화하여 지오데식 보간, 로그/지수 매핑, 평행 수송 등 모든 기본 매니폴드 연산을 왜곡 없이 수행할 수 있는 이론적 기반을 마련했습니다.
2. 정규성과 표현력의 균형 달성: 기존에 간과되었던 정규 선형 아키텍처와 표현력 있는 비선형 혁신을 결합하여, 다중 모드 데이터에서도 안정적인 기하학 학습이 가능한 새로운 정규화 흐름 아키텍처를 제안했습니다.
3. 간소화된 학습 전략: 복잡한 정규화 항 없이도 표준 손실 함수로 효과적인 풀백 기하학을 학습할 수 있음을 증명했습니다.
4. 시너지 효과 입증: Iso-Riemannian 기하학과 정규화된 풀백 기하학을 결합했을 때, 개별 기법 사용보다 훨씬 우수한 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

합성 데이터 (구면, Hemisphere) 와 실제 데이터 (MNIST) 를 사용하여 다음과 같은 결과를 도출했습니다.

• 시각적 개선:
  • 지오데식 보간: 기존 방법 (그림 2, 4) 은 저밀도 영역에서 비자연스러운 경로를 생성했으나, 제안된 방법 (그림 3, 5, 6) 은 데이터 분포의 고밀도 영역을 따라 자연스러운 경로를 학습했습니다.
  • 차원 축소: Iso-Riemannian 기하학을 적용한 차원 축소는 재구성 오차를 크게 줄였으며, 특히 데이터가 바리센터 (barycentre) 에서 멀리 떨어진 경우 오차 감소 효과가 두드러졌습니다.
• 정량적 성능:
  • Rank-1/Rank-20 근사 오차 (rel-RMSE):
    • 모델링된 풀백 (Modeled pullback) 의 경우, Iso-Riemannian 적용 시 오차가 0.1741 에서 0.0606으로 크게 감소했습니다.
    • 학습된 풀백 (Learned pullback) 의 경우에도 0.1146 에서 0.0868로 개선되었습니다.
  • MNIST 데이터: 지오데식 보간에서 Iso-Riemannian 적용 시 상대 오차가 감소했으나, 차원 축소 (Rank-20) 에서는 기존 방법과 유사한 성능을 보였으나 Iso-Riemannian 이 더 일관된 결과를 제공했습니다.
• 결론: Iso-Riemannian 기하학은 특히 데이터가 바리센터에서 멀리 떨어진 영역에서 기하학적 왜곡을 보정하는 데 필수적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터 기반 리만 기하학 학습의 핵심 난제인 기하학적 왜곡과 모델링 불규칙성을 해결하는 통합적인 솔루션을 제시합니다.

• 해석 가능성 (Interpretability) 및 공정성 (Fairness): 데이터 밀도가 낮은 영역에서의 왜곡을 제거함으로써, 보간 경로의 해석 가능성을 높이고 특정 데이터 군집에 대한 편향된 오차를 줄여 공정성을 개선합니다.
• 실용성: 복잡한 정규화 없이 표준 학습 방식을 유지하면서도, Iso-Riemannian 기법을 통해 학습된 기하학의 신뢰성을 높여 실제 응용 (클러스터링, 생성 모델, 이상 탐지 등) 에 바로 적용 가능한 강력한 도구를 제공합니다.
• 미래 방향: 이 연구는 정규화 흐름과 리만 기하학의 결합을 단순한 생성 모델링을 넘어, 데이터의 내재적 기하학적 구조를 정밀하게 분석하고 활용하는 새로운 패러다임을 제시합니다.