Busemann Functions in the Wasserstein Space: Existence, Closed-Forms, and Applications to Slicing

이 논문은 최적 수송으로 유도된 리만 구조를 가진 워asserstein 공간에서 Busemann 함수의 존재성을 규명하고, 1 차원 분포 및 가우시안 측도에 대한 폐형 해를 도출하여 확률 분포의 투영 기법을 개발하고 이를 슬라이싱 워asserstein 거리 및 전이 학습에 적용하는 방법을 제시합니다.

핵심

이 논문은 **"데이터를 구름처럼 보고, 그 구름을 움직여 비교하는 새로운 방법"**을 소개합니다. 수학적으로 어렵게 들릴 수 있지만, 일상적인 비유로 쉽게 설명해 드릴게요.

1. 배경: 데이터는 왜 '구름'일까요?

우리가 보통 데이터를 볼 때는 점 (점) 들의 나열로 생각합니다. 하지만 문서 (단어들의 분포), 이미지 (픽셀들의 분포), 혹은 세포 데이터는 하나의 점보다는 **'확률 분포'**나 **'구름'**으로 보는 것이 더 자연스럽습니다.

이 '데이터 구름'들을 비교할 때, 기존의 방법들은 구름을 평평하게 눌러서 비교하거나, 구름을 하나하나 세어서 비교했습니다. 하지만 이 논문은 **"데이터 구름이 있는 공간 (워asserstein 공간)"**이라는 새로운 지도를 제시합니다. 이 지도에서는 구름이 서로 겹치거나 이동하는 방식이 물리적으로 매우 자연스럽게 정의되어 있습니다.

2. 핵심 문제: "끝이 보이지 않는 길" (Busemann Function)

이론적으로 이 공간에는 **'지평선'**이 있습니다. 우리가 한 방향으로 계속 나아가면 끝없이 이어지는 길 (지오데식 레이, Geodesic Ray) 이 존재합니다.

• 비유: imagine you are standing on a vast, flat plain (the data space). You look at a straight road stretching infinitely into the horizon.
• Busemann 함수 (부스만 함수): 이 함수는 **"당신이 그 무한한 길에 얼마나 가깝거나, 그 길에서 얼마나 벗어났는지"**를 측정하는 자석 같은 역할을 합니다.
  • 평범한 공간 (유클리드 공간) 에서는 이 함수가 단순히 "직선"을 정의합니다.
  • 하지만 이 논문은 이 함수가 데이터 구름 공간에서도 어떻게 작동하는지, 그리고 어떤 조건에서 그 무한한 길이 실제로 존재하는지를 증명했습니다.

3. 주요 발견: "공식"을 찾아내다

수학자들은 보통 이런 복잡한 계산을 위해 컴퓨터가 엄청나게 많은 계산을 하도록 시킵니다. 하지만 이 논문은 두 가지 특별한 경우에 **간단한 공식 (Closed-form)**을 찾아냈습니다.

1. 1 차원 데이터 (선 위의 점들): 데이터가 일렬로 늘어선 경우, 부스만 함수는 아주 간단한 내적 (점곱) 공식으로 계산됩니다.
2. 가우시안 분포 (종 모양의 구름): 데이터가 종 모양의 구름 (정규분포) 을 이룰 때도, 복잡한 계산 없이 평균과 모양 (분산) 만 보고 바로 계산할 수 있는 공식을 유도했습니다.

핵심: "복잡한 미적분 없이, 그냥 공식을 대입하면 데이터 구름이 무한한 길에 얼마나 가깝는지 바로 알 수 있다!"는 것입니다.

4. 응용: "데이터를 자르는 새로운 칼" (Slicing)

이제 이 이론을 실제로 어떻게 쓸까요? 바로 **"데이터를 잘라내어 비교하는 방법"**입니다.

• 기존 방법 (Sliced-Wasserstein): 데이터 구름을 여러 각도에서 '스라이스' (잘라내어) 1 차원 선으로 만든 뒤 비교합니다. 하지만 라벨 (카테고리) 이 붙은 복잡한 데이터 (예: 고양이 사진 vs 개 사진) 를 비교할 때는 계산이 너무 느렸습니다.
• 이 논문의 방법 (Busemann Slicing):
  • 위에서 찾은 **'간단한 공식'**을 이용해, 데이터 구름을 무한한 길 (지평선) 에 투영합니다.
  • 이 투영은 데이터의 라벨 (카테고리) 을 고려하면서도 기존 방법보다 훨씬 빠르게 계산됩니다.
  • 마치 "데이터 구름을 무한한 지평선에 비추어 그림자를 보고, 그 그림자의 모양으로 두 데이터가 얼마나 비슷한지 재는" 것과 같습니다.

5. 실전 효과: "데이터를 이동시켜 학습하기"

이론만 있는 게 아니라, 실제 실험에서도 효과가 입증되었습니다.

• 시나리오: "고양이 사진 (MNIST)"만 많이 있는 상태에서, "패션 아이템 (Fashion MNIST)"을 아주 적게 (1 장, 5 장 등) 가지고 분류기를 만들고 싶다고 칩시다. (이를 'Few-shot Learning'이라고 합니다.)
• 해결책: 고양이 데이터를 패션 아이템 데이터 쪽으로 '흐르게 (Flow)' 만듭니다. 부스만 함수를 이용해 데이터 구름을 부드럽게 이동시켜, 고양이 사진들이 패션 아이템처럼 변형되도록 유도합니다.
• 결과: 이 방법으로 만든 데이터를 학습에 쓰니, 적은 데이터로도 훨씬 좋은 성능을 냈습니다. 기존에 쓰던 복잡한 방법들보다 계산 속도는 빠르고, 정확도는 비슷하거나 더 좋았습니다.

요약: 이 논문이 우리에게 주는 메시지

1. 데이터는 구름이다: 데이터를 단순한 점이 아니라 움직이는 구름으로 봐야 더 잘 이해할 수 있다.
2. 지평선을 보라: 데이터 구름이 이동할 수 있는 '무한한 길'이 존재하며, 그 길에 대한 수학적 공식 (Busemann) 을 찾았다.
3. 간단한 공식의 힘: 복잡한 계산을 하지 않고도, 특정 조건 (1 차원, 정규분포) 에서 이 길까지의 거리를 아주 빠르게 계산할 수 있다.
4. 실용성: 이 빠른 계산법을 이용해 데이터 라벨을 고려한 새로운 비교 도구 (Sliced Distance) 를 만들었고, 이는 **적은 데이터로도 잘 작동하는 AI 학습 (전이 학습)**에 혁신을 가져왔다.

결론적으로, 이 논문은 수학적으로 매우 정교한 '데이터 구름의 지평선' 이론을 찾아내고, 그것을 이용해 AI 가 데이터를 더 빠르고 똑똑하게 비교하도록 만든 실용적인 도구를 개발했다는 점에 의의가 있습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• Busemann 함수의 중요성: Busemann 함수는 비유클리드 공간 (예: 쌍곡 공간) 에서 측지선 (geodesic) 을 따라 무한히 확장될 때 정의되며, 아핀 함수의 일반화로 간주됩니다. 이는 측지선으로의 투영 (projection) 을 가능하게 하고, 쌍곡 공간에서의 주성분 분석 (PCA) 이나 분류 경계 정의 등에 널리 사용됩니다.
• 워asserstein 공간의 한계: 많은 데이터 (문서, 세포, 이미지 등) 는 확률 분포로 모델링되며, 이를 비교하기 위해 최적 수송 (Optimal Transport, OT) 기반의 Wasserstein 거리가 사용됩니다. Wasserstein 공간은 리만 기하학적 구조를 가지지만, 기하학적으로 완전하지 (geodesically complete) 않아 모든 측지선이 무한히 확장되지 못합니다.
• 핵심 문제:
  1. Wasserstein 공간에서 Busemann 함수가 잘 정의되기 위한 **측지선 광선 (geodesic ray)**의 존재 조건은 무엇인가?
  2. 일반적인 경우와 특수한 경우 (1 차원, 가우시안) 에서 Busemann 함수를 **효율적으로 계산 (폐형식 유도)**할 수 있는가?
  3. 이를 활용하여 레이블이 있는 데이터셋을 비교하는 효율적인 거리 측정법 (Sliced-Wasserstein 거리) 을 개발할 수 있는가?

2. 방법론 (Methodology)

2.1. Wasserstein 공간에서의 측지선 광선 (Geodesic Rays)

저자들은 Wasserstein 공간에서 측지선이 무한히 확장될 수 있는 (광선이 되는) 조건을 분석했습니다.

• 일반적인 조건: Brenier 정리에 기반하여, Monge 맵 $T$가 **1-convex 함수의 기울기 (gradient)**일 때만 측지선이 광선이 됩니다.
• 1 차원 분포: 두 분포 $\mu_0, \mu_1$의 양분함수 (quantile functions) $F_0^{-1}, F_1^{-1}$에 대해, $F_1^{-1} - F_0^{-1}$가 단조 증가 (non-decreasing) 할 때 광선이 됩니다.
• 가우시안 분포: 공분산 행렬 $\Sigma_0, \Sigma_1$에 대해, 특정 조건 (Loewner 순서 및 Furuta 부등식 관련) 을 만족할 때 광선이 됩니다. 특히 1 차원 가우시안의 경우 $\sigma_1 \ge \sigma_0$일 때 성립합니다.

2.2. Busemann 함수의 계산 및 폐형식 유도

Busemann 함수 $B_\mu(\nu)$는 일반적으로 OT 문제를 풀어 계산해야 하지만, 특수한 경우에는 폐형식을 가집니다.

• 일반적 표현: Busemann 함수는 $\mu_0, \mu_1, \nu$ 사이의 결합 (coupling) 에 대한 최적화 문제로 표현됩니다.
• 1 차원 분포 (Closed-form): 양분함수 공간 $L^2([0,1])$에서의 내적으로 표현됩니다.
  $$B_\mu(\nu) = -\langle F_1^{-1} - F_0^{-1}, F_\nu^{-1} - F_0^{-1} \rangle_{L^2}$$
• 가우시안 분포 (Closed-form): Bures-Wasserstein 공간에서 가우시안 분포 간의 Busemann 함수는 평균과 공분산의 내적 형태로 표현됩니다. 이는 가우시안 분포의 공간이 유클리드 구조와 유사함을 의미합니다.

2.3. 슬라이싱 (Slicing) 을 통한 데이터셋 거리 측정

Busemann 함수를 사영 (projection) 연산자로 사용하여 Sliced-Wasserstein (SW) 거리를 정의했습니다.

• 레이블이 있는 데이터셋: 각 클래스의 조건부 분포를 확률 분포로 간주하고, 특징 (feature) 과 레이블을 결합한 공간 $P_2(\mathbb{R}^d \times P_2(\mathbb{R}^d))$에서 거리를 정의합니다.
• 새로운 거리 측정법:
  • SWB1DG: 1 차원 가우시안 근사를 기반으로 한 Busemann 슬라이싱 거리.
  • SWBG: 다차원 가우시안 근사를 기반으로 한 Busemann 슬라이싱 거리.
• 기존 방법 (SOTDD) 과의 비교: 기존 Sliced-OTDD 는 모멘트 변환을 사용하지만, 본 논문은 Busemann 함수를 사용하여 더 효율적이고 기하학적으로 의미 있는 사영을 수행합니다.

3. 주요 기여 (Key Contributions)

1. Wasserstein 공간에서의 Busemann 함수 존재 조건 규명: 측지선 광선이 존재하기 위한 필요충분조건 (Monge 맵의 1-convex 성, 양분함수의 단조성, 가우시안의 공분산 조건 등) 을 수학적으로 증명했습니다.
2. Busemann 함수의 폐형식 유도: 1 차원 분포와 가우시안 분포에 대해 Busemann 함수의 명시적인 수식을 유도하여, 복잡한 OT 솔버 없이도 효율적으로 계산할 수 있게 했습니다.
3. 새로운 Sliced-Wasserstein 거리 제안: 유도된 폐형식을 활용하여 레이블이 있는 데이터셋을 비교하는 SWB1DG와 SWBG를 제안했습니다.
4. 효율적인 알고리즘: 제안된 거리 측정법은 기존 OTDD (Optimal Transport Dataset Distance) 에 비해 계산 복잡도가 낮으면서도 높은 상관관계를 보입니다.

4. 실험 결과 (Results)

• OTDD와의 상관관계: CIFAR-10 및 MNIST 데이터셋의 서브셋을 사용하여 제안된 거리 (SWB1DG, SWBG) 와 기존 OTDD 간의 상관관계를 평가했습니다.
  • 스피어만 (Spearman) 및 피어슨 (Pearson) 상관관계: 제안된 방법들은 SOTDD (기존 슬라이싱 방법) 보다 OTDD 와 훨씬 높은 상관관계를 보였습니다 (예: 5000 개 투영 시 SWB1DG 는 Spearman 0.88, Pearson 0.87).
  • 소수 투영에서의 성능: 적은 수의 투영 (예: 50~100 개) 만으로도 SOTDD 보다 뛰어난 성능을 발휘하여 계산 효율성이 높음을 입증했습니다.
• 데이터 흐름 (Flowing Datasets) 및 전이 학습:
  • 그라디언트 흐름: Wasserstein over Wasserstein (WoW) 그라디언트 흐름을 사용하여 소스 데이터셋을 타겟 데이터셋으로 이동시키는 실험을 수행했습니다. SWBG 가 SOTDD 보다 빠르게 수렴하는 것을 확인했습니다.
  • k-shot 전이 학습: MNIST 를 Fashion-MNIST 나 USPS 로 전이하는 실험에서, 제안된 거리를 사용하여 데이터를 증강 (augment) 한 후 분류기를 학습시켰습니다.
    • 정확도: SWB1DG 와 SOTDD 는 유사한 높은 정확도를 보였으나, SWB1DG 는 OTDD 보다 계산 시간이 약 20 배 이상 빠릅니다 (예: 1-shot 실험에서 OTDD 약 294 초 vs SWB1DG 약 13 초).

5. 의의 및 결론 (Significance)

• 기하학적 머신러닝의 확장: Busemann 함수를 Wasserstein 공간으로 성공적으로 확장하여, 비유클리드 데이터 (확률 분포) 에 대한 기하학적 분석 도구를 제공했습니다.
• 계산 효율성: 고비용인 OT 기반 거리 (OTDD) 를 근사하면서도 높은 정확도를 유지하는 새로운 슬라이싱 기법을 제안했습니다. 이는 대규모 데이터셋 분석 및 실시간 전이 학습에 실용적입니다.
• 응용 가능성: 제안된 방법론은 데이터셋 비교, 도메인 적응 (domain adaptation), 데이터 증강, 그리고 가우시안 혼합 모델 (GMM) 분석 등 다양한 머신러닝 작업에 적용 가능합니다.

요약하자면, 이 논문은 Busemann 함수를 Wasserstein 공간에 적용할 수 있는 이론적 기반을 마련하고, 이를 통해 고효율의 데이터셋 거리 측정법을 개발하여 실제 머신러닝 태스크에서 뛰어난 성능과 속도를 입증한 중요한 연구입니다.