기술적 요약: 관측 가능 와asserstein 거리

문제 제기

본 논문에서 다루는 주요 과제는 대규모 비유클리드 데이터셋에서 확률 측도 간의 정확한 와asserstein 거리를 계산하는 것이 계산적으로 불가능하다는 점입니다. 최적 수송 (OT) 이론은 분포를 비교하기 위한 엄밀한 틀을 제공하지만, 정확한 계산은 일반적으로 데이터 포인트 수에 대해 3 차 또는 2 차적으로 증가하여 대규모 데이터셋에는 실용적이지 않습니다.

기존의 슬라이스드 와asserstein 거리와 같은 근사 방법들은 측도를 1 차원 부분 공간으로 투영함으로써 계산 효율성을 제공합니다. 그러나 이러한 방법들은 유클리드 공간 ($\mathbb{R}^d$) 의 선형 구조에 의존하며, 투영 방향을 정의하기 위해 내적과 노름을 사용합니다. 3D 형태, 그래프, 단백질 구조, 함수적 표면 등 관심 있는 많은 데이터셋은 선형성과 내적이 존재하지 않는 일반 거리 공간에 존재합니다. 결과적으로 표준 슬라이스드 와asserstein 접근법은 직접 적용할 수 없으며, 일반적인 폴란드 거리 공간에서 와asserstein 거리의 하한을 제공하는 계산적으로 다루기 쉬운 대안이 필요합니다.

방법론

관측 가능 와asserstein 프레임워크

저자들은 임의의 거리 공간 $(X, d)$에 대한 슬라이싱 개념을 일반화하는 관측 가능 와asserstein 거리를 소개합니다. 선형 부분 공간으로 투영하는 대신, 이 방법은 **거리 관측자 (metric observables)**를 사용하여 확률 측도를 실수선으로 투영합니다.

1. 거리 관측자: 관측자는 $|f(x) - f(y)| \leq d(x, y)$를 만족하는 1-리프시츠 함수 $f: X \to \mathbb{R}$로 정의됩니다. 모든 그러한 함수들의 집합을 $\Lambda(X)$로 표기합니다.
2. 푸시포워드 측도: 측도 $\mu \in \mathcal{P}(X)$와 관측자 $f$에 대해, 푸시포워드 측도 $f_\sharp \mu$는 $\mathbb{R}$ 위에서 정의됩니다.
3. 거리 정의: 관측 가능 와asserstein $p$-거리 $\theta_p(\mu, \nu)$는 모든 가능한 관측자에 대한 푸시포워드 측도 간의 와asserstein 거리의 상한으로 정의됩니다:
   $$\theta_p(\mu, \nu) := \sup_{f \in \Lambda(X)} w_p(f_\sharp \mu, f_\sharp \nu)$$
   관측자가 1-리프시츠이므로 $\theta_p(\mu, \nu) \leq w_p(\mu, \nu)$가 성립하여, 이것이 하한임을 확립합니다.

계층적 근사 및 식별 가능성

무한차원 공간 $\Lambda(X)$에 대한 최적화의 계산 비용을 관리하기 위해, 저자들은 부분 공간의 계층 $\Lambda_n(X) \subseteq \Lambda(X)$를 구성합니다.

• 기본 관측자: 구성은 점까지의 거리 함수 $f_a(x) = d(x, a)$로 시작합니다.
• 웨지 곱: 고차 관측자는 이러한 기본 함수들의 가중치 웨지 곱 (최소값) 을 통해 형성됩니다: $f_{\mathbf{a}}^\alpha = \alpha_0 f_{a_0} \wedge \dots \wedge \alpha_n f_{a_n}$.
• 계층: $\Lambda_n(X)$는 최대 $n+1$개의 기본 함수로 구성된 웨지 곱으로 형성된 관측자로 구성됩니다. 이는 $\theta_{p,n}(\mu, \nu)$라는 일련의 의사거리를 유도합니다.

이론적 기여: 계층적 단사성

핵심적인 이론적 결과는 **크라메르-울드 장치 (Cramér-Wold Device)**에 대한 거리 공간 유사체입니다. 이 논문은 $\Lambda_n(X)$의 관측자를 통한 푸시포워드 측도의 집합이 지지부의 거리 덮개 차원이 $\leq n$일 때 확률 측도 $\mu$를 고유하게 특징짓는다는 것을 확립합니다.

• 거리 덮개 차원 ($\xi_X$): 열린 덮개를 열린 공으로 세분화하여 정의된 차원의 개념입니다.
• 계층적 단사성 정리: $\mu$의 지지부가 거리 덮개 차원 $\leq n$을 가지면, $\mu$는 모든 $f \in \Lambda_n(X)$에 대한 투영 $f_\sharp \mu$에 의해 고유하게 결정됩니다.
• 함의: 유한 집합, 그래프, 또는 저차원 다양체와 같이 낮은 거리 덮개 차원을 가진 공간에서 지지되는 측도의 경우, 관측자 공간을 $\Lambda_n(X)$로 제한하면 진정한 거리 (단순히 의사거리가 아닌) 를 생성하며, 이는 실제 와asserstein 거리에 의해 엄격하게 하한이 주어집니다.

이산 계산 모델

실용적인 구현을 위해, 저자들은 거리 공간을 유한한 $\delta$-커버 (그리드) 로 근사하는 이산 모델을 제안합니다. 관측자는 이 유한 집합 내의 점에 고정된 것으로 제한됩니다. 그리드 해상도가 증가함에 따라 이산 관측자 거리가 연속 버전으로 수렴하며, 오차는 그리드 간격 $\delta$에 비례한다는 이론적 경계가 제공됩니다.

주요 결과

이론적 발견

• 거리 성질: $\theta_p$는 모든 확률 측도 공간 위의 거리입니다. 제한된 버전 $\theta_{p,n}$은 지지부 차원이 $\leq n$인 측도의 부분 공간 위의 거리입니다.
• $p=1$에 대한 동등성: $p=1$인 경우, 관측 가능 와asserstein 거리는 표준 와asserstein 거리와 정확히 일치합니다 ($\theta_1 = w_1$). 이 결과는 칸토로비치-루빈슈타인 쌍대성에서 유도되었습니다.
• 단조성: 계층은 $n \leq m$에 대해 $\theta_{p,n} \leq \theta_{p,m} \leq \theta_p \leq w_p$를 만족하며, 계산 효율성과 경계의 날카로움 사이의 조절 가능한 트레이드오프를 제공합니다.

수치 실험

논문은 관측 가능 와asserstein (OW) 거리를 슬라이스드 와asserstein (SW), 표준 와asserstein, 그리고 챔퍼 거리와 비교하는 여러 개념 증명 실험을 제시합니다:

1. 가우시안 분류: 고차원 유클리드 공간에서 OW 와 SW 는 가우시안 클래스를 구별하는 데 유사하게 수행됩니다. 그러나 OW 는 차원이 증가함에 따라 상대적인 성능 우위를 보이며, 이는 SW 의 1D 투영에 영향을 미치는 측도 집중 현상 때문일 수 있습니다.
2. 그래프 분포: 비유클리드 그래프 공간에서 OW 는 분류 작업에서 표준 와asserstein 거리보다 현저히 우수하면서도 뛰어난 계산 확장성을 유지합니다. OW 는 고전적인 와asserstein 이 lacking 한 잡음에 대한 강건성을 보여줍니다.
3. 구 분포: 구에 대한 실험은 관측자/함수의 수와 계산 비용 사이의 트레이드오프를 보여줍니다. 관측자의 복잡성 (높은 $n$) 을 증가시키면 상대 오차를 줄이지만, 조합적 비용이 발생합니다.
4. 점 구름 분류 (ModelNet10): 실제 3D 객체 데이터에서 OW 거리는 확장 가능한 거리 중 최고의 분류 점수를 달성하며, 특히 잡음이 많은 영역에서 SW 와 챔퍼 거리보다 우수합니다.
5. 딥러닝 응용: 저자들은 OW 를 점 구름 오토인코더 손실 함수에 통합했습니다. 챔퍼 거리가 더 날카롭지만 고르지 않은 밀도의 출력을 생성한 반면, OW(특히 미분 가능성을 위한 $L_2$ 스타일 변형) 를 사용하면 잠재 공간 분류 정확도가 높아지고 재구성 시 점 밀도가 더 균일해졌습니다.

중요성과 주장

이 논문은 슬라이스드 와asserstein 과 같은 유클리드 전용 방법의 한계를 우회하여 일반 거리 공간에서 와asserstein 거리의 하한을 도출하기 위한 계산적으로 다루기 쉬운 프레임워크를 제공한다고 주장합니다.

• 이론적 신규성: 이 작업은 측도 지지부의 거리 덮개 차원과 고유한 복원을 위해 필요한 관측자의 순서 사이의 엄밀한 연결을 확립합니다. 이는 비유클리드 OT 에서의 식별 가능성을 이해하기 위한 근본적인 이론적 도구로 작용합니다.
• 실용적 유용성: 이 프레임워크는 계산 비용과 거리 경계의 날카로움 사이의 균형을 맞추기 위해 관측자의 순서 ($n$) 를 조정할 수 있는 "조절 가능한" 접근 방식을 제공합니다.
• 확장성: 이산 모델은 대규모 데이터셋에서 효율적인 구현을 가능하게 하며, 투영/고정점 수에 대한 선형 스케일링을 시사하는 경험적 증거를 제공하여 정확한 OT 가 불가능한 대규모 데이터셋에 적합합니다.
• 강건성: 실험 결과에 따르면 OW 거리는 고전적인 와asserstein 거리에 비해 잡음에 대한 우수한 강건성을 제공할 수 있어, 실제 데이터 응용에 적합합니다.

저자들은 이 작업을 기초적인 단계로 위치시키며, 현재 수치 실험은 개념 증명이지만 이 프레임워크는 샘플링 수렴, $p \neq 1$에 대한 양-리프시츠 동등성, 그리고 딥러닝 파이프라인에서의 학습 가능한 관측자 통합에 대한 향후 연구의 길을 연다고 지적합니다.