기술 요약: 암시적으로 정의된 잠재 매니폴드 상의 측지 계산 (Geodesic Calculus on Implicitly Defined Latent Manifolds)

문제 정의

머신러닝에서 오토인코더는 고차원 데이터(예: 이미지, 형상)에 기반하여 저차원의 잠재 표현(latent representation)을 제공하며, 이는 매니폴드 가설(manifold hypothesis)에 근거합니다. 그러나 이러한 잠재 공간은 일반적으로 명시적인 기하학적 구조가 결여되어 있어, 보간(interpolation), 외삽(extrapolation), 또는 측지(geodesic) 계산과 같은 엄격한 기하학적 연산을 수행하기 어렵습니다. 형상 분석(shape analysis)은 형상들의 집합을 모델링하기 위해 리만 매니폴드(Riemann-man)를 광범위하게 사용하지만(예: LDDMM), 이를 오토인코더의 잠재 공간에 적용하는 데에는 다음과 같은 어려움이 따릅니다:

1. 명시적 매개변수화의 부재: 잠재 매니폴드는 주변 잠재 공간 내에서 0이 아닌 여차원(codimension)을 가질 수 있으므로, 전역적인 매개변수화(global parametrization)가 어렵거나 불가능할 수 있습니다.
2. 불완전한 표현: 실제 암시적 표현(implicit representation)은 학습된 데이터로부터 생성되기에 부정확하거나 "불완전"할 수 있으며, 이로 인해 표준 수치 해석 방법들이 실패하거나 데이터 지지체(data support)에서 벗어난 경로를 생성하게 됩니다.
3. 메트릭 의존성: 기존 방법들은 측지 계산을 특정 오토인코더 구조나 특정 메트릭 선택(예: 유클리드 거리)으로 제한하는 경우가 많으며, 응용 분야에 따른 메트릭(예: 데이터 매니폴드로부터의 풀백 메트릭)을 반영하지 못합니다.

핵심 과제는 잠재 매니폴드에 사용 가능한 기하학적 구조를 부여하여, 매니폴드 표현이 불완전하더라도 잠재 샘플 분포를 준수하는 측지 경로(보간 및 외삽)를 계산할 수 있도록 하는 것입니다.

방법론

제안된 프레임워크는 세 가지 주요 구성 요소인 잠재 매니폴드의 암시적 표현, 이산 변분 측지 계산, 그리고 투영 연산자(projection operator)를 위한 학습 전략을 통해 이러한 문제를 해결합니다.

1. 학습된 투영을 통한 암시적 표현

저자들은 전역 매개변수화를 학습하는 대신, 함수 $\zeta$의 영 레벨 셋(zero level set)으로 정의되는 암시적 부분 다양체(implicit submanifold)로서 잠재 매니폴드 $Z \subset \mathbb{R}^l$를 설명합니다.

• 정의: $\zeta(z) = z - \Pi(z)$이며, 여기서 $\Pi: \mathbb{R}^l \to \mathbb{R}^l$는 잠재 공간의 임의의 점을 매니폴드 $Z$ 위의 가장 가까운 점으로 매핑하는 투영 사상입니다.
• 학습 전략: 실제 투영 $\Pi$는 알 수 없으므로, 저자들은 **노이징 목적 함수(denoising objective)**를 최소화함으로써 근사 투영 $\Pi_\sigma$를 학습할 것을 제안합니다. 이 목적 함수는 노이징 오토인코더(Alain & Bengio, 2014)에서 영감을 얻었으며, 잠재 샘플을 포인트 클라우드로 취급하고 노이즈가 섞인 샘플과 그 투영 사이의 기대 제곱 거리를 최소화하도록 $\Pi_\sigma$를 학습합니다.
  • 손실 범함수(loss functional)는 $Q(\Pi) = \int \int |z - \Pi(y)|^2 f_\sigma(z-y) \, dz \, dy$이며, 여기서 $f_\sigma$는 가우시안 커널입니다.
  • 이 접근 방식은 기저 오토인코더 아키텍처와 독립적이며 임의의 여차원을 지원합니다.

2. 이산 변분 측지 계산 (Discrete Variational Geodesic Calculus)

잠재적으로 불완전할 수 있는 이러한 암시적 매니폴드 상에서 측지를 계산하기 위해, 저자들은 시간 이산 변분 접근법(Rumpf & Wirth, 2015 기반)을 채택합니다.

• 이산 경로 에너지: 연속 경로 $z(t)$는 이산 수열 $z = (z_0, \dots, z_K)$로 근사됩니다. 경로 에너지는 국소 거리 근사값 $W(z_{k-1}, z_k)$의 합으로 근사됩니다:
  $$E_K(z_0, \dots, z_K) = \sum_{k=1}^K W(z_{k-1}, z_k)$$
• 메트릭 유연성: 본 프레임워크는 $W$의 선택을 통해 다양한 리만 메트릭을 지원합니다:
  • 유클리드(Euclidean): $W_E(z, \tilde{z}) = |\tilde{z} - z|^2$ (주변 공간으로부터 상속됨).
  • 풀백 메트릭(Pullback Metric): $W_{PB}(z, \tilde{z}) = |\psi(z) - \psi(\tilde{z})|^2$ (데이터 공간에서의 거리).
  • 일반 리만 메트릭(General Riemannian): $W_M(z, \tilde{z}) = \text{dist}_M^2(\psi(z), \psi(\tilde{z}))$ (데이터 매니폴드의 고유 메트릭 사용).
• 최적화: 측지는 모든 $k$에 대해 $\zeta(z_k) = 0$이라는 제약 조건을 만족하면서 $E_K$를 최소화함으로써 구해집니다. 저자들은 제약 조건이 "불완전"한 경우(즉, $\zeta_\sigma$가 정확히 0이 되지 않는 경우)에도 매니폴드로부터의 편차를 페널티로 부여하고 라그랑주 승수(Lagrange multipliers)를 반복적으로 업데이트함으로써 견고하게 작동하는 **증강 라그랑주 방법(Augmented Lagrangian method)**을 사용하여 이 제약 최적화 문제를 해결합니다.

3. 이산 지수 사상 (Discrete Exponential Map)

측지 외삽(shooting)을 위해 저자들은 이산 지수 사상 $\text{Exp}_K$를 정의합니다. 초기 점 $z_0$와 이산 속도(discrete velocity, $z_1$에 의해 정의됨)가 주어지면, 이 방법은 측지 방정식의 안장점(saddle point) 조건과 매니폴드 제약을 강제하는 범함수 $F$를 반복적으로 최소화합니다. 이를 통해 주어진 양 끝점을 넘어 확장되는 측지 경로를 생성할 수 있습니다.

주요 기여

1. 불완전한 매니폴드를 위한 이산 변분 측지 계산: 본 논문은 완벽하게 표현되지 않은 암시적 잠재 매니폴드 상에서 측지를 계산하기 위한 수치적 프레임워크를 도입합니다. 이 방법은 암시적 함수 $\zeta_\sigma$의 부정확성에 대해 견고합니다.
2. 노이징 기반 투영 학습: 여차원을 알 수 없는 잠재 매니폴드로의 근사 투영을 노이징 목적 함수를 최소화함으로써 학습하는 새로운 접근 방식을 제시하며, 이는 특정 오토인코더의 종류와 무관합니다.
3. 유연한 메트릭 통합: 본 프레임워크는 매니폴드의 명시적 매개변수화 없이도 응용 분야에 따른 리만 메트릭(예: 풀백 메트릭)을 측지 계산에 직접 통합할 수 있게 합니다.
4. 경험적 검증: 제안된 방법은 합성 및 실제 데이터(이산 쉘, 모션 캡처, 이미지 회전)를 사용하여 학습된 다양한 오토인코더(isometric, spherical VAE, low-bending)에 대해 평가되었으며, 선형 보간과 비교하여 현실적인 보간 및 외삽 성능을 입증하였습니다.

결과

저자들은 네 가지 뚜렷한 시나리오를 통해 방법을 평가합니다:

• 이산 쉘 (Isometric Autoencoder): SCAPE 인간 포즈 데이터셋에서, 학습된 잠재 매니폴드 상의 측지 보간은 잠재 공간에서의 선형 보간 시 발생하는 자기 교차(self-intersection) 현상을 성공적으로 피합니다.
• 모션 캡처 (Spherical VAE): CMU 모션 데이터에 대해 Spherical VAE를 사용하여 풀백 구면 메트릭을 통한 측지를 계산합니다. 결과물인 디코딩된 포즈는 현실적인 반면, 선형 보간은 부자연스러운 관절 수축과 팔다리의 자기 교차를 생성합니다.
• 이미지 데이터 (Low Bending/Distortion): 회전하는 3D 객체 데이터셋에 대해, 16차원 잠재 공간에서 측지 보간 및 외삽을 수행하여 디코딩된 이미지에서 매끄러운 전이를 생성합니다.
• Pose-NDF (거리 함수): 암시적 표현으로서 뉴럴 거리장(Pose-NDF)과 함께 작동하도록 확장되어, 선형 보간이 실패하는 타당한 인간 포즈의 매니폴드 상에서 측지를 성공적으로 계산합니다.

모든 사례에서 계산된 측지는 데이터 매니폴드의 기하학을 준수하며, 선형 보간이 통과하는 "빈 공간(empty space)"을 피합니다. 이산 지수 사상은 주어진 엔드포인트를 넘어 곡률을 따르는 외삽 경로를 성공적으로 생성합니다.

의의 및 주장

본 논문은 학습된 잠재 표현의 실질적인 한계와 리만 기하학의 이론적 풍부함 사이의 간극을 메우는, 암시적 잠재 매니폴드 상의 기하학적 연산을 수행하기 위한 실용적이고 견고한 도구를 제공한다고 주장합니다.

• 견고성(Robustness): 이 방법의 주요 의의는 실제 머신러닝 응용에서 흔히 발생하는 상황인 "불완전한" 암시적 표현에서도 기능할 수 있다는 점에 있습니다.
• 일반성(Generality): 기하학적 계산을 특정 오토인코더 아키텍처로부터 분리하고 임의의 메트릭을 허용함으로써, 본 프레임워크는 형상 공간(shape spaces) 및 생성 모델링을 위한 새로운 차원 축소 방법론을 가능하게 합니다.
• 향후 방향: 저자들은 투영 기반 표현과 거리 기반 표현을 연결하고, 계산을 잠재 분포(예: VAE의 분포)로 확장하며, 세부 사항 전이를 위해 이산 평행 이동(parallel transport)을 활용하는 등의 후속 연구 가능성을 제시합니다. 또한, 매우 높은 차원으로의 확장성 문제와 학습 오차와 이산화 오차를 결합한 완전한 수학적 오차 분석의 부재를 한계점으로 인정합니다.

이 연구는 데이터의 기하학적 구조를 존중하는 측지 보간 및 외삽을 가능하게 함으로써, 머신러닝의 잠재 표현을 활용하는 새로운 길을 열고자 합니다.