A Riemannian View on Active Subspaces

기술 요약: 능동적 부분 공간(Active Subspaces)에 대한 리만 기하학적 관점

문제 정의
능동적 부분 공간은 고차원 유클리드 도메인에서 차원 축소를 위한 원칙적이고 고유값 순서에 따른 방법을 제공한다. 이들은 스칼라 관심 함수 $f: \mathbb{R}^n \to \mathbb{R}$가 평균적으로 가장 크게 변화하는 저차원 부분 공간을 식별하며, 그 직교 보공간에서는 함수가 거의 일정하게 유지되도록 한다. 그러나 많은 현대적 응용 분야는 매개변수가 유클리드 공간이 아닌 리만 다양체(예: 형태 분석에서의 preshape 공간과 같은 초구체)에 자연스럽게 존재하는 경우를 포함한다. 표준적인 능동적 부분 공간의 정의는 유클리드 공간의 정형적 동형 사상(canonical isomorphism)에 의존하며, 이를 통해 그래디언트 벡터의 전역적 평균을 구할 수 있다. 곡률이 있는 다양체 위에서는 서로 다른 점에서의 접벡터들이 별개의 접공간에 속하므로, 비교 메커니즘 없이는 직접적인 전역 평균을 정의하는 것이 불가능하다. 본 논문은 스칼라 함수의 평균 제곱 방향 미분으로서의 고유값 해석력을 보존하면서, 리만 다양체 상의 매끄러운 함수로 능동적 부분 공간 프레임워크를 확장하는 과제를 다룬다.

방법론
본 논문은 그래디언트 외적(gradient outer product)을 일반화함으로써 리만 다양체 $(M, g)$ 상의 능동적 부분 공간에 대한 내재적(intrinsic) 정식화를 개발한다. 핵심 방법론은 세 가지 주요 단계로 구성된다:

1. 평행 이동을 통한 내재적 평균화: 그래디언트의 전역적 평균을 정의하기 위해, 저자들은 각 리만 그래디언트 $\nabla_M f(p)$를 중심점 $p_0$와 $p$를 잇는 유일한 측지선(geodesic)을 따라 로컬 접공간 $T_p M$에서 중심 접공간 $T_{p_0} M$으로 이동시킨다. 이는 평행 이동 연산자 $P_p$를 사용하여 수행된다. 결과적으로 "리만 평균 텐서 곱"은 다음과 같이 정의된다:
   $$G_0 = \int_X P_p [\nabla_M f(p)] \otimes P_p [\nabla_M f(p)] \, d\mu(p)$$
   여기서 $\mu$는 다양체 상의 확률 측도(일반적으로 측지선 볼 내에 지지됨)이다. 이 구성은 단일 벡터 공간 $T_{p_0} M$ 상의 대칭 양의 준정부호(symmetric positive semi-definite) 텐서를 생성한다.

2. 능동적 다양체-측지선 (Active Manifold-Geodesics, AMG): $G_0$의 고유값 분해는 $T_{p_0} M$ 내의 고유값 $\lambda_i$와 고유벡터 $w_i$를 산출한다. 저자들은 "능동적 다양체-측지선"을 이 고유벡터들에 의해 생성된 직선의 지수 사상(exponential map)의 이미지로 정의한다: $W_{1,i} = \{ \exp_{p_0}(t w_i) \}$. 이 측지선들은 다양체 상의 능동적 방향 역할을 한다.

3. 내재적 vs 외재적 비교: 본 논문은 다양체가 고차원 유클리드 공간 $\mathbb{R}^m$에 임베딩된 외재적(extrinsic) 접근 방식과 내재적 접근 방식을 대조한다. 외재적 방법은 주변(ambient) 그래디언트를 평균한 후 이를 중심 접공간으로 투영한다. 저자들은 두 방식 사이의 정확한 관계를 도출하며, 외재적 스펙트럼이 투영의 부분 등거리 사상(partial isometry)으로 인해 내재적 스펙트럼의 "혼합된(conflated)" 버전임을 보여준다.

주요 기여
본 논문의 주요 기여는 네 가지이다:

• 내재적 일반화: 평행 이동된 프레임 필드를 따른 평균 제곱 방향 미분으로서의 해석을 정확히 제공하는 좌표 불변 텐서로서 평행 이동 그래디언트 외적(식 12)을 도입하였다(보조정리 1).
• 능동적 다양체-측지선: 능동적 부분 공간을 일반화하는 정렬된 측지선 집합을 정의하였다(정의 3). 공간을 채우는 곡선으로 퇴화할 수 있는 완전 비선형 축소 방식(예: active manifolds 또는 신경망)과 달리, AMG는 단일 접공간 내의 직선의 지수 이미지를 탐색하도록 제한함으로써 낮은 복잡도와 식별 가능성을 유지한다.
• 정량적 내재적-외재적 일치성: 내재적 관점과 외재적 관점이 근본적으로 다르지만, 샘플링된 측지선 볼의 반지름 $R$에 대해 $O(R^2)$ 차수에서 일치함을 입증하였다. 구체적으로, 고유값은 $O(R^2)$에서 일치하며, 지배적인 고유 공간은 $O(R^2/\eta)$에서 일치한다(단, $\eta$는 스펙트럼 갭) (명제 3). 결정적으로, 지배적인 주변 고유벡터를 투영하는 것(흔히 사용되는 외재적 관행)이 투영의 영공간(null space)에 위치할 경우 실패할 수 있음을 보여주며, 내재적 방법이 이에 대해 강건함을 증명하였다.
• 형태 분석에의 적용: 이 이론은 통계적 형태 분석의 preshape 공간(초구체)에 의해 명시적으로 동기 부여되었으며 적용되었다. 결과는 형태 함수에서의 반응 주도적 차원 축소를 위한 직접적인 프레임워크를 제공한다.

결과 및 수치적 예시
저자들은 2-구체($S^2$) 상의 수치 예제를 통해 정식화를 검증하였다:

• 릿지 회복 (Ridge Recovery): 구체로 제한된 주변 선형 함수(ambient linear function)에 대해, 내재적 AMG는 능동적 측지선 방향을 성공적으로 식별한다. 논문은 릿지 구조가 곡률 제한 이차 속도($O(R^2)$)로 감소하는 오차를 가지며 정규 좌표계에서 회복됨을 보여준다. 이는 명제 3과 일치한다.
• 퇴화 사례: 중심점이 주변 릿지의 그래디언트 방향과 일치하는 시나리오를 조사한다. 이 경우, 외재적 방법(지배적인 주변 고유벡터를 투영하는 방식)은 자명한 영벡터를 반환하며 실패한다. 반면, 내재적 방법은 단일 방향이 지배적이지 않음을 올바르게 식별하여 두 개의 동일한 고유값을 반환함으로써 "투영된 지배성(projected dominance)" 실패 모드를 피한다.
• 비-릿지 함수 (Non-Ridge Functions): 릿지가 아닌 이차 함수의 경우, 내재적 방법은 함수 변화에만 기반하여 방향의 순위를 충실히 제공하는 반면, 외재적 방법은 이 변화를 임베딩의 기하학적 구조와 얽히게 만든다.

의의 및 주장
본 논문은 내재적 정식화가 특정 임베딩으로부터 자유로운, 도메인의 기하학에 대한 더 충실한 표현을 제공한다고 주장한다. 외재적 방법이 계산적으로 편리할 수 있지만, 활동(activity)을 중심점에서 확장할 때 중요도의 순서를 왜곡할 수 있는 "부분 등거리 사상"을 도입한다고 논한다.

저자들은 제안된 방법이 **측지선 국소적(geodesically local)**임을 강조한다. 고유값이 비활성 부분 다양체의 지표로서 갖는 해석은 중심점 $p_0$를 중심으로 하는 정규 근방(geodesic ball) 내에서만 엄격하게 유효하다. 이를 전역 도메인으로 확장하려면 로컬 분석의 어틀러스(atlas) 또는 더 복잡한 엽 구조(foliation structure)가 필요하며, 이는 향후 연구 과제로 남겨두었다. 본 논문은 임의의 다양체에 대한 전역 차원 축소 문제를 해결한다고 주장하는 것이 아니라, 매끄러운 함수 상의 능동적 부분 공간에 대한 엄밀하고 설명 가능하며 국소적으로 최적인 확장을 제공하며, 형태 분석의 초구체 데이터에 즉각 적용 가능하다.