Beyond Uniform Local Isometry and Topology: FactoMap for Disentangled Representations

기술 요약: 분리된 표현을 위한 FactoMap

문제 정의
분리된 표현 학습(Disentangled representation learning)은 데이터셋의 기저에 있는 생성 요인(generative factors)을 복구하여, 하나의 요인을 조작하는 것이 표현 공간의 단일 좌표를 변화시키는 데 대응하도록 하는 것을 목표로 한다. 기존 방식들은 흔히 통계적 독립성이나 균등 국소 등거리성(uniform local isometry)(요인 공간에서의 동일한 변화가 고정된 전역 스케일에 따라 관측 공간에서 동일한 변화를 일으킨다는 가정)과 같은 기하학적 가설에 의존하지만, 이러한 가정은 실제 적용 시 빈번하게 실패한다.

본 논문은 현재의 기하학적 접근 방식에서 두 가지 주요 한계를 식별한다:

1. 비균등 기하 구조(Non-Uniform Geometry): 통계적으로 독립적인 요인들이 기하학적으로는 결합될 수 있다. 예를 들어, 색상(hue)과 크기(scale)가 독립적으로 변하는 렌더링에서, 색상을 변화시킬 때 관측값(예: 면적)에 미치는 영향과 크기를 변화시킬 때의 영향(예: 경계)은 서로 다른 속도로 성장한다. 이는 고정된 단위 재스케일링으로는 교정할 수 없는 **위치 의존적 이방성(position-dependent anisotropy)**을 생성한다.
2. 위상 및 구조적 불충분성(Topological and Structural Insufficiency): 표준 위상학만으로는 위상 동형(homeomorphic, 위상적으로 동일)이지만 서로 다른 요인 조직을 가진 공간들을 구분하기에 불충분하다. 예를 들어, 정사각형, 원판, 원뿔은 위상적으로 유사하지만 서로 다른 요인 기하 구조(예: 원형 요인은 일정한 범위를 유지하거나, 축소되거나, 붕괴할 수 있음)를 지원한다. 또한, 국소 등거리성은 주기성(폐쇄성)이나 요인의 종결과 같은 전역적 특성을 결정할 수 없다.

방법론: 요인-공간 구조와 FactoMap
이러한 문제를 해결하기 위해, 저자들은 **요인-공간 구조(Factor-Space Structure)**라는 새로운 형식주의와 그에 대응하는 학습 알고리즘인 FactoMap(Factor-Space Topographic Map)을 도입한다.

1. 요인-공간 구조 ($F_g$):
   저자들은 요인-공간 구조를 다음과 같은 삼중항 $F_g = (Z, \approx_g, c_g)$로 정의한다:

   • $Z = \prod Z_i$는 요인 도메인(구간 $I$ 또는 원 $S^1$)의 곱이다.
   • $\approx_g$는 **생성자 유도 식별(generator-induced identifications)**을 나타내며, 어떤 점들이 $Z$ 내에서 동일한 관측값으로 매핑되는지(예: 주기성 또는 특정 점에서의 붕괴)를 정의한다.
   • $c_g = (c_1, \dots, c_p)$는 위치 의존적 스케일을 나타내며, 여기서 $c_i(z) = \|\frac{\partial g}{\partial z_i}(z)\|_2$는 요인 $i$가 관측 공간에 미치는 국소적 효과를 측정한다.
     이 형식주의는 위상은 공유하지만 요인이 식별되거나 스케일링되는 방식이 다른 공간들을 구분한다.

2. FactoMap 아키텍처:
   FactoMap은 요인-공간 구조를 지형적 표현(topographic representation)으로 구현하는 구조화된 프로토타입 학습기이다. 이는 세 가지 구성 요소로 이루어진다:

   • 요인-공간 격자 ($\Lambda_F, d_F$): 특정 위상(예: 링 vs 선), 식별(예: 붕괴된 파이버), 그리고 위치 의전적 스케일을 반영하는 해석적 거리 함수를 인코딩하는 사용자가 제공하는 유한 격자이다.
   • 프로토타입 필드 ($W$): 격자 사이트 $k \in \Lambda_F$에 의해 인덱싱되는 학습 가능한 프로토타입 $w_k \in \mathbb{R}^m$의 집합이다.
   • 지형적 학습 목적 함수: 모델은 다음과 같은 자기 조직화 지도(SOM) 목적 함수를 최소화하며 학습된다:
     $$L_t(W) = \mathbb{E}_x \left[ \sum_{k \in \Lambda_F} H_{\sigma_t}(q_W(x), k) \|x - w_k\|^2 \right]$$
     여기서 $q_W(x)$는 최적 매칭 격자 사이트이며, $H_{\sigma_t}$는 격자 거리 $d_F$에 기반한 이웃 커널이다. 이는 인접한 격자 사이트가 인접한 관측값을 나타내도록 유도하여, 격자의 기하학적 및 위상적 특성을 학습된 프로토타입으로 전이시킨다.

주요 기여

• 요인-공간 형식주의: 본 논문은 요인 도메인, 생성자 유도 식별, 그리고 요인별 스케일을 엄격하게 분리할 것을 제안한다. 이를 통해 서로 다른 기하학적 조직을 가진 위상 동형 공간들을 구분할 수 있다.
• 균등 등거리성 실패의 입증: 저자들은 통계적으로 독립적인 요인들(특히 색상과 크기)이 위치 의존적 이방성을 보일 수 있음을 보여주는 이론적 증명(Proposition 2.1)과 경험적 증거를 제공한다. 이들은 고정된 대각선 재가중치(diagonal re-weighting)로는 비퇴화 스케일 구간 전체에 대해 메트릭을 균등한 유클리드 공간으로 만들 수 없음을 입증한다.
• FactoMap 알고리즘: 격자에 의해 인덱싱되는 해석 가능한 프로토타입을 학습하는 새로운 방법이다. 요인-공간 구조(주기성 및 비균등 스케일 포함)와 일치하는 격자를 공급함으로써, FactoMap은 표준 유클리드 또는 불일치하는 위상 가설이 실패하는 지점에서도 분리된 표현을 달те 성한다.
• 제어된 평가: 제어된 생성 요인을 가진 합성 데이터셋인 FactoShapes를 도입하여, 요인-공간 구조가 분리된 표현에 미치는 영향을 격리하여 분석한다.

결과
FactoShapes에 대한 실험은 프로토타입 도메인을 기저의 요인-공간 구조와 일치시키는 것이 분리에 결정적임을 보여준다:

• 위상 매칭: 주기적 요인(색상)에 대해 열린 선(open line) 격자를 사용하면 인접한 색상 사이에 "절단(cut)"이 발생한다. 링(ring) 격자를 사용하면 인접성이 올바르게 복원되며, 이는 전역적 폐쇄성이 단순히 로컬하게 학습되는 것이 아니라 격자에 인코딩되어야 함을 증명한다.
• 스케일 매칭: 색상과 크기가 공동으로 변할 때, 이들의 이미지 공간 속도는 서로 다른 멱법칙($c_h \propto s$ 및 $c_s \propto \sqrt{s}$)을 따른다. 직사각형 격자는 이러한 요인들을 분리하지 못하고 표현 내에서 혼합시킨다.
• 원뿔 격자의 성공: 스케일 축에 따라 원형 둘레가 변하는 "원뿔 구조(cone-structured)" 격자(해석적 예측과 일치함)는 색상과 크기를 성공적으로 분리한다.
• 정량적 지표: InfoMEC(분리 지표)를 사용했을 때, 매칭된 원뿔 격자는 높은 점수(InfoM $\approx$ 0.95, InfoE $\approx$ 0.82, InfoC $\approx$ 0.95)를 기록한 반면, 불일치하는 그리드 격자는 낮은 성능(InfoM $\approx$ 0.27, InfoE $\approx$ 0.54, InfoC $\approx$ 0.025)을 보였다.

의의 및 주장
본 논문은 통계적 독립성이 기하학적 분리 가능성을 의미하지 않는다고 주장한다. 생성 요인의 기저 기하 구조는 복잡할 수 있으며, 비균등 스케일 및 특정 위상 식별을 포함할 수 있고, 이는 표준 유클리드 또는 고정된 위상 모델이 포착할 수 없는 것이다.

FactoMap의 의의는 요인-공간 구조(위상, 식별, 국소 스케일)를 학습 과정에 명시적으로 인코딩할 수 있다는 점에 있다. 격자 좌표를 기저 요인과 정렬함으로써, 이 방법은 요인의 연속성을 보존하고 균등 국소 등거리성 가설을 위반하는 데이터 생성 과정에서도 분리된 표현을 가능하게 한다. 저자들은 위상만으로는 불충분하지만, 이를 생성자 유도 식별 및 위치 의존적 스케일과 결합하는 것이 복잡한 생성 요인을 표현하기 위한 필수적인 프레임워크를 제공한다고 강조한다.