Equivariant Representation Learning via Class-Pose Decomposition

기술 요약: 클래스-포즈 분해를 통한 등변 표현 학습 (Equivariant Representation Learning via Class-Pose Decomposition)

문제 정의
지능형 에이전트는 인지된 데이터의 내재적 구조를 반영하는 풍부한 표현을 필요로 한다. 오토인코더나 대조 학습(contrastive learning)과 같은 자기 지도 학습 방식은 일반적이기는 하지만, 데이터에 숨겨진 근본적인 측면, 즉 내재적인 객체 클래스와 그 포즈(pose)의 분리를 포착하는 데는 종종 실패한다. 최근의 연구들은 이러한 요인들을 얽힘 해제(disentangling)하기 위해서는 특정한 편향(bias)이나 감독(supervision)이 필요함을 시사한다. 많은 데이터셋에서 발견되는 근본적인 기하학적 구조는 대칭성이다 (예: 객체의 포즈에 작용하는 강체 변환 또는 모바일 에이전트 탐사에서의 프레임 변화). 과제는 표현이 이러한 대칭성에 대해 등변적(equivariant)일 뿐만 아니라, 데이터의 완전한 기하학적 구조를 보존하면서도 손실이 없고(lossless), 해석 가능하며, 얽힘이 해제된(disentangled) 상태가 되도록 학습하는 것이다.

방법론
저자들은 잠재 공간(latent space)을 두 가지 별개의 구성 요소, 즉 내재적 데이터 클래스를 나타내는 불변 인자(invariant factor)와 포즈를 나타내는 대칭성 구성 요소로 분해하는 일반적인 프레임워크를 제안한다.

1. 이론적 토대:
   본 접근 방식은 군론(group theory)에 기반한다. 저자들은 대칭성을 데이터 공간 $X$에 작용하는 군 $G$로 정식화한다. 작용이 *자유적(free)*이라는 가정(어떤 항등 원소도 점을 고정하지 않음) 하에, 저자들은 등변 동형 사상(equivariant isomorphism) $X \simeq (X/G) \times G$가 존재한다는 이론적 결과(Proposition 2.1)에 의존한다. 여기서 $X/G$는 궤도(orbits, 내재적 클래스)를 나타내고, $G$는 대칭군(포즈)을 나타낸다. 이 분해는 표현이 손실이 없고 데이터의 기하학적 구조를 보존함을 보장한다.

2. 잠재 공간 분해:
   잠재 공간 $Z$는 곱 $Z = E \times G$로 정의된다:

• $E$는 클래스(궤도)를 나타내는 불변 집합이다.
• $G$는 포즈를 나타내는 대칭군이다.
  군 $G$는 $E$에 대해서는 자명하게(trivially) 작용하고, 자기 자신에 대해서는 곱셈을 통해 작용한다.

3. 학습 목표:
   모델 $\phi: X \to E \times G$는 데이터 튜플 $(x, g, y)$ (여기서 $y = g \cdot x$)를 사용하여 학습된다. 손실 함수는 상대적 대칭 정보에 기반하여 등변성을 강제한다:
   $$L(\theta; x, g, y) = d_E(\phi_E(y), \phi_E(x)) + d_G(\phi_G(y), g \cdot \phi_G(x))$$

• 첫 번째 항($d_E$)은 불변성을 강제하여, 동일한 궤도에 있는 점들이 동일한 클래스 표현으로 매핑되도록 한다. "궤도 붕괴(orbit collapse)"를 방지하고 단사성(injectivity, 손실 없는 표현에 필수적)을 보장하기 위해, 저자들은 InfoNCE 손실을 사용하여 잠재 점들이 서로 멀어지도록 유도한다.
• 두 번째 항($d_G$)은 포즈 구성 요소에 대한 군 작용에 대한 등변성을 강제한다.

4. 구현:
   비유클리드 군(예: $SO(3)$)을 처리하기 위해, 저자들은 리 대수(Lie algebra) $\mathfrak{g}$로부터의 지수 사상(exponential map)을 사용하여 군 $G$를 매개변수화한다. 모델은 $\mathfrak{g}$의 원소 $v$를 출력하며, 이는 $e^v$를 통해 $G$로 매핑된다. $G=SO(3)$의 경우, 이는 로드리게스 공식(Rodrigues' formula)을 사용하여 효율적으로 계산된다.

주요 기여

• 클래스-포즈 분해: 잠재 공간을 분해함으로써 내재적 데이터 클래스와 포즈를 명시적으로 분리하는 등변 표현 학습 방법.
• 일반적인 수학적 정식화: 자유 군 작용(free group actions) 하에서 손실이 없고, 해석 가능하며, 얽힘이 해제된 표현을 보장하는 군론 기반의 프레임워크.
• 경험적 조사: 다양한 대칭성(평행 이동, 팽창, 회전)을 가진 데이터셋과 장면 매핑(scene mapping) 응용 분야에 대한 종합적인 평가.

실험 결과
저자들은 Sprites, Shapes, Multi-Sprites, Chairs, 그리고 Apartments(모바일 에이전트 시뮬레이션)의 다섯 가지 데이터셋에서 이 방법을 평가했다. 이들은 다음과 같은 모델들과 비교하였다:

• MDP 호모모피즘 (MDPH): 군에 대한 사전 지식 없이 잠재 행동을 학습함.
• 선형 모델 (Linear Models): 행렬 곱을 사용하는 선형 잠재 공간을 사용함 (비자유 작용).
• 등변 신경 렌더링 (ENR): 이산화된 잠재 그리드와 근사적 등변성을 사용함.

결과:

• 기하학적 보존: 시각화 결과, 제안된 방법은 불변 구성 요소 $E$에서 궤도를 올바르게 분리하고, 포즈 구성 요소 $G$에서 군의 기하학적 구조를 보존함을 보여준다. "Apartments" 데이터셋의 경우, 모델은 여러 환경의 지도를 동시에 성공적으로 추출했다.
• 성능: 제안된 방법은 단일 단계 예측에서 완벽에 가까운 적중률(hit-rate)을 달al성했다. 결정적으로, 긴 궤적(10 및 20 단계)에서 제안된 방법은 베이스라인들을 크게 압도했다.
  • MDPH는 학습된 잠재 행동에 구조적 제약이 부족하여 오차가 누적되었다.
  • 선형 모델은 작용이 자유롭지 않아(벡터를 자기 자신 주위로 회전시키는 것은 효과가 없음) 정보 손실이 발생했기 때문에 성능이 저하되었다.
  • ENR은 잠재 공간의 이산화로 인해 보간(interpolation) 오류를 겪었다.
• 얽힘 해제: 이 프레임워크는 포즈 구성 요소에 작용함으로써 대칭 요인을 독립적으로 변화시킬 수 있는 자연스러운 얽힘 해제를 달성한다.

의의 및 주장
본 논문은 리 군 이론(Lie group theory)의 추상적인 언어를 활용함으로써, 자신들의 프레임워크가 임의의 군과 데이터 유형에 적용 가능한 일반적인 등변 표현 학습 솔루션을 제공한다고 주장한다. 특정 시나리오(예: 유클리드 표현 또는 군 컨볼루션)에 집중하거나 구조화되지 않은 잠재 역학을 학습하는 이전 연구들과 달리, 이 접근 방식은 동형(isomorphic, 손실 없는) 표현을 보장한다. 저자들은 이 방법이 내재적 클래스와 포즈의 회복을 가능하게 하여, 모바일 에이전트를 위한 자기 지도 학습 기반의 위치 추정 및 매핑과 같은 과제를 용이하게 한다고 강조한다.

한계 및 향emb Work
저자들은 자신들의 정식화가 대칭 군을 데이터로부터 추론하는 것이 아니라 사전에 알고 있다고 가정한다는 점을 인정한다. 이는 오도메트리(odometry)가 대칭 정보를 제공하는 로보틱스 분야에서는 실행 가능하지만, 다른 도메인에서는 제한적일 수 있다. 저자들은 데이터로부터 군 구조를 학습하는 것이 더 해석 가능성은 낮더라도 잠재적인 미래 연구 방향이 될 수 있다고 제안한다.