기술 요약: 군 대칭성 하에서의 플로우 매칭을 통한 등변량 잠재 정렬 (Equivariant Latent Alignment via Flow Matching under Group Symmetries)

문제 정의

본 논문은 기하학적 인지 생성 모델 및 신규 뷰 합성(NVS)을 위한 **등변 표현 학습(Equivariant Representation Learning, ERL)**의 결정적인 한계를 다룹다. ERL은 군 작용(예: $SO(2)$또는$SO(3)$에서의 회전)이 해석적으로 예측 가능하게 작용하는 잠재 공간을 구축하는 것을 목표로 하지만, 저자들은 **잠재 불일치(latent misalignment)**라고 명명한 현상을 식별하였다.

실제로, 인코더 $\Phi$가 등변성 목적 함수를 통해 훈련되더라도, 해석적으로 변환된 잠재 표현 $\rho(g)\Phi(x)$ (여기서 $\rho(g)$는 알려진 군 표현)는 변환된 이미지의 경험적으로 인코딩된 잠재값 $\Phi(g \circ x)$로부터 종종 벗어난다. 이러한 불일치는 다음의 원인으로 발생한다:

1. 불완전한 최적화: 인코더가 객체의 콘텐츠와 대칭 구조를 공동으로 압축하는 복잡성으로 인해 완벽한 등변 매핑을 학습하는 데 실패함.
2. 에일리어싱(Aliasing): 표준 아키텍처(CNN, Transformer)는 이산 샘플링 및 대역 제한되지 않은 필터를 통해 에일리어싱을 유발하며, 이는 지속적인 등변성 오류를 일으킴.
3. 다중 모드 타겟(Multi-modal Targets): 불완전한 인코더는 서로 다른 입력을 동일한 잠재값으로 매핑할 수 있으며, 이는 군 작용이 적용될 때 결정론적인 점 대 점(point-to-point) 매핑으로는 해결할 수 없는 다중 모드 타겟 분포을 생성함.

이러한 불일치는 변환 과정에서 누적되어, 신규 뷰 합성의 기하학적 일관성과 시각적 충실도를 저하시킨다.

방법론: 잔차 잠재 플로우 (Residual Latent Flow, RLF)

그룹 이론적 사전 지식을 버리지 않으면서 이 불일치를 교정하기 위해, 저자들은 **플로우 매칭(Flow Matching)**에 기반한 잔차 잠재 플로우(RLF) 프레임워크를 제안한다.

핵심 개념

해석적으로 변환된 잠재값 $\rho(g)\Phi(x)$를 최종 그라운드 트루스로 취급하는 대신, 저자들은 이를 **1차 근사치(first-order approximation)**로 취급한다. 이들은 이 근사된 잠재값을 실제 경험적 타겟인 $\Phi(g \circ x)$로 운송하는 연속적인 플로우(시간 의존적 미분 동형 사상)를 학습한다.

문제 정식화

작업은 조건부 분포 운송 문제로 정식화된다:

• 소스 ($z_0$): 해석적으로 변환된 잠재값, $z_0 = \rho(g)\Phi(x)$.
• 타겟 ($z_1$): 변환된 이미지의 실제 인코딩된 잠재값, $z_1 = \Phi(g \circ x)$.
• 제약 조건: 독립적인 분포를 운송하는 표준 플로우 매칭과 달리, RLF는 $z_0$를 동일한 객체 $(x, g)$로부터 유도된 특정 쌍인 $z_1$로 운송해야 한다. 이는 독립적인 주변 분포(marginals)가 아닌 조건부 결합 분포 $\pi_{0,1}(z_0, z_1 | x, g)$를 모델링할 것을 요구한다.

훈련 절차

이 방법은 3단계 훈련 파이프라인을 따른다:

1. 베이스라인 오토인코더 훈련: 등변성 및 재구성 오차를 최소화하기 위해 표준 ERL 손실(식 2)을 사용하여 인코더 $\Phi$와 디코더 $\Psi$를 훈련한다.
2. RLF 훈련: 인코더를 고정한다. 플로우 모델은 $z_0$를 $z_1$로 운송하는 속도장(velocity field) $v_\theta$를 학습하도록 훈련된다. 목적 함수는 학습된 속도와 조건부 속도장(선형 보간 $z_0$와 $z_1$ 사이) 간의 차이를 최소화한다:
   $$\mathcal{L}_{RLF}(\theta) = \mathbb{E}_{x, g, t, z_t} [\|v_\theta(z_t, t) - (z_1 - z_0)\|_2^2]$$
   이를 통해 모델은 불완전한 인코더로부터 발생하는 타겟 분포의 다중 모드 특성을 처리할 수 있다.
3. 디코더 미세 조정(Fine-tuning): 디코더 $\Psi$를 플로우로 교정된 잠재값에 적응시키기 위해 미세 조정하여, 이동된 잠재 분포에 대한 고품질 재구성을 보장한다.
   플로우 모델 아키텍처는 군(group)에 따라 달라진다: $SO(2)$의 경우 트랜스포머 기반,$SO(3)$의 경우 Wigner D-행렬 블록의 정사각형 그리드 구조를 활용한 U-Net 기반 아키텍처를 사용한다.

주요 기여

1. 잠재 불일치의 식별: 본 논문은 ERL에서 해석적으로 회전된 잠재값과 경험적으로 인코딩된 잠재값 사이의 불일치를 공식적으로 정의하고 분석하여, 이것이 어떻게 기하학적 일관성을 해치는지 입증하였다.
2. 잔차 잠재 플로우 프레임워크: 저자들은 플로우 매칭을 사용하는 새로운 잠재 교정 메커니즘을 제안한다. 표준적인 플로 매칭이 노이즈를 데이터로 운송하는 것과 달리, RLF는 그룹 이론적 근사치를 경험적 타겟으로 운송함으로써, 인코더의 결함을 교정하면서도 그룹 구조를 보존한다.
3. 경험적 검증: 제안된 방법은 $SO(2)$및$SO(3)$ 대칭성을 가진 다양한 데이터셋에 대해 검증되었으며, 잠재 오차 감소와 신규 뷰 합성 품질 향상을 보여주었다.

실험 결과

저자들은 합성(ABO-Material, ModelNet10-SO(3), ComplexBRDFs) 및 실제 이미지(RotatedMNIST, SmallNORB) 벤치마크를 포함한 6개의 데이터셋에서 RLF를 평가하였다.

• 신규 뷰 합성 (NVS): RLF는 인-도메인(in-distribution) 및 아웃-오브-도메인(OOD) 설정 모두에서 베이스라인(NFT, Spatial-VAE, LGA 포함)을 일관되게 능가하였다.
• 지표:
  • 잠재 오차(Latent Error): 예측된 잠재값과 그라운드 트루스 잠재값 사이의 $L_2$ 거리에서 상당한 감소를 보였다.
  • 각도 오차(Angle Error): 특히 $SO(3)$ 작업에서 예측된 회전 각도와 실제 각도 사이의 편차가 크게 감소하였다.
  • 시각적 충실도: PSNR 및 LPIPS의 개선을 보였으며, 질적 결과에서는 베이스라인들이 흔히 보이는 왜곡이나 아티팩트와 달리, 회전 중 배경 및 세부 사항을 더 잘 보존함을 보여주었다.
• 일반화: 방법론은 다양한 회전 각도와 미지의 객체에 대해 견고함을 입증하여, 플로우 교정이 등변 관계를 효과적으로 일반화함을 검증하였다.

의의 및 주장

본 논문은 잔차 잠재 플로우가 기존의 등변 모델에 문제를 일으키는 "잠재 불일치" 문제에 대한 실질적인 해결책을 제공한다고 주장한다. 그룹 작용을 1차 근사로 취급하고 잔차 교정을 학습함으로써, 이 방법은 다음과 같은 효과를 거둔다:

• 일관성 복원: 잠재 공간이 기초적인 군 대칭성에 더 충실하게 부합하도록 강제한다.
• 충실도 향al: 특히 폐쇄(occlusion)와 기하학적 추론이 요구되는 까다로운 면외 회전(out-of-plane rotation) 시나리오에서 신규 뷰 합성의 품질을 직접적으로 향상시킨다.
• 구조 보존: 신경망 아키텍처의 실제적인 한계를 교정하면서도, 군 이론적 특성(예: Wigner D-matrices)의 해석 가능성과 이론적 보증을 유지한다.

저자들은 이 방법이 정렬을 크게 개선하지만, 최종 이미지 품질은 디코더의 용량에 의해 제한된다는 점을 언급하였다. 또한, 이 프레임워크를 더 일반적인 변환(예: $SE(3)$, 관절 운동)으로 확장하고 안정적인 엔드-투-엔드 훈련 전략을 개발하는 것이 중요한 향후 연구 방향임을 밝혔다.