OrthoMotion:Disentangling Camera and Subject Motion via Geometry Semantics Orthogonal Attention

기술 요약: OrthoMotion

문제 정의

제어 가능한 비디오 생성에는 카메라 움직임과 피사체 움직임에 대한 독립적인 제어가 필요합니다. 그러나 기존 방식들은 한 축(예: 카메라 궤도)을 제어할 때 다른 축(예: 피사체 궤적)이 의도치 않게 왜곡되는 엉킴(entanglement) 현상을 겪습니다.

본 논문은 이것이 단순한 아키텍처의 실패가 아니라 **표상적 모호성(representational ambiguity)**의 문제라고 주장합니다. 깊이 $Z$를 가진 장면의 광학 흐름(optical flow) 방정식에 기반할 때, 카메라의 병진 운동(translational motion)과 물체의 자가 운동(self-motion)은 모두 역깊이 인자($1/Z$)에 따라 스케일링됩니다. 결과적으로, 2D 조건부 설정에서 카메라에 의한 흐름과 물체에 의한 흐름 사이의 분리는 부적정 역문제(ill-posed inverse problem), 즉 식별 불가능한(non-identifiable) 문제가 됩니다. 명시적인 제약 조건 없이는 모델이 2D 이미지 증거만으로 움직이는 카메라와 움직이는 물체를 구분할 수 없으며, 이는 본질적인 상호 간섭(cross-talk)으로 이어집니다.

방법론: OrthoMotion

OrthoMotion은 디퓨전 트랜스포머(특히 Wan2.1)의 어텐션 메커니로즘 내에서 분리를 **연산자 설계 문제(operator design problem)**로 재정의함으로써 이 엉킴 문제를 해결합니다. 이 방식은 기하-의미 직교(Geometry–Semantics Orthogonal, GSO) 어텐션을 도입하여 카메라 제어와 피사체 제어를 대수적으로 상보적인 서브 연산자로 라우팅합니다.

1. 기하 채널 (카메라)

카메라 움직임은 회전 위치 임베딩(Rotary Position Embedding, RoPE) 단계에 주입됩니다.

• 메커니즘: RoPE 불변성을 깨뜨리는 가법적 주입이나 노름 보존이 되지 않는 투영 임베딩 대신, OrthoMotion은 쿼리(query) 및 키(key) 벡터에 **노름 보존 회전(norm-preserving rotation)**을 적용합니다.
• 수학적 형태: 전역 직교 행렬 $\Omega(g) \in SO(d_h)$가 표준 RoPE 회전 $R(p)$와 합성됩니다. 로짓(logit)은 $\tilde{q}_i^\top \tilde{k}_j = q_i^\top R(p_i)^\top \Phi_{ij} R(p_j) k_j$가 되며, 여기서 $\Phi_{ij}$는 상대적인 카메라 포즈에만 의존합니다.
• 이론적 보증: Proposition 1과 Theorem 2에 따라, 이 연산은 토큰 노름과 소프트맥스 온도 기하 구조를 보존하며, 이를 통해 카메라 제어가 어텐션 통계량을 왜곡하거나 개별 픽셀 단위의 물체 항으로 위장하지 않고 순수한 기하학적 워프(warp)로서 작용하도록 보장합니다.

2. 의미 채널 (피사체)

피사체 궤적은 **크로스 어텐션(Cross-Attention)**의 값(values)에 주입됩니다.

• 메커니즘: 피사체 궤적 토큰은 텍스트 키/값에 추가되며, 피사체 영역에 특화된 소프트 마스크 $M_t(x)$에 의해 게이팅됩니다.
• 수학적 형태: 업데이트는 값 공간에서의 **가법적 평행 이동(additive translation)**입니다: $o_i = \sum \alpha_{ij} v_j + \sum \beta_{ik} v_{\tau}^k$.
• 이론적 보증: Proposition 3에 따르면, 이 연산은 가법적이며 국소적입니다. 이는 쿼리/키 기하 구조(카메라 단계)를 변경하지 않으며, 피사체 마스크 내로 엄격히 제한되어 타겟 영역 외부로의 누출을 방지합니다.

3. 분리 정규화 도구 (Decoupling Regularizer)

두 채널이 서로 간섭하지 않도록 하기 위해, 저자들은 **분리 정규화 도구($\mathcal{L}_\perp$)**를 도입합니다.

• 목표: 이 정규화 도구는 카메라의 응답 자코비안($\hat{J}_g$)과 피사체의 응답 자코비안($\hat{J}_\tau$) 사이의 내적 프로베니우스 노름을 최소화합니다:
  $$\mathcal{L}_\perp = \| \hat{J}_g^\top \hat{J}_\tau \|_F^2$$
• 이론적 보증: Theorem 3은 $\mathcal{L}_\perp$를 최소화하는 것이 응답 부분 공간(response subspaces)을 직교하도록 유도함을 증명합니다. 이는 두 제어 간의 1차 교차 간섭(cross-talk, leakage)을 제한합니다. 단순히 분리가 자연스럽게 나타나기를 기대하는 기존 방식과 달리, OrthoMotion은 설계 단계에서부터 이를 보장합니다.

주요 기여

1. 표상 진단: 본 논문은 카메라-물체 엉킴이 광학 흐름의 공유된 $1/Z$ 스케일링에서 비롯됨을 공식적으로 증명하여, 특정 연산자 제약 없이는 2D 분리가 식별 불가능함을 밝혀냈습니다.
2. GSO 어텐션 및 정규화: 이중 채널 아키텍처(기하 단계 + 의미 값 주입)와 두 응답 부분 공간 사이의 직교성을 수학적으로 강제하는 정규화 도구를 제안했습니다.
3. 교차 간섭 오차(Cross-Talk Error, CTE) 지표: 누출을 정량화하기 위한 새로운 지표를 도입했습니다:
   • $CTE_{c \to s}$: 카메라를 스윕(sweep)할 때 발생하는 피사체 드리프트.
   • $CTE_{s \to c}$: 피사체를 스윕할 때 발생하는 카메라 드리프트.
4. 최초의 보장된 분리: 분리를 창발적 행동에 의존하는 것이 아니라 이론적 보장을 제공하는 최초의 방법론입니다.

실험 결과

Wan2.1-1.3B 백본을 기반으로 평가되었으며(14B 및 CogVideoX-2B에서도 일반화 테스트 수행), OrthoMotion은 다음을 달성했습니다:

• 최고 수준의 정확도(SOTA): 카메라 회전/병진 오차 및 피사체 궤적 정확도(ObjMC) 측에서 베이스라인(MotionCtrl, MotionPro, Tora+ReRePE)을 동시에 능가했습니다.
• 획기적인 교차 간섭 감소: 정규화 도구가 없는 변형 모델 대비 $CTE_{c \to s}$를 2.4배 이상 감소시켰습니다 (11.3 px $\to$ 4.6 px).
• 품질 저하 없음: FVD(Fréchet Video Distance)나 CLIP 유사도를 저하시키지 않고 이러한 이득을 얻었으며, 오히려 성능을 개선했습니다.
• 어블레이션 통찰:
  • 정규화 도구($\mathcal{L}_\perp$)를 제거하면 교차 간섭이 크게 증가합니다.
  • 비 노름 보존 주입(예: additive Plücker)을 사용하면 충실도가 저하됩니다.
  • 최적의 정규화 가중치는 $\lambda=0.1$에서 발견되었습니다.
  • 단일 축 성능이 특화된 컨트롤러와 대등하거나 더 우수하여, "결합 제어 페널티(joint-control penalty)"가 없음을 확인했습니다.

의의 및 주장

본 논문은 단순히 아키텍처를 튜닝하는 것이 아니라 근본적인 표상적 모호성을 다룸으로써, 분리된 카메라-피사체 제어라는 난제를 해결한다고 주장합니다.

• 이론적 전환: 분리를 데이터나 학습의 부산물로 취급하던 분야를 연산자 직교성을 통한 설계 보장의 영역으로 이동시켰습니다.
• 실질적 영향: 카메라와 피사체를 독립적으로 조종할 수 있는("두 개의 별도 다이얼"처럼) 시네마틱 제작을 가능하게 하며, 기존 방식에서 보이던 "끌림(drag)"이나 "섭동(perturbation)" 현상을 제거합니다.
• 한계점: 저자들은 현재 방법론이 1차 자코비안 추정에 의존하며 강체 장면(Eq. 1 기반)을 가정하고 있음을 인정합니다. 이를 변형 가능한 피사체 및 다중 물체 장면으로 확장하는 것을 향후 과제로 제시했습니다.