Geometry-Aware Rotary Position Embedding for Consistent Video World Model

이 논문은 3D 일관성을 해치는 기존 화면 공간 위치 임베딩의 한계를 극복하기 위해 카메라 광선 방향을 주입한 'ViewRope'와 기하학적 단서를 활용한 희소 어텐션 기법을 제안하여, 장거리 이동 시에도 장면의 구조적 안정성을 유지하는 비디오 월드 모델을 구축했습니다.

핵심

이 논문은 **"비디오를 만들 때, 카메라가 돌아와도 같은 장면을 기억하게 하는 새로운 기술"**에 대해 설명합니다.

기존의 AI 비디오 생성 모델들은 카메라가 한 바퀴 돌아서 원래 위치로 돌아오면, 방금 전에 봤던 풍경이 사라지거나 엉뚱한 물건이 생기는 (할루시네이션) 문제가 있었습니다. 마치 사람이 눈을 감았다가 다시 떴을 때, 방금 전에 보던 책상 위에 있던 컵이 갑자기 사라지고 꽃병이 있는 것처럼 말이죠.

이 논문은 이를 해결하기 위해 **'뷰로프 (ViewRope)'**라는 기술을 제안했습니다.

---

🎬 핵심 아이디어: "위치"가 아니라 "시선"으로 기억하기

기존 AI 들은 비디오의 각 프레임 (화면) 을 **2 차원 스크린의 좌표 (x, y)**로만 기억했습니다.

• 기존 방식의 문제점: 카메라가 돌면 화면 속 사물의 위치가 완전히 바뀝니다. 예를 들어, 왼쪽 구석에 있던 나무가 카메라가 180 도 돌아오면 오른쪽 구석으로 이동합니다. AI 는 "왼쪽 구석의 나무"와 "오른쪽 구석의 나무"가 같은 나무라는 것을 모릅니다. 그래서 다시 돌아왔을 때, "아, 오른쪽에 새로운 나무가 있구나!"라고 착각하고 엉뚱한 나무를 그려냅니다.

이 논문이 제안한 해결책 (ViewRope):
AI 에게 화면의 좌표 대신 **"카메라가 바라보는 방향 (시선)"**을 기억하게 했습니다.

• 비유: 우리가 길을 걸을 때, "내 왼쪽 3 미터에 있는 나무"가 아니라 **"내가 정면으로 바라보는 저 나무"**라고 기억하는 것과 같습니다.
• 카메라가 돌아서 다시 원래 방향을 바라보면, AI 는 "아, 이 시선 방향의 나무는 방금 전에 봤던 그 나무구나!"라고 정확히 인식합니다.

이를 위해 연구진은 카메라의 시선 방향을 AI 의 '주의 (Attention)' 메커니즘에 직접 주입했습니다. 마치 AI 가 장난감 상자에 있는 모든 사물을 '위치'가 아니라 '어디를 보고 있는지'로 분류해서 정리해두는 것과 같습니다.

---

⚡ 부가 기술: "필요한 것만 보는" 스마트 메모리

비디오가 길어지면 AI 가 기억해야 할 과거 장면이 너무 많아져서 계산이 느려집니다.

• 기존 방식: 과거의 모든 장면을 다 기억하려고 노력하다가 (모든 프레임을 다 봄), 속도가 느려집니다.
• 이 논문의 방식 (기하학적 희소 주의): "지금 카메라가 바라보는 방향과 겹치는 (보이는) 과거 장면만 골라 봅니다."
  • 비유: 도서관에서 책을 찾을 때, 책 전체를 다 뒤지는 게 아니라 **"내가 찾고 있는 주제와 관련된 책장"**만 빠르게 찾아갑니다.
  • 이렇게 하면 계산 속도는 빨라지면서도, 중요한 장면 (과거에 봤던 같은 장소) 은 놓치지 않고 정확히 기억할 수 있습니다.

---

🧪 실험 결과: "원래대로 돌아오기" 테스트

연구진은 ViewBench라는 새로운 테스트 도구를 만들었습니다.

• 테스트 내용: 카메라를 한 바퀴 돌린 뒤 (회전 away), 다시 원래 위치로 돌아오게 (회전 back) 합니다.
• 결과:
  • 기존 모델들: 돌아왔을 때 건물의 모양이 달라지거나, 나무가 사라지는 등 기하학적 오류가 발생했습니다.
  • 이 모델 (ViewRope): 돌아왔을 때 원래의 풍경과 거의 똑같이 재현했습니다. 특히 카메라가 많이 돌아갈수록 (90 도, 180 도 회전) 기존 모델들은 완전히 망가졌지만, 이 모델은 여전히 일관된 장면을 유지했습니다.

---

📝 한 줄 요약

"기존 AI 는 화면 속 '위치'만 기억해서 카메라가 돌아오면 혼란스러워했지만, 이 새로운 기술은 '시선 방향'을 기억하게 해서 카메라가 돌아와도 같은 장면을 완벽하게 복원합니다."

이 기술은 VR(가상현실), 게임, 교육용 콘텐츠 등에서 사용자가 자유롭게 돌아다니며 장면을 경험할 때, 현실처럼 일관된 세계를 만들어주는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 생성 모델 (World Models) 은 명시적인 카메라 제어를 통해 미래의 관측을 예측할 수 있지만, **장기적인 기하학적 일관성 (Long-term Geometric Consistency)**을 유지하는 데 심각한 한계가 있습니다.

• 기하학적 드리프트 (Geometric Drift): 카메라가 이동하여 다시 이전에 본 시점 (Viewpoint) 으로 돌아오는 '루프 클로저 (Loop-closure)' 상황에서, 기존 모델은 동일한 장면을 재현하지 못하고 새로운 디테일을 환각 (Hallucination) 하거나 장면 구조가 왜곡되는 현상이 발생합니다.
• 근본 원인: 대부분의 비디오 트랜스포머는 화면 좌표계 (Screen-space, $x, y, t$) 기반의 절대적/상대적 위치 임베딩 (Positional Embedding) 에 의존합니다. 그러나 카메라의 회전과 이동 하에서는 3D 공간의 동일한 점이 시간 흐름에 따라 서로 다른 픽셀 좌표로 매핑됩니다. 즉, 픽셀의 국소성 (Locality) 과 3D 공간의 일관성 사이의 불일치가 발생하여 장기적인 기억과 재구성이 실패합니다.
• 기존 방법의 한계: 외부 메모리 구조 (3D 포인트 클라우드 등) 를 도입하거나 3D Gaussian Splatting 같은 기하학적 파이프라인을 사용하는 방식은 계산 비용이 크거나 개방형 생성의 유연성을 떨어뜨립니다.

2. 제안 방법 (Methodology)

저자들은 카메라의 **시선 방향 (Viewing Ray)**을 위치 정보로 직접 인코딩하여 트랜스포머의 어텐션 메커니즘에 통합하는 ViewRope와 이를 활용한 **기하학적 인식 희소 어텐션 (Geometry-Aware Frame-Sparse Attention)**을 제안합니다.

가. ViewRope (Geometry-Aware Rotary Position Embedding)

기존의 2D/3D RoPE 가 픽셀 간 오프셋을 인코딩하는 것과 달리, ViewRope 는 패치 단위의 카메라 광선 (Ray) 방향을 어텐션 메커니즘에 주입합니다.

1. 패치별 광선 구성 (Per-patch Ray Construction): 각 패치 $(u, v)$에 대해 카메라 내부 파라미터 ($K$) 와 외부 파라미터 ($R, P$) 를 사용하여 3D 단위 광선 벡터 $r_{i,u,v}$를 계산합니다.
2. 로컬 회전 변환 (Local Rotation): 표준 광축 $z=[0,0,1]^T$를 해당 광선 벡터로 매핑하는 로컬 회전 행렬 $R_{local}$을 생성하고, 이를 카메라의 외부 회전 $R_{cam}$과 결합하여 세계 좌표계 정렬 회전 $R_{i,u,v}$를 얻습니다.
3. 쿼리/키 회전 (Rotating Query/Key): 어텐션의 쿼리 ($q$) 와 키 ($k$) 벡터의 일부 채널을 3D 서브벡터로 그룹화하고, 위에서 계산한 $R_{i,u,v}$로 회전시킵니다.
   • 결과적으로 어텐션 점수 (Dot Product) 는 두 토큰 간의 **상대적 광선 각도 (Relative Ray Geometry)**에 민감해집니다.
   • 이는 픽셀 좌표가 달라도 동일한 3D 물체를 바라보는 시선일 경우 높은 어텐션 점수를 받아, 장기적인 시간 간격에서도 일관된 3D 콘텐츠를 검색하고 재사용할 수 있게 합니다.

나. Geometry-Aware Frame-Sparse Attention

장기 비디오 생성 시 어텐션의 $O(N^2)$ 복잡도를 해결하기 위해 제안된 효율적인 메커니즘입니다.

• 블록 단위 희소성: 프레임 단위로 블록을 나누고, ViewRope 를 통해 계산된 기하학적 유사도를 기반으로 **가장 관련성이 높은 과거 프레임 (Top-k)**만 선택하여 어텐션을 수행합니다.
• 작동 원리: 전체 프레임에 대한 밀집 어텐션 대신, 현재 프레임과 기하학적으로 가시적 (Co-visible) 인 역사적 프레임들만 선택하여 계산 비용을 줄이면서도 루프 클로저 시의 일관성을 유지합니다.

다. ViewBench (평가 벤치마크)

기존의 시각적 품질 지표 (FVD, IS 등) 는 부족하므로, 카메라 제어 하의 장기 생성을 평가하기 위한 ViewBench를 제안했습니다.

• 특징: 3 축 회전 (Yaw, Pitch, Roll) 을 모두 포함하고, '회전 후 돌아오기 (Rotate-away-rotate-back)' 형태의 루프 클로저 경로를 포함합니다.
• 지표: **Loop Closure Error (LCE)**를 주요 지표로 사용하여, 카메라가 시작점으로 돌아왔을 때 생성된 프레임과 원본 프레임 간의 LPIPS 거리를 측정합니다.

3. 주요 기여 (Key Contributions)

1. ViewRope: 카메라 광선 방향을 어텐션 메커니즘에 직접 주입하는 기하학적 위치 인코딩을 제안하여, 외부 메모리 없이도 모델 내재적 (Model-native) 으로 장기적인 3D 일관성을 달성했습니다.
2. Geometry-Aware Frame-Sparse Attention: 기하학적 단서를 활용한 희소 어텐션 메커니즘을 통해, 계산 비용을 획기적으로 줄이면서도 긴 시퀀스 생성 시 기하학적 일관성을 유지했습니다.
3. ViewBench: 카메라 조건부 비디오 생성 모델의 루프 클로저 정확도와 기하학적 드리프트를 정량화하는 진단용 벤치마크를 구축했습니다.

4. 실험 결과 (Results)

• 일관성 향상: ViewRope 는 기존 최첨단 방법 (GTA, 3D RoPE 등) 대비 Loop Closure Error (LCE) 를 4~11.4% 개선했습니다. 특히 카메라 회전 각도가 클수록 (75°~180°) 성능 격차가 벌어지며, ViewRope 의 광선 기반 어텐션이 큰 카메라 이동에서 더 효과적임을 입증했습니다.
• 시각적 품질: 기하학적 일관성 향상이 시각적 품질 (PSNR, SSIM) 을 저하시키지 않았으며, 오히려 기존 방법보다 우수한 또는 동급의 품질을 유지했습니다.
• 효율성: 희소 어텐션 (Top-k=5) 을 적용하여 201 프레임 시퀀스 기준 학습 시간을 약 25% 단축했습니다.
• 반사실 검증 (Counterfactual Validation): ViewRope 가 선택한 중요한 프레임을 의도적으로 제외했을 때 성능이 38.1% 급락하여, 해당 메커니즘이 무작위 희소성이 아닌 인과적으로 필요한 프레임을 정확히 식별함을 증명했습니다.

5. 의의 및 결론 (Significance)

이 연구는 **시각적 세계 모델 (Visual World Model)**의 핵심 과제인 "장기적인 공간적 지속성 (Spatial Persistence)" 문제를 해결하는 새로운 패러다임을 제시합니다.

• 이론적 통찰: 화면 좌표계 기반의 위치 인코딩 한계를 극복하고, **3D 기하학적 관계 (광선 방향)**를 위치 정보의 본질로 재정의함으로써, 트랜스포머가 명시적인 3D 재구성 없이도 3D 일관성을 학습할 수 있음을 보였습니다.
• 실용적 가치: 계산 비용을 줄이면서도 긴 시퀀스 생성이 가능해져, VR/AR, 인터랙티브 게임, 교육용 시뮬레이션 등 실시간 상호작용이 필요한 분야에서 고품질의 일관된 비디오 생성을 가능하게 합니다.
• 향후 방향: 극단적인 장면 전환 (예: 방 이동) 에는 약점이 있으나, 명시적 3D 모델링과 생성 모델의 결합, RL 기반의 후학습 등을 통해 확장 가능성이 열려 있습니다.

요약하자면, 이 논문은 기하학적 지식을 어텐션 메커니즘의 핵심 (Positional Embedding) 으로 통합함으로써, 기존 생성 모델이 겪던 "기하학적 드리프트" 문제를 해결하고 효율적인 장기 비디오 생성을 실현한 획기적인 작업입니다.