UCM: Unifying Camera Control and Memory with Time-aware Positional Encoding Warping for World Models

이 논문은 시간 인식 위치 인코딩 왜곡 메커니즘을 통해 장기 기억과 정밀한 카메라 제어를 통합하고, 효율적인 듀얼 스트림 확산 트랜스포머와 포인트 클라우드 기반 렌더링을 활용한 데이터 큐레이션 전략을 도입함으로써, 장기간 장면 일관성과 고화질 비디오 생성의 정밀한 제어력을 획기적으로 향상시킨 UCM 프레임워크를 제안합니다.

핵심

🎥 UCM: "기억력 좋은 카메라 감독"을 위한 새로운 기술

이 논문은 UCM이라는 새로운 인공지능 기술을 소개합니다. 이 기술은 마치 기억력이 뛰어난 영화 감독처럼, 사용자가 지정한 카메라 움직임에 따라 길고 일관된 영상을 만들어냅니다.

기존의 AI 영상 생성 기술은 두 가지 큰 문제를 겪고 있었습니다:

1. 기억 상실: 카메라가 돌아와서 전에 찍었던 장면을 다시 보여주면, AI는 "어? 이 장면 어딨지?" 하며 내용이 달라지거나 뒤틀리는 경우가 많았습니다.
2. 카메라 조종 불가: 사용자가 "왼쪽으로 천천히 돌면서 위로 올라가"라고 명령해도, AI가 그 명령을 정확히 따르지 못해 엉뚱한 방향으로 카메라가 움직였습니다.

UCM은 이 두 가지 문제를 해결하기 위해 세 가지 핵심 아이디어를 사용합니다.

---

1. 🧠 "시간을 아는 위치 기억" (Time-aware Positional Encoding Warping)

비유: "지도 위에 과거의 장소를 정확히 표시하는 나침반"

기존 AI는 영상을 만들 때 "이전 프레임"을 단순히 옆에 붙여놓고 기억했습니다. 하지만 카메라가 돌아오면 이 기억이 헷갈려서 장치가 무너졌습니다.

UCM은 과거의 장면을 3D 점 (Point Cloud) 으로 변환합니다. 그리고 카메라가 움직일 때마다, **"과거의 그 장치가 지금 내 카메라 시점에서 어디에 위치할까?"**를 수학적으로 계산해냅니다.

• 마치 나침반처럼, 과거의 장면이 현재 카메라의 시선과 어떻게 연결되는지 정확히 알려줍니다.
• 그래서 카메라가 돌아와서 같은 장면을 비춰도, AI는 "아! 이거 전에 봤던 그 나무구나!"라고 정확히 기억하고 똑같은 모양을 유지합니다.

2. ⚡ "효율적인 두 개의 흐름" (Efficient Dual-stream Diffusion)

비유: "명령을 내리는 지휘자와 음악을 연주하는 오케스트라"

기존 방식은 모든 정보 (과거 장면 + 새로운 영상) 를 한꺼번에 섞어서 처리하려다 보니 컴퓨터가 너무 느려졌습니다. 마치 오케스트라 전체가 동시에 노래를 부르려다 소음이 난 것처럼요.

UCM은 두 가지 흐름으로 나누어 처리합니다:

• 흐름 1 (지휘자): 과거의 장면과 카메라 명령은 '깨끗한 데이터'로만 처리합니다. 이들은 서로만 대화하며 "어디로 가야 해?"를 정합니다.
• 흐름 2 (연주자): 새로운 영상은 '노이즈' 상태에서 시작해 지휘자의 명령을 듣고 점점 선명해집니다.
• 이 방식 덕분에 컴퓨터가 무리하지 않으면서도, 정교한 카메라 움직임과 높은 화질을 동시에 달성할 수 있습니다.

3. 🎬 "가상의 재방문" (Scalable Data Curation)

비유: "영화 세트장에서 카메라를 돌려가며 찍는 연습"

이 기술을 가르치려면 "한 장면을 여러 각도에서 다시 방문하는" 긴 영상이 많이 필요합니다. 하지만 현실에는 이런 영상이 거의 없습니다.

UCM은 가상의 연습을 고안했습니다:

• 평범한 영상 하나를 가져와서, AI 가 3D 점 구름 (Point Cloud) 을 만들어냅니다.
• 그 점 구름을 이용해 가상의 카메라를 돌려가며 새로운 각도의 장면을 만들어냅니다.
• 마치 가상 현실 (VR) 게임에서 한 장면을 여러 번 돌아다니며 찍는 것처럼, AI 가 스스로 "다시 방문"하는 경험을 쌓게 합니다. 이를 통해 실제 영상 수백만 개를 학습할 수 있게 되었습니다.

---

🌟 요약: UCM 이 가져온 변화

기존 AI	UCM (새로운 기술)
기억력: 카메라가 돌아오면 내용을 잊어버리거나 뒤틀림.	기억력: 과거 장면을 3D 로 정확히 기억하여 일관성 유지.
조종: 카메라 명령을 대충 따라감.	조종: 사용자가 지정한 경로대로 정밀하게 이동.
속도: 많은 정보를 처리하느라 느림.	속도: 두 개의 흐름으로 나누어 처리하여 빠르고 효율적.

결론적으로, UCM 은 **"기억력 좋은 카메라 감독"**을 만들어낸 기술입니다. 사용자가 원하는 대로 카메라를 움직이게 하고, 아무리 오래 영상을 만들어도 처음과 같은 장면이 흐트러지지 않도록 보장합니다. 이는 게임, 가상 현실, 자율 주행 등 다양한 분야에서 더 현실적이고 일관된 가상 세계를 만드는 데 큰 도움을 줄 것입니다.

기술 요약

UCM: 시간 인식 위치 인코딩 워핑을 통한 세계 모델의 카메라 제어 및 메모리 통합

1. 문제 정의 (Problem)

비디오 생성 기반의 세계 모델 (World Models) 은 상호작용 환경 시뮬레이션에 큰 잠재력을 보이지만, 두 가지 주요 과제를 안고 있습니다.

• 장기적 콘텐츠 일관성 부족: 기존 방법들은 시간적 컨텍스트 윈도우의 한계로 인해, 이전에 보았던 장면을 다시 방문했을 때 (Scene Revisiting) 장면의 기하학적 구조나 콘텐츠가 일관되지 않고 왜곡되는 현상이 발생합니다.
• 정밀한 카메라 제어의 어려움: 사용자가 지정한 카메라 궤적에 따라 장면을 생성하는 것은 여전히 어렵습니다. 기존 방법들은 명시적인 3D 재구성에 의존하면 유연성이 떨어지고, 암시적 (Implicit) 인 3D 사전 지식에만 의존하면 공간적 대응 관계가 약해 정밀한 제어가 불가능합니다.

2. 방법론 (Methodology)

저자들은 **UCM (Unified Camera Control and Memory)**이라는 새로운 프레임워크를 제안하며, 이는 시간 인식 위치 인코딩 워핑 (Time-aware Positional Encoding Warping) 메커니즘을 통해 카메라 제어와 장기 메모리를 통합합니다.

• 시간 인식 위치 인코딩 워핑 (Time-aware PE Warping):

  • 기존 Diffusion Transformer (DiT) 기반 모델은 토큰에 3D 위치 인코딩 (PE) 을 부여하여 시공간 정보를 표현합니다.
  • UCM 은 참조 이미지와 역사적 프레임 (Memory) 에서 추출된 토큰들의 3D 위치 인코딩을, 목표 카메라 뷰에 맞춰 **워핑 (Warping)**합니다.
  • 이를 위해 스트리밍 깊이 추정 (Streaming Depth Estimation) 으로 깊이 지도를 생성하고, 이를 3D 포인트 클라우드로 변환한 후, 목표 뷰의 변환 행렬을 적용하여 새로운 좌표로 매핑합니다.
  • 이 과정은 토큰 간 **명시적이고 강력한 시공간 대응 관계 (Explicit Spatio-temporal Correspondence)**를 구축하여, 카메라가 이동하더라도 장면에 일관성을 유지하고 정밀한 제어를 가능하게 합니다.

• 효율적인 듀얼 스트림 확산 모델 (Efficient Dual-stream Diffusion Model):

  • 메모리 토큰 (Clean Tokens) 과 생성될 노이즈 토큰 (Noisy Tokens) 을 모두 입력하면 계산 비용이 급증합니다.
  • 이를 해결하기 위해 듀얼 스트림 아키텍처를 도입했습니다.
    • Clean Tokens: 서로 다른 프레임 간에는 주의를 기울이지 않고 동일 프레임 내 토큰들끼리만 상호작용 (Sparse Attention).
    • Noisy Tokens: 모든 노이즈 토큰 간 상호작용은 유지하되, 메모리 토큰은 워핑된 PE 를 통해 키 (Key) 와 값 (Value) 으로만 주입됩니다.
  • 이 구조는 이진 어텐션 마스크 (Binary Attention Mask) 를 사용하여 계산 복잡도를 크게 낮추면서도 고정밀 생성을 가능하게 합니다.

• 데이터 큐레이션 전략 (Data Curation Strategy):

  • 장기적인 장면 재방문 (Revisiting) 이 포함된 대규모 데이터셋이 부족하다는 문제를 해결하기 위해, 포인트 클라우드 렌더링을 활용합니다.
  • 단일 눈 (Monocular) 비디오에서 3D 재구성을 통해 포인트 클라우드를 생성한 후, 임의의 새로운 카메라 뷰에서 렌더링하여 '가상의 재방문' 데이터를 생성합니다.
  • 이 방식을 통해 50 만 개 이상의 다양한 단안 비디오를 학습에 활용하여 모델의 일반화 성능을 극대화했습니다.

3. 주요 기여 (Key Contributions)

1. 시간 인식 위치 인코딩 워핑 메커니즘 도입: 토큰 수준에서 명시적인 시공간 대응 관계를 구축하여 정밀한 카메라 제어와 장기적인 장면 일관성을 동시에 달성했습니다.
2. 효율적인 듀얼 스트림 비디오 확산 모델: 메모리 주입과 카메라 제어를 위한 추가 토큰으로 인한 계산 과부하를 줄이면서도 고정밀 비디오 생성을 가능하게 하는 아키텍처를 제안했습니다.
3. 확장 가능한 데이터 큐레이션: 포인트 클라우드 렌더링을 통한 시나리오 재방문 시뮬레이션 전략을 통해, 대규모 단안 비디오 데이터셋을 활용한 학습을 가능하게 했습니다.

4. 실험 결과 (Results)

UCM 은 Tanks & Temples, RealEstate10K, Context-as-Memory 등 다양한 벤치마크에서 기존 최첨단 방법 (SOTA) 들과 비교 평가되었습니다.

• 카메라 제어 정확도: 생성된 비디오의 카메라 궤적과 실제 지상 진실 (Ground Truth) 간의 오차 (RotErr, TransErr) 가 기존 방법들 (C-a-M, VMem, VWM 등) 보다 현저히 낮았습니다. 특히 암시적 3D 사전 지식에 의존하는 방법들보다 월등히 우수한 정밀도를 보였습니다.
• 장기적 일관성: 장면을 재방문하거나 순환 궤적 (Cycle Trajectory) 을 따를 때, 기존 방법들이 겪는 장면 드리프트 (Scene Drift) 나 일관성 손실이 UCM 에서는 크게 개선되었습니다.
• 화질 및 성능: FID, FVD, PSNR, SSIM 등 시각적 품질 지표에서도 최상위권을 기록했으며, A100 GPU 에서 초당 2.4 프레임의 생성 속도를 달성하여 실용성을 입증했습니다.
• 비교 분석: 명시적 3D 재구성을 사용하는 VWM 은 무경계 (Unbounded) 장면이나 미세한 구조에서 한계를 보인 반면, UCM 은 이러한 제한 없이 유연하게 작동했습니다.

5. 의의 및 결론 (Significance)

UCM 은 세계 모델 분야에서 카메라 제어의 정밀성과 장기 메모리의 일관성이라는 상충되는 두 가지 목표를 통합적으로 해결한 획기적인 접근법입니다.

• 기술적 의의: 명시적인 3D 재구성의 계산 비용과 유연성 부족을 피하면서도, 암시적 학습의 불확실성을 제거하는 '워핑 기반 위치 인코딩'이라는 새로운 패러다임을 제시했습니다.
• 실용적 의의: 데이터 부족 문제를 창의적인 데이터 증강 (시뮬레이션) 으로 해결하여, 웹 규모의 단안 비디오를 활용한 대규모 학습을 가능하게 했습니다.
• 미래 전망: 로봇 공학, 자율 주행, 게임 엔진, 시뮬레이션 등 상호작용이 필요한 다양한 분야에서 고정밀이고 일관된 가상 환경 생성을 위한 강력한 기반 기술로 자리 잡을 것으로 기대됩니다.

한계점: 장기간의 클립 연결 시 미세한 오차가 누적될 수 있으며, 동적 객체와 정적 장면을 구분하는 학습된 사전 지식에 의존하여 이동하는 객체에서 아티팩트가 발생할 수 있습니다. 또한, 스트리밍 깊이 추정의 저장 및 계산 오버헤드는 실제 배포 시 고려해야 할 사항입니다.