💻 computer science

WorldCam: Interactive Autoregressive 3D Gaming Worlds with Camera Pose as a Unifying Geometric Representation

이 논문은 사용자의 입력을 리 대수 (Lie algebra) 로 표현하여 6 자유도 카메라 포즈로 변환하고 이를 생성 모델에 통합함으로써, 정밀한 행동 제어와 장기적 3D 일관성을 동시에 달성하는 대화형 오토레거시 3D 게임 월드 모델 'WorldCam'을 제안합니다.

원저자: Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jisu Nam, Yicong Hong, Chun-Hao Paul Huang, Feng Liu, JoungBin Lee, Jiyoung Kim, Siyoon Jin, Yunsung Lee, Jaeyoon Jung, Suhwan Choi, Seungryong Kim, Yang Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎮 월드캠 (WorldCam): 게임 속을 자유롭게 누비는 '현실감 있는 AI'

이 논문은 **"사용자가 키보드와 마우스로 조작할 때, AI 가 만든 가상의 게임 세계가 어떻게 더 똑똑하고 일관성 있게 움직일 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 AI 는 영상을 만들 때는 훌륭했지만, 사용자가 "앞으로 가자"고 했을 때 카메라가 엉뚱하게 돌아가거나, 한 번 지나간 장소를 다시 돌아왔을 때 건물이 사라지거나 변해버리는 문제가 있었습니다. **월드캠 (WorldCam)**은 이 문제를 해결하기 위해 **'카메라의 위치 (Pose)'**라는 새로운 열쇠를 찾아냈습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 아이디어: "나침반과 지도"를 함께 쓰다

기존 AI 들은 사용자의 명령 (키보드 입력) 을 마치 **"주문서"**처럼 받아들였습니다. "앞으로 가"라고 하면 AI 가 "아, 앞으로 가야겠네?"라고 추측해서 영상을 만들었습니다. 하지만 이 추측은 자주 빗나갔고, 시간이 지나면 게임 속 세계가 뭉개지거나 엉망이 되었습니다.

월드캠은 접근 방식을 완전히 바꿨습니다.

"사용자의 명령은 '주문서'가 아니라, '나침반과 지도'를 업데이트하는 신호야!"

기존 방식 (추측): "앞으로 가" → AI 가 임의로 앞을 보여줌. (장소가 계속 바뀜)
월드캠 방식 (정확한 계산): "앞으로 가" → **수학 (리 대수)**을 이용해 "정확히 3 차원 공간에서 카메라가 얼마나, 어떤 각도로 움직였는지"를 계산합니다.

이렇게 계산된 **'정확한 카메라 위치'**를 AI 에게 알려주면, AI 는 "아, 내가 지금 이 위치에서 이 각도로 보고 있구나"라고 정확히 알 수 있게 됩니다. 마치 게임 캐릭터가 가진 정밀한 GPS를 AI 가 공유받는 것과 같습니다.

2. 두 가지 강력한 능력

이 '카메라 위치' 정보를 활용하여 월드캠은 두 가지 마법을 부립니다.

① 정밀한 조종 (Action Control)

비유: 마치 마리오카트를 운전하는 것 같습니다.
기존 AI 는 핸들을 꺾으면 차가 미끄러지거나 방향이 틀어질 수 있었습니다. 하지만 월드캠은 핸들 조작 (키보드/마우스) 을 받자마자 **"차체가 실제로 어떻게 회전하고 이동했는지"**를 수학적으로 정확히 계산해냅니다.
결과: 사용자가 "오른쪽으로 60 도 회전"이라고 하면, AI 는 그 각도만큼 정확히 돌아서 새로운 풍경을 보여줍니다.

② 기억력 있는 세계 (Long-Horizon Consistency)

비유: 동화책 속의 마을을 상상해보세요.
기존 AI 는 동화책을 한 장 한 장 넘길 때마다 배경이 조금씩 달라졌습니다. (예: 처음엔 나무가 있었는데, 10 분 뒤엔 나무가 사라짐).
월드캠은 **"이곳은 내가 전에 가본 곳이야!"**라고 기억합니다.
- 사용자가 처음 지나간 '회색 금속 복도'를 다시 돌아갔을 때, 월드캠은 **과거에 그 위치를 찍었던 사진 (메모리)**을 꺼내와서 "여기는 똑같은 복도야"라고 정확히 재현합니다.
- 카메라 위치를 **주소 (Spatial Index)**처럼 사용하여, 과거의 기억을 정확히 찾아와 현재 영상과 연결합니다.

3. 새로운 데이터: "실제 인간이 놀은 흔적"

AI 를 가르치려면 좋은 예시가 필요합니다. 기존 연구들은 '마인크래프트' 같은 단순한 게임이나, 접근할 수 없는 비공개 데이터를 썼습니다.

월드캠의 노력: 연구팀은 실제 인간이 **카운터 스트라이크 (Counter-Strike)**나 Xonotic 같은 게임을 플레이하는 영상 **3,000 분 (약 50 시간)**을 직접 녹화했습니다.
특징: 단순히 캐릭터가 걷는 게 아니라, 인간처럼 급하게 돌아보거나, 복잡한 길로 이동하는 실제 행동 패턴을 담았습니다. 여기에 "이곳은 산업적인 느낌의 회색 복도다"라는 설명과 함께 카메라의 정확한 위치를 모두 기록했습니다.

4. 왜 이것이 중요한가요? (결론)

지금까지의 AI 게임은 **"보이는 대로 만들어주는 마술사"**에 가까웠습니다. 하지만 월드캠은 **"게임 엔진을 이해하는 건축가"**가 되었습니다.

정확한 조작: 사용자가 원하는 대로 카메라가 움직입니다.
끊임없는 세계: 몇 시간 동안 게임을 해도 세계가 무너지지 않고, 다시 돌아오면 똑같은 장소가 나옵니다.
실제 같은 느낌: 단순한 영상 재생이 아니라, 사용자가 직접 탐험하는 듯한 몰입감을 줍니다.

한 줄 요약:

"월드캠은 사용자의 손가락 움직임 하나하나를 '정밀한 GPS 좌표'로 변환해, AI 가 만든 게임 세계가 흔들리지 않고, 기억력 있게, 그리고 정말 현실처럼 움직이게 만든 기술입니다."

이 기술이 발전하면, 앞으로 우리가 AI 와 함께 하는 게임이나 가상 현실 (VR) 은 훨씬 더 자연스럽고 재미있어질 것입니다! 🚀

1. 문제 정의 (Problem)

최근 비디오 확산 트랜스포머 (Video Diffusion Transformers, DiTs) 의 발전으로 생성된 환경을 탐색할 수 있는 인터랙티브 게임 월드 모델이 등장했습니다. 하지만 기존 접근 방식들은 다음과 같은 근본적인 한계를 겪고 있습니다:

정밀한 행동 제어의 부재: 사용자의 입력 (키보드, 마우스) 을 추상적인 조건부 신호 (abstract conditioning signals) 로만 취급하여, 실제 3D 공간에서의 카메라 운동과 정밀하게 매칭되지 않습니다.
장기적 3D 일관성 (Long-horizon 3D Consistency) 결여: 시간이 지남에 따라 생성된 비디오가 왜곡되거나, 이전에 방문했던 장소를 다시 보았을 때 기하학적 구조가 일치하지 않는 문제가 발생합니다.
기하학적 커플링 (Geometric Coupling) 무시: 게임 환경에서 사용자의 행동은 3D 공간 내에서의 상대적인 카메라 운동 (상대 운동) 을 유발하며, 이는 누적되어 전역 카메라 포즈 (Global Camera Pose) 를 형성합니다. 기존 모델들은 이 기하학적 관계를 명시적으로 모델링하지 않아 행동 제어와 3D 일관성을 동시에 달성하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 **카메라 포즈 (Camera Pose)**를 행동 제어와 장기적 3D 일관성을 연결하는 통일된 기하학적 표현으로 정의하고, 이를 기반으로 WorldCam을 제안합니다.

A. 행동 - 카메라 매핑 (Action-to-Camera Mapping)

리 대수 (Lie Algebra) 기반 모델링: 사용자의 복잡한 키보드/마우스 입력을 단순한 선형 근사가 아닌, 리 대수 $\mathfrak{se}(3)$ 의 트위스트 벡터 (Twist Vector) 로 표현합니다.
6-DoF 상대 포즈 유도: 행렬 지수 함수 (Matrix Exponential Map) 를 사용하여 선형 및 각속도를 통합적으로 처리하여 정밀한 6 자유도 (6-DoF) 상대 카메라 포즈 ( $\Delta P$ ) 를 유도합니다. 이는 나사 운동 (Screw motion) 과 같은 결합된 운동을 정확히 포착합니다.
플뤼커 임베딩 (Plücker Embeddings): 유도된 카메라 포즈를 플뤼커 임베딩으로 변환하여 비디오 DiT 의 중간 특징에 주입 (Inject) 합니다.

B. 포즈 기반 장기 메모리 (Pose-Anchored Long-Term Memory)

전역 포즈 누적: 상대 포즈들을 누적하여 전역 카메라 포즈를 계산합니다.
포즈 인덱싱 메모리 검색: 현재 카메라 포즈와 과거 생성된 잠재 변수 (Latents) 의 전역 포즈를 비교하여 공간적으로 유사한 과거 장면을 검색합니다.
- 먼저 위치 (Translation) 가 가까운 후보를 선택한 후, 방향 (Rotation) 이 가장 일치하는 항목을 최종적으로 선택하는 계층적 검색 전략을 사용합니다.
일관성 유지: 검색된 과거 잠재 변수와 해당 카메라 포즈 임베딩을 현재 생성 과정에 결합하여, 장소를 재방문할 때 기하학적 일관성을 보장합니다.

C. 점진적 자기회귀 추론 (Progressive Autoregressive Inference)

점진적 노이즈 스케줄링: 긴 시간의 비디오 생성 시 오류 누적을 방지하기 위해, 프레임별로 노이즈 레벨을 점진적으로 증가시키는 스케줄을 적용합니다.
어텐션 싱크 (Attention Sink) 및 단기 메모리: 초기 토큰을 고정하여 어텐션 안정성을 확보하고, 최근 생성된 잠재 변수 (단기 메모리) 를 활용하여 오류 드리프트 (Error Drift) 를 줄입니다.

3. 주요 기여 (Key Contributions)

WorldCam 모델: 카메라 포즈를 통일된 기하학적 표현으로 사용하여 정밀한 행동 제어, 장기적 추론, 일관된 3D 월드 모델링을 동시에 달성한 최초의 파운데이션 모델.
WorldCam-50h 데이터셋:
- Counter-Strike (상용), Xonotic, Unvanquished (오픈 소스) 에서 수집된 3,000 분 (약 50 시간) 분량의 고품질 인간 게임 플레이 데이터.
- 각 비디오에 텍스트 설명과 의사 정답 (Pseudo Ground-Truth) 카메라 포즈가 주석 처리됨.
- 기존 Minecraft 기반 데이터셋의 단순한 기하학이나 폐쇄적 라이선스 데이터의 한계를 극복.
기하학적 정확성: 리 대수를 기반으로 한 행동 - 카메라 매핑을 통해 나사 운동 등 복잡한 결합 운동을 정확히 모델링하고, 이를 통해 3D 일관성을 확보.

4. 실험 결과 (Results)

기존 인터랙티브 게임 월드 모델 (Yume, Matrix-Game 2.0, GameCraft) 및 카메라 제어 비디오 생성 모델 (CameraCtrl, MotionCtrl) 과 비교 평가했습니다.

행동 제어 정확도 (Action Controllability):
- 생성된 비디오의 카메라 궤적과 실제 입력 간의 오차 (RPE) 가 가장 낮았습니다.
- 특히 회전 오차 ( $RPE_{rot}$ ) 에서 기존 최상위 모델 대비 약 40% 이상 개선되었습니다.
장기적 3D 일관성 (3D Consistency):
- 폐루프 (Closed-loop) 궤적 실험에서 PSNR, LPIPS, DINO 유사도 등 모든 지표에서 압도적인 성능을 보였습니다.
- 사용자가 이전에 방문한 장소를 다시 보았을 때, 기하학적 구조가 일관되게 유지됨을 시각적으로 입증했습니다.
시각적 품질 (Visual Quality):
- VBench++ 점수에서 200 프레임 이상의 긴 시퀀스에서도 가장 높은 평균 점수 (0.844) 를 기록했습니다.
- 사용자 평가 (Human Evaluation) 에서 행동 제어, 시각적 품질, 3D 일관성 모든 항목에서 1 위를 차지했습니다.

5. 의의 및 결론 (Significance)

게임 엔진으로서의 가능성: 단순한 비디오 생성을 넘어, 사용자의 입력에 반응하고 3D 공간의 기하학적 일관성을 유지하는 실제 작동 가능한 게임 엔진의 기초를 마련했습니다.
데이터셋 공개: 재현 가능한 연구를 위해 오픈 라이선스 게임 데이터를 포함한 대규모 데이터셋 (WorldCam-50h) 과 코드, 모델을 공개합니다.
기하학적 접근의 중요성: 비디오 생성 모델에서 '행동'을 단순한 텍스트나 신호가 아닌, **3D 공간의 기하학적 운동 (카메라 포즈)**으로 해석해야만 정밀한 제어와 장기적 일관성을 동시에 달성할 수 있음을 증명했습니다.

이 연구는 생성형 AI 가 인터랙티브한 3D 환경을 이해하고 조작하는 데 있어 카메라 포즈가 핵심적인 연결 고리임을 규명했다는 점에서 의의가 큽니다.