Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control

이 논문은 추적된 헤드 포즈와 관절 수준의 손 자세를 조건으로 하여 사용자의 정교한 손-물체 상호작용을 가능하게 하는 인간 중심의 생성형 현실 시스템을 제안하고, 이를 통해 기존 베이스라인 대비 향상된 작업 수행 능력과 통제감을 입증합니다.

핵심

이 논문은 **'생성된 현실 (Generated Reality)'**이라는 아주 흥미로운 기술을 소개합니다. 쉽게 말해, **"당신의 손과 고개 움직임 하나하나를 실시간으로 읽어내어, 마치 마법처럼 가상의 세계를 만들어내는 시스템"**이라고 할 수 있습니다.

기존의 가상현실 (VR) 이나 게임은 미리 3D 모델로 만든 장난감 같은 세상에 들어가는 것이었다면, 이 기술은 당신의 손짓 하나에 반응해 세상이 실시간으로 변신하는 살아있는 그림을 보여줍니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

1. 핵심 아이디어: "당신의 손이 붓이 됩니다"

기존의 AI 영상 생성 기술은 "파란 하늘에 노을이 지는 풍경을 보여줘"라고 **글자 (텍스트)**로 명령하면 그걸로 끝났습니다. 하지만 이 기술은 당신의 실제 손과 고개 움직임을 보며 영상을 만듭니다.

• 비유: 기존 방식이 "그림책에 그려진 장면을 설명해달라고 하는 것"이라면, 이 기술은 당신이 직접 붓을 들고 그림을 그리는데, 붓끝이 닿는 대로 배경과 사물이 실시간으로 변신하는 마법 같은 경험과 같습니다.
• 예를 들어, 당신이 가상 세계의 '문'을 열려고 손을 뻗으면, AI 는 당신의 손 모양을 정확히 따라가며 문이 열리는 장면을 만들어냅니다. 단순히 "문을 열어"라고 말한 게 아니라, 당신의 손가락이 문 손잡이를 잡는 느낌까지 구현하는 것입니다.

2. 기술의 비밀: "2D 그림과 3D 뼈대의 결혼"

이 기술이 가장 훌륭하게 작동하는 이유는 '손'을 어떻게 이해하느냐에 있습니다. 연구팀은 두 가지 방법을 섞어 썼습니다.

• 2D 그림 (스케치): 손의 모양을 평면 그림처럼 그리는 것. (위치 파악은 좋지만, 깊이가 잘 안 보임)
• 3D 뼈대 (인체 모델): 손가락 관절의 각도까지 숫자로 계산하는 것. (깊이와 정밀도는 좋지만, 그림이 안 보일 수 있음)

이 두 가지를 **혼합 (Hybrid)**해서 썼습니다.

• 비유: 마치 건축가가 손으로 **2D 설계도 (스케치)**를 그리면서 동시에 **3D 뼈대 (인체 모델)**를 조립하는 것과 같습니다. 덕분에 AI 는 손이 화면 가장자리에 가려져도 "아, 손가락이 이렇게 구부러졌구나"라고 정확히 알아채고, 손이 물건을 잡을 때 자연스럽게 표현해냅니다.

3. 시스템의 작동 원리: "빠르게 반응하는 마법사"

이 시스템은 두 단계로 작동합니다.

1. 교수님 (Bidirectional Model): 먼저 아주 똑똑한 AI 교수님이 손과 고개 데이터를 보고 완벽한 영상을 만듭니다. 하지만 이분은 생각하기가 너무 느려서 실시간으로 따라가기 힘듭니다.
2. 학생 (Distilled Student Model): 그래서 교수님의 지식을 빠르게 반응하는 '학생' AI 에게 가르쳐서 (증류) 만들었습니다. 이 학생은 매초 11 장의 그림을 그려낼 수 있을 정도로 빠릅니다.

• 비유: 마치 **명장 (교수)**이 만든 레시피를 **신속한 요리사 (학생)**가 받아서, 주문하자마자 바로 요리를 만들어 내는 것과 같습니다. 사용자가 고개를 돌리거나 손을 움직이면, 1.4 초 만에 그 변화에 맞춰 새로운 가상 풍경을 보여줍니다.

4. 실험 결과: "손을 쓰면 훨씬 잘 됩니다"

연구팀은 사람들에게 가상 현실에서 '단추를 누르기', '병 따기', '핸들 돌리기' 같은 미션을 주었습니다.

• 기존 방식 (텍스트만): "단추를 눌러"라고 말하면, AI 가 임의로 단추를 누르는 장면을 보여줍니다. 하지만 사용자가 직접 손을 움직여도 반응이 없어서, 미션 성공률이 3% 에 불과했습니다. (마치 눈으로만 보고 손은 묶인 채로 게임을 하는 느낌)
• 이 기술 (손 추적 포함): 사용자가 직접 손을 움직여 단추를 누르면, 성공률이 71% 로 급상승했습니다.
• 사용자 느낌: 사람들은 "내가 직접 통제하고 있다"는 느낌을 훨씬 많이 받았습니다. (7 점 만점에 4.2 점 vs 1.7 점)

5. 왜 이것이 중요한가요?

이 기술은 3D 모델을 일일이 만들어야 했던 과거의 방식을 바꿉니다.

• 과거: VR 게임을 만들려면 디자이너가 나무, 벽, 문, 손까지 모두 3D 로建模 (모델링) 해야 했습니다.
• 미래: "숲속을 걷고 나무를 만져봐"라고 말하면, AI 가 그 순간에 맞춰 숲과 나무, 그리고 당신의 손이 나무를 만지는 장면을 **0 초 (Zero-shot)**에 만들어냅니다.

결론적으로, 이 논문은 **"당신의 몸짓이 세상을 바꿀 수 있는 첫걸음"**을 내딛은 것입니다. 앞으로는 복잡한 3D 모델링 없이도, 우리가 상상하는 어떤 환경에서도 손과 고개로 자유롭게 상호작용하며 배우고 놀 수 있는 시대가 올 것입니다.

기술 요약

1. 문제 정의 (Problem)

확장 현실 (XR) 은 의료, 교육, 엔터테인먼트 등 다양한 분야에서 혁신적인 잠재력을 가지고 있으나, 고품질의 XR 콘텐츠 제작은 여전히 전문성, 복잡한 도구, 높은 비용이 요구되는 노동 집약적인 과정입니다. 최근 등장한 비디오 생성 모델 (World Models) 은 텍스트나 키보드 입력과 같은 거친 (coarse) 제어 신호를 통해 영상을 생성할 수 있지만, 사용자의 정교한 신체 움직임 (특히 손가락 관절 수준의 손 동작) 을 반영한 몰입형 상호작용에는 한계가 있습니다.

기존의 비디오 월드 모델은 카메라 움직임이나 전체 신체 포즈는 어느 정도 제어할 수 있으나, 손 - 물체 상호작용 (Hand-Object Interaction) 에 필요한 정밀한 손 관절 (Joint-level) 제어를 지원하지 못합니다. 이로 인해 XR 환경에서 사용자가 손으로 물건을 조작하거나 정교한 제스처를 취할 때, 생성된 가상 환경이 사용자의 의도대로 반응하지 않아 몰입감과 실용성이 떨어지는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 사용자의 추적된 헤드 (머리) 포즈와 관절 수준의 손 (Hand) 포즈를 조건 (Condition) 으로 받아들이는 인간 중심 (Human-centric) 비디오 월드 모델을 제안합니다.

가. 손 포즈 표현 및 조건부 전략 (Hand Pose Conditioning)

손 포즈를 비디오 생성 모델 (Diffusion Transformer, DiT) 에 효과적으로 주입하기 위해 다양한 전략을 비교 분석했습니다.

• 손 포즈 표현:
  • 2D 스키레톤 (ControlNet 스타일): 사용자의 시점에서 렌더링된 2D 손 뼈대 영상. 공간적 정렬은 좋으나 깊이 (Depth) 정보와 자기 가림 (Self-occlusion) 문제가 있음.
  • 3D 파라미터 (HPP): UmeTrack 모델을 기반으로 한 3D 손 관절 각도 및 손목 변환 (6 DoF). 정밀한 깊이 정보 제공.
• 조건부 주입 전략 비교: 토큰 연결 (Concatenation), 토큰 덧셈 (Addition), AdaLN, Cross-Attention 등 다양한 방식을 실험.
• 최종 전략 (Hybrid 2D-3D):
  • 2D 스키레톤 영상과 **3D 손 파라미터 (HPP)**를 결합한 하이브리드 방식을 채택.
  • 2D 스키레톤은 공간적 근거 (Spatial grounding) 를 제공하고, 3D 파라미터는 깊이와 가림 문제를 해결하여 해부학적으로 정확한 손 생성을 가능하게 함.
  • 3D 파라미터는 토큰 덧셈 (Token Addition) 방식으로 주입되어 가장 높은 성능을 보임.

나. 공동 카메라 및 손 제어 (Joint Camera and Hand Control)

• 카메라 포즈: HMD(헤드 마운트 디스플레이) 의 내장 센서를 통해 얻은 6 DoF 카메라 포즈 (회전 및 이동) 를 플뤼커 (Plücker) 임베딩으로 변환하여 조건으로 사용.
• 통합 아키텍처: 비디오 잠재 공간 (Latent space) 에서 비디오 잠재, 손 파라미터 임베딩, 카메라 임베딩을 **요소별 덧셈 (Element-wise addition)**으로 융합하여 DiT 블록에 입력.
• 학습 전략: 카메라 및 손 인코더를 독립적으로 학습한 후, 최종 미세 조정 (Fine-tuning) 단계에서 통합하여 학습 안정성을 확보.

다. 실시간 상호작용 시스템 (Generated Reality System)

• 지시적 증류 (Autoregressive Distillation): 양방향 (Bidirectional) 비디오 확산 모델 (Teacher) 을 학습시킨 후, 이를 **인과적 (Causal) 자동회귀 모델 (Student)**로 증류.
• 실시간 성능: 12 프레임 단위로 생성하며, H100 GPU 에서 초당 11 프레임 (11 FPS), 지연 시간 1.4 초를 달성하여 실시간 VR 환경에 적용 가능.
• 구현: Meta Quest 3 에서 Unity 를 통해 구현되었으며, 사용자의 실제 손과 머리의 움직임이 생성된 가상 손과 환경에 실시간으로 반영됨.

3. 주요 기여 (Key Contributions)

1. 손 포즈 조건부 전략에 대한 체계적 연구: 비디오 확산 모델에서 손 관절 포즈를 조건으로 사용하는 다양한 전략 (2D/3D, 주입 방식 등) 을 비교 분석하고, 하이브리드 2D-3D 전략이 가장 효과적임을 규명.
2. 실시간 인간 중심 월드 시뮬레이션: 헤드 포즈와 정교한 손 포즈를 동시에 제어할 수 있는 최초의 상호작용형 생성 현실 시스템을 구축.
3. 성능 증류 및 실시간 구현: 고해상도 양방향 모델을 실시간 자동회귀 모델로 증류하여, 낮은 지연 시간으로 몰입형 VR 경험을 제공.

4. 실험 결과 (Results)

가. 정량적 평가 (Quantitative Evaluation)

• 손 포즈 정확도: 제안된 하이브리드 전략은 기존 베이스라인 (ControlNet, AdaLN 등) 보다 **손 관절 위치 오차 (MPJPE)**와 **손 모양 오차 (MPVPE)**에서 가장 낮은 오차를 기록함. 특히 프레임 경계에서 손이 부분적으로 가려진 경우에도 2D-only 방식보다 훨씬 정확한 재구성을 보임.
• 카메라 및 손 통합 제어: 손만 제어하거나 카메라만 제어하는 모델과 비교했을 때, **JointCtrl(제안 모델)**은 비디오 품질을 유지하면서 손과 카메라 포즈 정확도 모두에서 균형 잡힌 최상의 성능을 보임.
  • 카메라 오차 (Translation/Rot Error): 약 0.25m / 2.79도 (카메라 전용 모델과 유사한 수준).
  • 손 오차: 손 전용 모델과 유사한 수준의 정밀도 유지.

나. 사용자 연구 (User Study)

• 과제 수행률: "초록색 버튼 누르기", "병 열기", "스티어링 휠 돌리기" 등 3 가지 과제를 수행한 결과, 텍스트 프롬프트만 사용하는 베이스라인의 성공률은 **3.0%**에 불과했으나, 손 포즈 조건이 적용된 제안 모델은 **71.2%**의 성공률을 기록.
• 통제감 (Perceived Control): 7 점 리커트 척도에서 베이스라인은 1.74 점이었으나, 제안 모델은 4.21 점으로 사용자들이 상호작용에 대해 훨씬 더 높은 통제감을 느꼈음을 확인.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 **생성된 현실 (Generated Reality)**이라는 새로운 개념을 제시하며, 복잡한 3D 모델링 없이도 비디오 생성 모델을 통해 사용자의 정교한 손동작과 시선을 반영한 몰입형 가상 환경을 제로샷 (Zero-shot) 방식으로 생성할 수 있음을 증명했습니다.

• 기술적 의의: 비디오 생성 모델에 고차원의 신체 데이터 (특히 손 관절) 를 정밀하게 통합하는 방법론을 정립하여, XR 콘텐츠 제작의 장벽을 낮추고 실시간 상호작용의 가능성을 열었습니다.
• 응용 가능성: 의료 재활, 전문 기술 훈련, 교육, 엔터테인먼트 등 다양한 분야에서 사용자가 직접 조작하며 학습하고 경험할 수 있는 차세대 인터랙티브 미디어의 기반을 마련했습니다.
• 한계 및 향후 과제: 현재 시스템은 해상도, 지연 시간, 이미지 품질 측면에서 상용 VR 에 미치지 못하며, 자동회귀 모델의 특성상 시간이 지남에 따라 이미지 품질이 저하 (Drift) 되는 문제가 있습니다. 하지만 이는 향후 증류 기술과 하드웨어 발전으로 해결 가능한 과제로 제시되었습니다.

요약하자면, 이 연구는 **"사용자의 손과 눈의 움직임이 그대로 반영되는 실시간 생성형 가상 세계"**를 구현하는 기술적 토대를 마련한 획기적인 작업입니다.