Joint Optimization for 4D Human-Scene Reconstruction in the Wild

이 논문은 웹 비디오에서 단안 영상을 이용해 인간과 장면의 접촉 제약을 통해 장면 기하학, 카메라 포즈, 인간 운동을 공동 최적화하는 4D 인간 - 장면 재구성 방법인 JOSH 와 이를 기반으로 학습된 효율적인 모델 JOSH3R 을 제안합니다.

핵심

🎥 'JOSH': 혼란스러운 세상에서 사람과 배경을 완벽하게 재구성하는 마법사

이 논문은 **"JOSH"**라는 새로운 기술을 소개합니다. JOSH 는 단순히 비디오를 보는 것이 아니라, 단순한 카메라 영상 하나만으로도 사람, 배경, 그리고 카메라의 움직임을 동시에 완벽하게 복원해내는 '4D(3 차원 공간 + 시간)' 재구성 기술입니다.

이 복잡한 개념을 쉽게 이해할 수 있도록 일상적인 비유로 설명해 드릴게요.

---

1. 기존 기술의 문제점: "각자 따로 노는 팀"

과거의 기술들은 사람, 배경, 카메라의 움직임을 각자 따로따로 분석했습니다.

• 비유: 마치 한 팀이 영화를 찍는데, 배우는 연기만 하고, 무대 장치는 배경만 만들고, 카메라맨은 카메라만 움직이는 상황입니다. 서로 대화나 조율이 없으니, 배우가 의자에 앉았는데 의자가 바닥에 떠 있거나, 걸을 때 발이 공중에 뜬 기괴한 결과가 나옵니다.
• 문제점: 웹에 있는 자연스러운 영상 (야외, 복잡한 거리 등) 을 분석할 때 이런 오류가 심하게 발생했습니다.

2. JOSH 의 핵심 아이디어: "함께 춤추는 팀"

JOSH 는 이 모든 것을 한 번에, 동시에 최적화합니다.

• 핵심 비유: **"사람과 배경의 손잡기 (Contact)"**입니다.
  • 사람이 의자에 앉거나, 바닥을 밟거나, 벽에 기대는 순간, 그 접촉점은 절대 변하지 않는 '진실'입니다.
  • JOSH 는 이 '접촉점'을 **끈끈한 줄 (Constraints)**로 활용합니다. 사람이 바닥에 닿았다는 사실 하나만으로, "아! 그럼 바닥은 여기여야 하고, 사람은 이만큼 움직였어야 하며, 카메라는 이 각도여야 해!"라고 서로를 교정해 나갑니다.
  • 마치 세 명의 친구가 서로의 손을 꼭 잡고 원을 그리며 춤을 추는 것과 같습니다. 한 명이 잘못 움직이면 나머지 두 명이 함께 그걸 바로잡아 줍니다.

3. JOSH 가 어떻게 작동하나요? (3 단계)

1. 초기화 (대략적인 스케치):
   • 먼저 AI 모델들을 이용해 사람 모양, 배경 깊이, 카메라 위치를 대략적으로 추정합니다. 이때는 사람과 배경이 겹치거나 떨어지는 등 어색한 부분이 많습니다.
2. 공동 최적화 (함께 다듬기):
   • JOSH 는 "사람의 발이 바닥에 닿았으면, 바닥 점과 발 점의 거리가 0 이어야 한다"는 접촉 규칙을 적용합니다.
   • 이 규칙을 바탕으로 사람, 배경, 카메라의 위치를 동시에 미세하게 조정합니다.
   • 결과: 발이 바닥에 딱 붙고, 의자가 흔들리지 않으며, 카메라 움직임도 자연스럽게 됩니다.
3. JOSH3R (실시간 예측 모델):
   • JOSH 는 정밀한 계산 때문에 시간이 좀 걸립니다. 하지만 이 JOSH 가 만들어낸 '정답' 데이터를 이용해 JOSH3R이라는 빠른 모델을 훈련시켰습니다.
   • 비유: JOSH 가 천천히 정교한 지도를 그렸다면, JOSH3R 은 그 지도를 보고 순간적으로 길 안내를 해주는 GPS 앱 같은 것입니다.

4. 왜 이것이 중요한가요?

• 인터넷의 보물창고 활용: 우리는 매일 수많은 웹 비디오를 보지만, 그 안에 있는 3D 정보는 대부분 버려져 있었습니다. JOSH 는 이 잡동사니 같은 웹 영상에서 사람과 배경의 정확한 3D 데이터를 뽑아낼 수 있게 해줍니다.
• 자율주행과 도시 계획: 사람이 횡단보도를 어떻게 건너는지, 사람들이 광장에서 어떻게 모이는지 정확히 분석하면 자율주행차나 도시 설계에 큰 도움이 됩니다.
• 새로운 학습 방식: 기존에는 정밀한 3D 데이터를 얻기 위해 고가의 장비와 시간이 필요했지만, JOSH 를 쓰면 인터넷 영상만으로도 훌륭한 AI 모델을 훈련시킬 수 있게 됩니다.

5. 결론: "혼란스러운 세상, JOSH 가 정리해 드립니다"

JOSH 는 **"사람과 환경은 떼려야 뗄 수 없는 관계"**라는 사실을 수학적으로 증명하고, 이를 이용해 혼란스러운 웹 영상 속에서도 정확하고 자연스러운 4D 세계를 재구성해냅니다.

앞으로 우리가 보는 모든 동영상이 단순한 2D 그림이 아니라, 사람이 실제로 걸어 다니고, 의자에 앉고, 공간을 채우는 생생한 3D 경험으로 변할 수 있는 시대가 온 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

기존의 인간 - 장면 상호작용 (Human-Scene Interaction) 연구는 주로 제한된 환경 (다중 카메라, 레이저 스캐너 등) 에서 스캔된 3D 장면 내에서 인간 움직임을 포착하는 데 집중해 왔습니다. 그러나 웹 비디오와 같은 자연스러운 환경 (In-the-wild) 에서 단안 (Monocular) 카메라만으로 4D 인간 - 장면 재구성을 수행하는 것은 여전히 큰 도전 과제입니다.

기존의 웹 비디오 기반 방법들은 주로 인간 움직임만 재구성하거나, 카메라 자세, 장면, 인간 움직임을 별도로 최적화하는 방식을 취했습니다. 이로 인해 다음과 같은 한계가 발생했습니다:

• 일관성 부재: 카메라, 인간, 장면 간의 상호 의존성을 고려하지 않아 물리적으로 불가능한 결과 (예: 바닥을 통과하는 발, 미끄러지는 운동) 가 발생합니다.
• 정확도 저하: 개별 최적화는 서로의 오차를 보정하지 못해 전역 (Global) 인간 운동 추정 및 밀도 있는 장면 재구성의 정확도가 낮습니다.
• 데이터 부족: 자연스러운 환경의 4D 데이터에 대한 정밀한 Ground Truth (실측값) 를 구하기 어려워 엔드 - 투 - 엔드 모델 학습이 제한적입니다.

2. 제안 방법: JOSH (Methodology)

저자들은 **JOSH (Joint Optimization of Scene Geometry and Human Motion)**라는 새로운 최적화 기반 프레임워크를 제안합니다. JOSH 는 단안 비디오로부터 카메라 자세, 4D 전역 인간 운동, 밀도 있는 3D 장면을 단일 단계 (Single Stage) 에서 동시에 최적화합니다.

핵심 구성 요소

1. 초기화 (Initialization):

   • 기존 오프 - 더 - 쉘 (Off-the-shelf) 모델들을 사용하여 초기 파라미터를 생성합니다.
   • 장면: DROID-SLAM, MonST3R, MASt3R 등을 사용하여 국소 포인트 맵 및 대응 관계를 초기화합니다.
   • 인간: HMR2.0, WHAM, VIMO 등을 사용하여 SMPL 메쉬를 초기화합니다.
   • 전처리: DEVA 와 같은 비디오 분할 모델을 사용하여 움직이는 인간을 마스크로 제거한 후, 배경 포인트 클라우드만 사용하여 장면 재구성을 위한 초기 대응 관계를 정제합니다.
   • 접촉 라벨: BSTRO 모델을 사용하여 인간 메쉬의 정점별 접촉 (Contact) 라벨을 예측합니다.

2. 공동 최적화 (Joint Optimization):

   • 카메라 자세 ($P^t$), 장면 깊이 ($Z^t$), 국소 SMPL 파라미터 ($\Theta^t_c$) 를 한 번에 최적화합니다.
   • 핵심 아이디어: 인간과 장면 간의 **접촉 (Contact)**을 강력한 제약 조건으로 활용하여 세 요소가 서로를 정제하도록 유도합니다.

3. 손실 함수 (Loss Functions):

   • 접촉 장면 손실 ($L_{c1}$): 예측된 인간 접촉 점과 배경 장면 포인트 클라우드 사이의 거리를 최소화하여 물리적 접촉의 타당성을 보장합니다.
   • 접촉 정적 손실 ($L_{c2}$): 접촉이 유지되는 프레임 간에 해당 부위가 정지해 있어야 함을 강제하여 미끄러짐 (Sliding) 현상을 방지합니다.
   • 장면 재구성 손실 ($L_{scene}$): 3D 대응 관계 및 2D 재투영 오차를 최소화합니다.
   • 인간 사전 손실 ($L_{human}$): 시간적 부드러움, SMPL 형태/자세 사전 지식, 2D 키포인트 재투영 오차를 포함합니다.
   • 초점 거리 최적화: 웹 비디오의 경우 카메라 내부 파라미터 (초점 거리) 가 알려져 있지 않은 경우가 많으므로, JOSH 는 초점 거리 ($f$) 를 함께 최적화하여 깊이 추정 오차를 보정합니다.

4. JOSH3R (End-to-End 모델):

   • JOSH 를 통해 생성된 대규모 웹 비디오의 의사 레이블 (Pseudo-labels) 을 사용하여 엔드 - 투 - 엔드 모델인 JOSH3R을 학습시킵니다.
   • MASt3R 아키텍처를 기반으로 하며, 인간 궤적 헤드를 추가하여 두 프레임 간의 상대적 인간 변환을 직접 예측하여 실시간 추론을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 최적화 프레임워크: 카메라 자세, 전역 인간 운동, 장면 기하학을 단일 단계에서 공동 최적화하는 JOSH 프레임워크를 제안하여, 기존 분리 최적화 방식의 일관성 문제를 해결했습니다.
2. 성능 향상: 다양한 초기화 방법 (HMR2.0, VIMO, MASt3R 등) 과 결합 실험을 통해, JOSH 가 4D 재구성, 인간 운동 추정, 밀도 있는 장면 재구성 모두에서 기존 SOTA 방법들을 크게 능가함을 입증했습니다.
3. 확장 가능한 학습 (Scalable Training): JOSH 를 통해 웹 비디오에서 고품질의 의사 레이블을 생성하고, 이를 이용해 학습된 JOSH3R 모델이 정밀한 Ground Truth 가 있는 소규모 데이터셋으로 학습된 모델보다 더 뛰어난 성능을 보임을 증명했습니다. 이는 웹 데이터 기반의 확장 가능한 학습의 가능성을 제시합니다.

4. 실험 결과 (Results)

실험은 SLOPER4D, EMDB, RICH 데이터셋에서 수행되었습니다.

• 4D 인간 - 장면 재구성:

  • SynCHMR (기존 분리 최적화 방법) 대비 모든 메트릭에서 우월한 성능을 보였습니다. 특히 물리적 타당성 (Physical Plausibility) 에서 큰 개선을 이루었습니다.
  • 발 미끄러짐 (Foot Sliding): 67.4mm $\rightarrow$ 56.9mm (JOSH1 기준), 발 공중 부양 (Foot Floating): 9.0% $\rightarrow$ 3.3% 로 크게 감소했습니다.
  • Chamfer Distance (장면 재구성): MASt3R 대비 57.0% 감소 (JOSH3 기준).

• 전역 인간 운동 추정:

  • EMDB 데이터셋에서 W-MPJPE 174.7mm를 기록하여 기존 SOTA (TRAM: 222.4mm, WHAM: 335.3mm) 를 크게 앞섰습니다.
  • JOSH3 (VIMO + MASt3R 초기화) 는 새로운 SOTA 를 달성했습니다.

• JOSH3R 성능:

  • JOSH 로 라벨링된 웹 데이터로 학습된 JOSH3R 은 EMDB 데이터셋의 Ground Truth 로 학습된 모델보다 WA-MPJPE 59.2% 향상된 성능을 보였습니다.
  • 추론 속도는 JOSH(0.8 FPS) 대비 15.4 FPS로 실시간 추론이 가능합니다.

5. 의의 및 중요성 (Significance)

• 자연스러운 상호작용 재구성: 웹 비디오와 같은 제한 없는 환경에서도 인간과 장면 간의 물리적으로 타당한 상호작용을 정밀하게 재구성할 수 있는 방법을 제시했습니다.
• 데이터 부족 문제 해결: Ground Truth 가 부족한 자연 환경 데이터의 한계를, JOSH 를 통한 고품질 의사 레이블 생성과 이를 활용한 엔드 - 투 - 엔드 모델 학습으로 극복할 수 있음을 증명했습니다.
• 실용적 응용: 자율 주행, 도시 계획, AR/VR 등 인간 - 환경 상호작용 분석이 필요한 다양한 분야에서 고해상도 4D 데이터 생성 및 실시간 추론을 가능하게 합니다.

이 논문은 단안 비디오로부터의 4D 재구성 분야에서 "분리 최적화"에서 "공동 최적화"로의 패러다임 전환을 이끌었으며, 웹 데이터의 잠재력을 극대화하는 새로운 방향을 제시했다는 점에서 의의가 큽니다.