CRISP: Contact-Guided Real2Sim from Monocular Video with Planar Scene Primitives

이 논문은 단안 비디오에서 물리적으로 타당한 인간 운동과 시나리오 기하학을 복원하여 로봇 및 AR/VR 의 실사 - 시뮬레이션 (Real2Sim) 응용을 획기적으로 개선하는 'CRISP' 방법을 제안합니다.

핵심

CRISP: 비디오 속의 사람을 로봇이 따라 할 수 있게 만드는 '마법 지팡이'

이 논문은 단순한 스마트폰 영상 하나만 가지고, 그 안에 있는 사람의 움직임과 주변 환경을 물리 법칙을 완벽하게 따르는 '가상 현실'로 만들어내는 방법을 소개합니다. 이름은 CRISP입니다.

이걸 쉽게 이해하기 위해 몇 가지 비유를 들어볼까요?

1. 문제: "유령 같은 바닥"과 "부서진 장난감"

기존의 기술들은 영상을 보고 3D 모델을 만들 때, 마치 흐릿한 안개를 통해 사물을 보는 것과 같았습니다.

• 유령 같은 바닥: 사람이 의자에 앉는 영상을 보면, 의자 위쪽은 보이지만 사람이 가린 의자 안쪽은 보이지 않습니다. 기존 기술은 이 부분을 임의로 채우다가, 의자 위에 '유령 같은 공기층'이나 '보이지 않는 벽'을 만들어버립니다.
• 부서진 장난감: 이렇게 만들어진 3D 모델을 로봇 시뮬레이션에 넣으면, 로봇은 그 보이지 않는 유령 벽에 걸려 넘어지거나, 바닥이 울퉁불퉁해서 넘어집니다. 마치 조각난 퍼즐을 억지로 맞추려다 로봇이 고장 나는 것과 같습니다.

2. CRISP 의 해결책: "레고 블록"과 "상상력"

CRISP 는 이 문제를 세 가지 똑똑한 아이디어로 해결합니다.

① 복잡한 세상을 '레고 블록'으로 정리하기 (Planar Primitives)

기존 기술은 구름처럼 복잡한 점 (Point Cloud) 수백만 개를 다 모아서 3D 모델을 만들었습니다. 하지만 CRISP 는 **"이건 평평한 바닥이야, 저건 벽이야, 의자는 네모난 상자야"**라고 생각하며, 세상을 간단한 평면 (Planar Primitives) 들로 쪼개어 정리합니다.

• 비유: 복잡한 자연 풍경을 그리는 대신, 레고 블록 몇 개만 쌓아서 의자와 바닥을 표현하는 것과 같습니다. 로봇이 이 레고 블록 위를 걷으면, 유령 벽에 걸릴 일이 없고 계산도 매우 빨라집니다.

② "보이지 않는 것"을 상상하기 (Contact-Guided)

사람이 의자에 앉으면 의자 위쪽은 가려져 보이지 않습니다. 하지만 CRISP 는 **"사람이 앉았으니, 그 아래에 단단한 의자 판이 있어야겠지?"**라고 추론합니다.

• 비유: 마치 마술사가 보지 않는 상자 안에 있는 물건을 알아맞히는 것처럼, 사람의 자세 (예: 엉덩이가 바닥에 닿는 느낌) 를 보고 가려진 의자나 계단, 바닥을 **상상 (Hallucination)**해서 완벽하게 채워 넣습니다.

③ 로봇이 직접 "테스트"하기 (Reinforcement Learning)

가장 중요한 부분입니다. CRISP 는 만들어진 3D 모델을 컴퓨터 시뮬레이션에 넣고, 실제 로봇이 그 위를 걷게 해봅니다.

• 비유: 건축가가 건물을 지을 때, 실제 사람이 올라가서 흔들림을 테스트하는 것과 같습니다. 만약 로봇이 넘어지거나 미끄러지면, "아, 바닥이 너무 미끄럽구나" 혹은 "의자가 너무 높구나"라고 판단하고 모델을 수정합니다. 이렇게 물리 법칙을 통과한 모델만 최종 결과물로 내보냅니다.

3. 왜 이것이 놀라운가요? (결과)

이 방법을 쓰면 기존 기술보다 실패율이 8 배나 줄어듭니다.

• 기존: 로봇이 영상을 보고 따라 하려다 50% 이상 넘어지거나 멈춰버림.
• CRISP: 93% 이상 완벽하게 따라 함.
• 속도: 계산 속도가 43% 빨라져서, 더 많은 영상을 빠르게 처리할 수 있습니다.

요약하자면?

CRISP 는 **"단순한 영상 하나를, 로봇이 안전하게 뛰어다니고 놀 수 있는 물리 법칙이 적용된 완벽한 게임 세상으로 바꿔주는 기술"**입니다.

이 기술이 발전하면:

• 로봇: 우리가 찍은 일상 영상을 보고, 로봇이 그 환경에서 계단을 오르거나 의자에 앉는 법을 스스로 배울 수 있습니다.
• AR/VR: 실제 거실 사진을 찍으면, 그 공간에 가상 캐릭터가 자연스럽게 앉고 움직이는 게임을 바로 만들 수 있습니다.

결국 CRISP 는 "현실 (Real)"과 "시뮬레이션 (Sim)" 사이의 거대한 벽을 허무는, 물리 법칙을 아는 똑똑한 번역기라고 할 수 있습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 단안 비디오 (Monocular Video) 를 기반으로 한 인간 - 장면 (Human-Scene) 재구성 연구는 다음과 같은 한계를 가지고 있습니다:

• 물리 시뮬레이션 부적합성: 기존 방법들은 주로 데이터 기반 사전 지식 (priors) 에 의존하거나 물리 법칙을 고려하지 않은 최적화를 수행합니다. 이로 인해 생성된 3D 장면 기하학은 노이즈가 많고, 불연속적이거나 '유령 표면 (ghost surfaces)'과 같은 아티팩트가 발생합니다.
• 시뮬레이션 실패: 이러한 부정확한 기하학은 물리 엔진 (Isaac Gym 등) 에서 humanoid(인간형 로봇) 컨트롤러를 구동할 때 심각한 문제를 야기합니다. 구체적으로 발 미끄러짐, 공중에 뜬 상태, 표면 침투 (inter-penetration), 불안정한 접촉 힘 등으로 인해 모션 추적이 실패하거나 RL(강화학습) 수렴이 어렵습니다.
• 가려진 영역 복원 부재: 인간이 장면과 상호작용할 때 (예: 의자에 앉기) 가려지는 영역 (의자 좌석 등) 을 재구성하는 데 실패하여, 물리적으로 타당한 상호작용을 시뮬레이션할 수 없습니다.

2. 방법론 (Methodology: CRISP)

CRISP 는 단안 비디오를 물리적으로 타당한 시뮬레이션 자산 (Asset) 으로 변환하는 'Real-to-Sim' 파이프라인입니다. 주요 구성 요소는 다음과 같습니다.

2.1 초기화 (Initialization)

• 카메라 및 깊이 추정: MegaSAM 과 MoGe 를 결합하여 단안 비디오로부터 카메라 포즈, 내부 파라미터 (intrinsics), 그리고 스케일 불변 (scale-invariant) 한 밀집 점구 (dense point cloud) 를 복원합니다.
• 인간 모션 추정: GVHMR 을 사용하여 SMPL 메쉬를 복원하고, 추정된 카메라 포즈를 이용해 세계 좌표계 (World Frame) 로 변환합니다.
• 스케일 정합: 인간 크기를 기준으로 점구 (Point Cloud) 의 스케일을 보정하여 물리적으로 올바른 크기의 장면을 확보합니다.

2.2 평면 원시 (Planar Primitives) 기반 기하학 재구성

• 핵심 아이디어: 복잡한 메쉬 대신 볼록한 평면 원시 (Convex Planar Primitives) 를 사용하여 장면을 표현합니다.
• 클러스터링 파이프라인:
  1. 노말 기반 분할: 깊이 맵의 노말 (Normal) 에 K-means 를 적용하여 후보 평면 세그먼트를 생성합니다.
  2. 공간 분할 (Spatial Split): DBSCAN 을 사용하여 3D 점들을 세그먼트 내에서 분할합니다.
  3. 시간 병합 (Temporal Merge): 광학 흐름 (Optical Flow) 과 유사한 평면 적합도를 기준으로 프레임 간 세그먼트를 병합하여 일관된 평면 영역을 만듭니다.
  4. 평면 피팅: RANSAC 을 사용하여 각 영역에 평면을 피팅하고, 기본 두께 (0.05m) 를 가진 평면 입방체 (Planar Cuboid) 로 변환합니다.
• 효과: 이 방식은 수만 개의 삼각형으로 이루어진 노이즈가 많은 메쉬 대신 약 50 개의 컴팩트한 원시 기하학을 생성하여, 충돌 감지 및 힘 계산 효율성을 극대화하고 물리 시뮬레이션의 안정성을 높입니다.

2.3 접촉 (Contact) 을 활용한 장면 완성 (Scene Completion)

• 문제: 인간이 장면을 가리는 경우 (예: 의자에 앉을 때 의자 좌석) 해당 영역이 점구에서 누락됩니다.
• 해결: Vision-Language Model (InteractVLM) 을 사용하여 인간 - 장면 접촉 (예: 발이 바닥에 닿음, 엉덩이가 의자에 닿음) 을 예측합니다.
• 필터링: 시간적 - 운동학적 필터링 (Temporal-kinematic filtering) 을 통해 가짜 양성 (False Positive) 을 제거하고, 일관되게 높은 확신을 가진 프레임을 선택하여 접촉 정보를 추출합니다.
• 가상 복원: 추출된 접촉 정보를 바탕으로 가려진 지지면 (Support surfaces) 을 추론하여 평면 원시로 복원합니다.

2.4 물리 기반 모션 추적 (Physics-based Motion Tracking)

• RL 기반 검증: 재구성된 인간과 장면을 사용하여 Isaac Gym 에서 humanoid 컨트롤러를 강화학습 (RL) 으로 훈련합니다.
• 정책 (Policy): MaskedMimic 아키텍처를 기반으로 하며, 참조 모션을 따라가도록 보상 함수 (위치, 회전, 속도, 높이 일치 및 에너지 패널티) 를 설계합니다.
• 목적: 시뮬레이션이 실패하지 않고 안정적으로 모션을 추적할 수 있다면, 재구성된 자산이 물리적으로 타당하다는 것을 검증하는 것입니다.

3. 주요 기여 (Key Contributions)

1. 시뮬레이션 준비형 기하학 (Simulation-ready Geometry): 노이즈가 많은 2.5D 메쉬 대신, 클러스터링 알고리즘을 통해 컴팩트하고 볼록한 평면 원시를 생성하여 물리 엔진과의 호환성을 획기적으로 개선했습니다.
2. 접촉 유도 장면 완성 (Contact-Guided Scene Completion): VLM 기반 접촉 예측을 활용하여 가려진 영역 (의자, 계단 등) 을 추론하고 복원함으로써, 상호작용이 필요한 장면의 물리 타당성을 확보했습니다.
3. 물리 검증 루프 (Physics-based Validation Loop): 재구성된 자산이 RL 기반 humanoid 컨트롤러를 통해 성공적으로 시뮬레이션될 수 있도록 하여, 단순한 기하학적 정확도를 넘어 물리적으로 실행 가능한 (Physically Plausible) 결과를 보장합니다.
4. 효율성: 복잡한 메쉬 기반 접근법 대비 43% 빠른 시뮬레이션 처리 속도 (Throughput) 를 달성하면서도 높은 성공률을 유지했습니다.

4. 실험 결과 (Results)

EMDB 및 PROX 데이터셋을 기반으로 한 실험 결과는 다음과 같습니다:

• RL 성공률 (Success Rate): 기존 방법 (VideoMimic 등) 이 44.8% 의 성공률을 보인 반면, CRISP 는 93.1% 의 성공률을 기록하여 모션 추적 실패율을 8 배 감소시켰습니다.
• 시뮬레이션 처리 속도 (FPS): 밀집 메쉬 (Dense Mesh) 기반 방법 대비 23K FPS로 약 43% 더 빠른 처리 속도를 달성했습니다.
• 재구성 정확도:
  • Chamfer Distance: VideoMimic 대비 거의 절반 수준의 오차를 보였습니다.
  • 비침투성 (Non-Penetration): 평면 원시를 사용한 CRISP 가 가장 높은 비침투 점수 (0.947) 를 기록하여, 로봇이 장면에 부딪히거나 가라앉는 현상을 효과적으로 방지했습니다.
• HMR 정확도: RL 정제 후 전 세계 좌표계 기반 인간 모션 추정 오차 (W-MPJPE100) 가 175.93mm 로 기존 최첨단 방법들보다 우수했습니다.
• 실제 환경 적용: 야외 영상, 인터넷 영상, 심지어 Sora 로 생성된 영상에서도 물리적으로 유효한 인간 모션 및 상호작용 환경을 생성하는 것을 검증했습니다.

5. 의의 및 결론 (Significance)

CRISP 는 단순한 비디오 재구성을 넘어, Embodied AI(구체적 인공지능) 와 로봇 공학, AR/VR 분야에 즉시 적용 가능한 'Real-to-Sim' 파이프라인을 제시합니다.

• 물리 법칙 준수: 재구성된 데이터가 물리 엔진에서 안정적으로 작동하도록 보장함으로써, 시뮬레이션에서 학습된 정책이 실제 세계로 전이 (Sim-to-Real) 될 가능성을 높입니다.
• 확장성: 복잡한 장면 최적화 없이도 효율적인 평면 원시를 생성하여 대규모 데이터셋 처리와 실시간 응용에 적합합니다.
• 접촉의 중요성 강조: 인간 - 장면 상호작용에서 '접촉' 정보가 가려진 영역 복원과 물리 시뮬레이션 안정성에 결정적 역할을 함을 입증했습니다.

이 연구는 단안 비디오에서 물리적으로 타당한 3D 상호작용 환경을 대규모로 생성하는 새로운 기준을 제시하며, 로봇 학습 및 가상 현실 기술 발전에 중요한 기여를 할 것으로 기대됩니다.