기술 요약: Mirage2Matter

문제 정의

체화된 지능(Embodied Intelligence)의 확장성은 시각-언어-행동(Vision-Language-Action, VLA) 모델을 학습시키는 데 필요한 고품질 실세계 상호작용 데이터의 희소성에 의해 근본적으로 제한됩니다. 시뮬레이션이 해결책을 제시하지만, 기존 방식들은 상당한 "심투리얼(sim-to-real)" 격차 문제를 겪고 있습니다.

• 재구성 기반 시뮬레이터(예: AI2Thor, Habitat, SAPIEN)는 수동으로 제작된 에셋과 합성 텍스처에 의존하는 경우가 많아 시각적 도메인 격차를 유발합니다. 최근의 3D 가우시안 스플래팅(3DGS) 확장 기술은 시각적 충실도를 개선하지만, 종종 값비싼 센서, 정밀한 로봇 캘리브레이션 또는 깊이 측정값에 의존하며, 물리 법칙을 포착하는 메커니즘이 부족하여 작업별 솔버(solver)를 필요로 합니다.
• 생성형 기반 월드 모델은 3D 에셋을 합성하고 물리적 특성을 예측하는 자동화된 파이프라인을 제공합니다. 그러나 이들은 종로 종종 기하학적 정확도보다 다양성을 우선시하여, 생성된 에셋과 실제 대상 간의 불일치를 초래합니다. 이러한 불일치는 환경적 충실도를 저하시키고 제로샷 배포(zero-shot deployment)를 위한 시뮬레이션의 효용성을 제한합니다.

일반 비디오로부터 고충실도 시각적 재구성과 물리적으로 근거 있는 상호작용 역학을 동시에 달성할 수 있는 월드 모델에 대한 절실한 필요성이 존재합니다.

방법론: Mirage2Matter

Mirage2Matter는 다중 뷰 비디오로부터 고충실도 체화된 학습 데이터를 생성하는 물리적으로 근거 있는 가우시안 월드 모델입니다. 이 프레임워크는 세 가지 핵심 단계를 통해 물리 기반 시뮬레이션과 광학적 사실주의 재구성을 통합합니다.

1. 광학적 사실주의 장면 및 객체 재구성

시스템은 환경과 조작 가능한 객체를 두 개의 병렬 브랜치를 사용하여 재구성합니다.

• 재구성 브랜치 (3DGS): 3D 가우시안 스플래팅(3DGS)을 활용하여 광학적 사실주의 표현을 생성합니다.
  • 장면(Scene): 환경을 촬영한 핸드헬드 비디오를 COLMAP으로 처리하여 구조 결정(Structure-from-Motion, SfM) 포인트와 카메라 포즈를 얻습니다. 전역 레이아웃과 미세한 질감을 포착하기 위해 광도 목적 함수(photometric objective)를 사용하여 장면 3DGS를 학습합니다.
  • 객체(Objects): 선택된 프레임에서 텍스트 프롬프트에 의해 유도된 SAM2를 사용하여 객체 마스크를 분할합니다. 배경의 방해 요소를 억제하기 위해 마스킹된 픽셀만을 사용하여 객체별 3DGS 모델을 최적화합니다.
• 생성 브리지 (Meshes): 물리적 시뮬레이션을 가능하게 하려면 명시적인 표면 기하 구조가 필요합니다. 객체의 단일 뷰 사진을 Tripo3D에 입력하여 정준 포즈(canonical pose)에서의 워터타이트(watertight) 메쉬를 생성합니다 own합니다. 이 메쉬들은 물리 엔진을 위한 충돌 준비가 된 기하학적 대리물(proxy) 역할을 합니다.

2. 교차 도메인 정렬 (Cross-Domain Alignment)

시각적 표현(3DGS)과 물리적 시뮬레이션(메쉬) 사이의 일관성을 보장하기 위해, 시스템은 모든 에셋을 통일된 로봇 중심 좌표계(Genesis 시뮬레이터 월드 프레임)로 정렬합니다.

• 장면 정렬: 비디오 캡처 시 로봇 베이스 위치에 캘리브레이션 보드를 배치합니다. 캘리브레이션 보드의 SfM 포인트와 가상 로봇 작업 공간 메쉬 사이에 스케일링된 반복 최근접 점(Iterative Closest Point, ICP)을 수행합니다. 이 유사 변환($S = (s, R, t)$)을 장면 3DGS 학습 전에 SfM 포인트와 카메라 포즈에 적용하여, 최종 모델이 시뮬레이터에 네이티브하게 정렬되도록 합니다.
• 객체 정렬: 객체 3DGS와 그에 대응하는 메쉬를 사후 최적화 단계에서 정렬합니다. 3DGS에서 샘플링된 포인트 클라우드와 메쉬 사이의 유사 변환을 추정하고, 이어서 ICP 정밀화를 수행합니다. 가우시안 파라미터(평균, 스케일, 회전)를 메쉬 기하 구조에 맞게 업데이트하여 통합된 렌더링과 시뮬레이션을 가능하게 합니다.
• Sim-to-Real 카메라 캘리브레이션: 로봇 엔드 이펙터에 부착된 ChArUco 보드를 사용하여 핸드-아이(hand-eye) 캘리브레이션 방정식을 해결합니다. 이를 통해 시뮬레이션 내 로봇의 헤드 마운트 카메라가 실제 세계의 카메라와 픽셀 단위로 완벽하게 일치하도록 보장하며, 매니퓰레이터의 상대적 위치에 대한 일관성을 유지합니다.

3. 데이터 생성 및 하이브리드 렌더링

정렬이 완료되면, 시스템은 통일된 월드 모델을 조립하고 학습 데이터를 생성합니다.

• 상호작용적 배치: 객체를 인터랙티브 변환을 사용하여 장면에 배치하며, 장면 3DGS와 객체 3DGS를 하나의 가우시안 월드($G_{world}$)로 병합합니다.
• 물리 기반 시뮬레이션: Genesis 물리 엔진은 객체 메쉬를 사용하여 로봇의 상호작용을 시뮬레이션합니다. 모션 플래닝(IK 및 RRT)은 충돌 없는 궤적을 생성합니다.
• 하이브리드 렌더링: 학습용 비디오를 만들기 위해 두 브랜치의 출력을 합성합니다.
  1. 로봇의 움직임과 상호작용은 Genesis 시뮬레이터로부터 렌더링됩니다 (운동학적/역학적 정확성 및 충돌 제약 제공).
  2. 배경과 정적 객체는 3DGS 월드 모델로부터 렌더링됩니다 (광학적 사실주의 제공).
  3. Genesis 비디오에서 로봇 마스크를 추출하여 3DGS 배경 위에 로봇 전경을 알파 합성함으로써, 물리적으로 일관되면서도 시각적으로 사실적인 최종 프레임을 생성합니다.

주요 기여

1. 충실하고 사실적인 월드 표현: 일반적인 다중 뷰 비디오만을 사용하여 환경과 조작 가능한 객체의 고충실도 시각적 표현을 재구성하며, 특수 센서 없이도 미세한 기하 구조와 외관을 포착합니다.
2. 물리적으로 근거 있고 로봇 중심적인 모델링: 충돌 준비가 된 메쉬를 위해 생성형 모델을 활용하고 정확한 스케일 정렬을 위한 캘리브레이션 파이프라인을 도입함으로써, 시뮬레이션이 실제 세계와 일관성을 유지하도록 보장합니다.
3. 실용적이고 확장 가능한 데이터 생성: 이 접근 방식은 근거 있는 상호작용 역학을 가진 편집 가능한 월드 모델을 저비용으로 구축할 수 있게 합니다. 이는 VLA 모델이 제로샷 일반화를 달성할 수 있도록 대규모 데이터 합성을 지원합니다.

실험 결과

저자들은 시뮬레이션 데이터로 VLA 모델(PoSA-VLA)을 학습시킨 후, 추가적인 미세 조정 없이 실제 AlphaBot 1s 로봇에 배포하여 Mirage2Matter를 평가했습니다.

• 베이스라인: 본 방법론을 DISCOVERSE, RoboSimGS 및 상한선(upper-bound)인 실제 세계(Real-World) 학습 데이터셋과 비교했습니다.
• 태스크: 평가는 Grasp(잡기), Press Button(버튼 누르기), Push/Pull(밀기/당기기)의 세 가지 조작 태스크를 포함했습니다.
• 성능:
  • Grasping (잡기): 실제 객체(바나나, 크로와상)에 대해 Mirage2Matter는 각각 80.0%와 86.7%의 성공률을 달성했습니다. 이는 DISCOVERSE(60.0%, 66.7%)와 RoboSimGS(76.7%, 76.7%)를 크게 상회하며, 실제 세계 학습 상한선(96.7%, 90.0%)에 근접했습니다.
  • 태스크 레벨: "Press Button"의 경우, Mirage2Matter는 실제 세계 학습의 96.7% 대비 93.3%의 성공률을 기록했습니다. "Push/Pull"의 경우 83.3% 대비 73.3%를 달성했습니다.
• Ablation 연구:
  • 메쉬 전용 객체를 3DGS 재구성 객체로 교체했을 때 잡기 성공률이 향려되었으며, 이는 객체와 환경 사이의 시각적 일관성의 중요성을 강조합니다.
  • 성능은 학습 데모의 수와 양의 상관관관계를 보였으며, 300개의 데모가 최적의 결과를 냈습니다.

의의 및 주장

본 논문은 Mirage2Matter가 심투리얼(sim-to-real) 격차를 메꿈으로써 확장 가능한 체화된 지능을 향한 실질적인 경로를 제공한다고 주장합니다. 저자들은 향상된 제로샷 성능의 원인을 다음과 같이 설명합니다:

1. 높은 시각적 충실도: 통합된 3DGS 렌더링은 특히 질감, 조명, 배경 기하 구조 측면에서 시뮬레이션과 현실 사이의 지각적 격차를 줄여줍니다.
2. 시각적-물리적 일관성: 메쉬 객체와 3DGS 배경을 혼합하여 시각적 불일치를 만드는 기존 시뮬레이터와 달리, Mirage2Matter는 두 전경과 배경을 하나의 통합된 3DGS 월드 내에서 렌더링합니다. 이는 모델이 시뮬레이터 특유의 아티팩트에 기반한 "지름길(shortcut)" 행동을 학습하는 것을 방지합니다.
3. 물리적 근거: Genesis 기반 실행을 통해 학습된 정책이 운동학적 및 충돌 제약을 준수하도록 보장하며, 물리적으로 불가능한 행동에 과적합되는 것을 방지합니다.

저자들은 이 프레임워크가 실제 환경으로부터 직접 현실과 일치하는 월드 모델을 구축할 수 있게 하여, 추가적인 미세 조정 없이도 물리 세계에서 조작 작업을 수행할 수 있는 VLA 모델 학습을 지원한다고 결론짓습니다.