기술 요약: Mask2Real-WM

문제 정의

액션 조건부 월드 모델(Action-conditioned world models)은 물리적 상호작용 없이 미래 상태를 예측함으로써 정책 평가, 계획 및 데이터 증강을 가능하게 하여 로봇 학습에 필수적입니다. 그러나 **정교한 조작(dexterous manipulation)**을 위한 이러한 모델을 구축하는 것은 여전히 큰 과제로 남아 있습니다. 주요 장애물은 다음과 같습니다:

1. 고차원 액션 공간: 정교한 손(dexterous hands)은 수많은 자유도(예: 이 설정에서는 6-D 카테시안 엔드 이펙터 포즈 + 17개 손 관절 위치를 포함한 총 23차원)를 포함합니다.
2. 데이터 부족: 대규모의 고품질 정교한 조작 데이터셋은 매우 드뭅니다.
3. 예측 충실도(Prediction fidelity): 기존 비디오 모델은 종종 미세한 손가락-물체 접촉을 정확하게 예측하는 데 어려움을 겪으며, 이러한 중요한 영역을 흐릿하게 처리하는 경향이 있습니다.
4. Sim-to-Real 간극: 합성 데이터(synthetic data)로 학습된 모델은 외관(조명, 질감) 및 역학(dynamics)의 차이로 인해 실제 환경으로 전이될 때 실패하는 경우가 많습니다.

방법론: Mask2Real-WM

저자들은 픽셀 예측을 **역학 모델(dynamics model)**과 **렌더링 모델(rendering model)**로 분리하는 2단계 액션 조건부 월드 모델인 Mask2Real-WM을 제안합니다. 이러한 분해를 통해 시스템은 세그멘테이션 마스크(segmentation masks)에 내재된 더 작은 sim-to-real 간극을 활용하면서도 여전히 사실적인 출력을 생성할 수 있습니다.

1. 문제 정식화

모델은 $V=2$인 멀티 뷰 설정에서 작동하며, $k=5$개의 과거 관측값 컨텍스트 윈도우를 가지고 $H=5$ 단계의 미래 호라이즌을 예측합니다. 목표는 과거 관측값과 액션 시퀀스($a$)가 주어졌을 때 미래의 RGB 프레임($I$)과 세그멘테이션 마스크($m$)의 결합 분포를 모델링하는 것입니다:
$$p(I_{t+1:t+H}, m_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t}, a_{t-k:t+H})$$

2. 분해 전략 (Factorization Strategy)

결합 분포는 두 개의 독립적인 단계로 분해됩니다:
$$p(I, m \mid \dots) = \underbrace{p(m_{t+1:t+H} \mid m_{t-k:t}, a_{t-k:t+H})}_{\text{WM1: 역학(Dynamics)}} \cdot \underbrace{p(I_{t+1:t+H} \mid I_{t-k:t}, m_{t-k:t+H}, a_{t-k:t+H})}_{\text{WM2: 렌더링(Rendering)}}$$

• WM1 (역학 모델): 과거 마스크와 액션 시퀀스로부터 미래의 세그멘테이션 마스크를 예측합니다. 세그멘테이션 마스크는 RGB 이미지보다 sim-to-real 간극이 작기 때문에, WM1은 **50시간 이상의 합성 시뮬레이션 데이터로 미드트레이닝(midtrained)**된 후 **약 2.5시간의 실제 데이터로 파인튜닝(fine-tuned)**되었습니다.
• WM2 (렌더링 모델): 예측된 마스크를 사실적인 RGB 이미지로 매핑합니다. 이는 환경의 특정 외관을 학습하기 위해 오직 실제 데이터(약 2.5시간)로만 학습됩니다.

3. 아키텍처 세부 사항

• 백본(Backbone): 두 모델 모두 Stable Video Diffusion (SVD) 백본을 사용합니다.
• WM1 (그림 2의 왼쪽):
  • SVD로부터 초기화되어 LoRA를 통해 적응됩니다.
  • 과거/미래 마스크와 액션을 입력으로 받습니다.
  • 액션(6-DoF 포즈 + 17개 관절 각도)은 MLP를 통해 투영되어 프레임 단위 크로스 어텐션(cross-attention)을 통해 주입됩니다.
  • 그라운드 트루스 마스크가 포함된 합성 데이터(IsaacLab)로 학습된 후, 실제 데이터로 파인튜닝됩니다.
• WM2 (그림 2의 오른쪽):
  • 예측된 마스크(WM1에서 생성), 과거 RGB 프레임, 그리고 액션을 조건으로 합니다.
  • 세그멘테이션 마스크를 처리하기 위해 경량 CNN 인코더를 갖춘 ControlNet 브랜치를 사용합니다. 이 CNN은 VAE 인코더가 흐릿하게 만들 수 있는 날카로운 경계선을 보존하기 위해 픽셀 공간에서 작동합니다.
  • SVD 백본은 동결(frozen)되며, LoRA와 ControlNet/CNN은 실제 데이터로 학습됩니다.
  • 마스크와 액션 조건의 독립적인 드롭아웃을 통한 Classifier-free guidance를 채택합니다.

4. 데이터 파이프라인

• 시뮬레이션: MimicGen 기반의 파이프라인과 탐색적 사인파 관절 생성기(exploratory sinusoidal joint generator)를 사용하는 IsaacLab을 사용하여 생성되었습니다. 이는 제한된 실제 데이터셋에는 없는 다양한 접촉 풍부한 동작(contact-rich motions)을 제공하기 위해 전체 17-DoF 관절 범위를 커버합니다.
• 실제 데이터: ORCA 핸드와 Rokoko 글러브를 사용한 약 2.5시간의 텔레오퍼레이션(teleoperated) 데몬스트레이션입니다. 마스크는 **SAM 3 (Segment Anything Model)**을 사용하여 의사 라벨(pseudo-labels)로 자동 생성되었으며, 이를 통해 수동 프레임별 주석 작업을 제거했습니다.

주요 기여

1. 가교로서의 세그멘테이션 (Segmentation as a Sim-to-Real Bridge): 저자들은 세그멘테이션 마스크를 중간 표현으로 사용하는 것이 역학 모델의 대규모 합성 미드트레이닝을 가능하게 하여, 효과적으로 sim-to-real 간극을 메울 수 있음을 입증했습니다.
2. 2단계 월드 모델: 역학 예측(WM1)과 외관 렌더링(WM2)을 분리하여 각 구성 요소를 특정 도메인(시뮬레이션 vs 현실)에 최적화할 수 있는 Mask2Real-WM을 도입했습니다.
3. 개선된 제어 가능성 (Improved Controllability): 실험 결과, 시뮬레이션 미드트레이닝을 거친 역학 모델이 실제 데이터로만 학습된 모델보다 액션 제어 능력을 유의미하게 향상시킴을 보여주었습니다.

실험 결과

모델은 Franka Emika Panda 암과 ORCA 핸드(23 DoF 액션 공간)를 사용하는 정교한 pick-and-place 벤치마크에서 평가되었습니다.

액션 제어 가능성 (Action Controllability)

저자들은 개별 액션 차원을 사인파 신호로 섭동(perturbing)시키고 시각적 반응을 점수화하여 "명령-반응 제어 가능성(command-response controllability)"을 측정했습니다.

• 전체 모델 (Sim $\to$ Real WM1 + Real WM2): 평균 제어 가능성 점수 0.95 (In-Distribution) 및 **0.87 (Out-of-Distribution)**을 달려 성취했습니다.
• Real-Only WM1: 0.68 (ID) 및 **0.51 (OOD)**을 기록하여, 합성 미드트레이닝 없이는 미세한 손가락 역학을 포착하는 데 실패함을 보여주었습니다.
• 단일 구조 베이스라인 (Ctrl-World): 훨씬 낮은 점수(~0.6 ID, ~0.44 OOD)를 기록했으며, 넓은 궤적은 포착하지만 미세한 차원의 액션 효과를 반영하는 데 실패했습니다.

비디오 예측 품질

• 선명도(Sharpness): 전체 모델은 광범ic한 궤적을 포착하지만 흐릿한 출력을 내놓는 단일 구조 베이스라인에 비해 더 선명한 예측과 높은 고주파 디테일을 생성합니다.
• 일반화(Generalization): 모델은 분포 변화(예: 새로운 배경, 물체 부재) 하에서도 베이스라인보다 구조적 충실도를 더 잘 유지하지만, 원본 픽셀 지표(PSNR/SSIM)는 흐릿한 베이스라인에 유리할 수 있으므로 오해의 소지가 있습니다.
• Ablation 연구: WM2에서 마스크 컨디셔닝을 제거하면 흐릿한 출력이 발생하였으며, 이는 ControlNet 브랜치가 공간적 품질의 주요 동력임을 확인시켜 줍니다.

의의 및 주장

논문은 Mask2Real-WM이 높은 명령-반응 제어 가능성을 가진 장기 호라이즌의 자기회귀적 롤아웃(autoregressive rollouts)을 가능하게 함으로써, 상상 속에서의 미래 정책 평가를 위한 토대를 제공한다고 주장합니다.

• 모듈성 (Modularity): 2단계 설계는 실용적인 모듈성을 제공합니다. WM1은 경량 역학 체크 도구로 사용할 수 있고, WM2는 ControlNet 가중치만 업데이트하여 새로운 장면으로 빠르게 파인튜닝할 수 있습니다.
• 확장성 (Scalability): 이 접근 방식은 대규모 실제 데이터가 부족한 곳에서 시뮬레이션을 활용한 역학 학습을 통해 실제 정교한 조작 데이터를 확보하는 문제를 해결하며, 저자들은 이 전략이 광범위하게 적용 가능하다고 주장합니다.
• 한계점 (Limitations): 저자들은 현재의 병목 현상이 WM1의 물체 상태 예측(예: 폐쇄 시 물체가 사라지거나 복제되는 현상)에 있음을 인정합니다. 또한, 제어 가능성 점수가 단일 평가자에 기반한 지표라는 점과 고정 카메라 가정이 배포의 유연성을 제한한다는 점을 언급했습니다.

요약하자면, 본 논문은 세그멘테이션 마스크를 통해 역학과 렌더링을 분리하고 시뮬레이션 미드트레이닝을 결합하는 것이, 제어 가능성이 높고 고충실도의 정교한 조작을 위한 월드 모델을 달성하기 위한 필수적이고 효과적인 전략임을 제시합니다.