기술 요약: iMaC – 동작을 움직임 및 접촉 이미지로 변환하는 체화된 세계 모델(Embodied World Models)

1. 문제 정의

체화된 세계 모델(Embodied world models)은 로봇 정책 평가 및 폐쇄 루프 롤아웃(closed-loop rollout)을 위한 실세계 시뮬레이터 역할을 수행하며, 비용이 많이 들고 위험한 물리적 실험의 확장 가능한 대안을 제공하는 것을 목표로 합니다. 그러나 이러한 모델의 신뢰성은 미래의 비디오 예측을 로봇의 동작에 얼마나 정밀하게 조건화(conditioning)할 수 있는지에 달려 있습니다.

기존의 동작 조건부 비디오 모델들은 일반적으로 미래의 동작을 압축된 벡터로 인코딩하여 학습된 모듈(예: cross-attention, AdaLN, FiLM)을 통해 주입합니다. 이러한 추상화는 모델이 미세한 공간적 결과를 간접적으로 추론하게 만듭니다. 센티미터 단위의 차이가 접촉, 물체의 움직임, 그리고 작업 성공 여부를 결정하는 실제 로봇 조작 환경에서 이러한 간접적인 추론은 불충분합니다. 또한, 기존의 명시적 표현 방식(예: 투영된 구체 또는 액션 맵)은 동작을 시각화하기는 하지만, 미래의 로봇 신체 상태를 직접 제어하거나 미래의 로봇과 현재 장면 사이의 상호작용 기하학을 명시적으로 설명하지는 못합니다.

2. 방법론

본 논문은 iMaC(images of Motion and Contact)를 제안합니다. 이는 동작을 밀도 높은 이미지 형태의 제어 신호로 변환하여 비디오 생성을 가이드하는 체화된 세계 모델입니다. 이 접근 방식은 WAN2.2 Image-to-Video (IT2V) DiT 백본을 기반으로 구축되었으며, 다음의 핵심 구성 요소들을 통해 작동합니다.

2.1 모션 이미지 (로봇 운동학)

모델이 추상적인 벡터로부터 로봇의 움직임을 환각(hallucinate)해야 하는 필요성을 제거하기 위해, iMaC는 미래의 관절 동작 시퀀스를 **모션 이미지(Motion Images)**로 변환합니다.

• 메커니즘: 로봇의 URDF와 순운동학(forward kinematics)을 사용하여, 관측에 사용된 특정 카메라 뷰(헤드 및 손목 카메라)로부터 미래의 로봇 형상을 렌더링합니다.
• 기능: 이렇게 렌더링된 비디오는 미래 로봇의 시각적 상태(외형 및 포즈)를 픽셀 공간에서 직접 지정하는 밀도 높은 제어 신호 역할을 하며, 생성 모델이 로봇의 기하학적 구조를 추론해야 하는 부담을 줄여줍니다.

2.2 접촉 이미지 (이중 스트림 기하학)

로봇의 움직임이 장면과 어떻게 상호작용하는지 포착하기 위해, iMaC는 3D 포인트 클라우드를 기반으로 **접촉 이미지(Contact Images)**를 구축합니다. 이는 RGB 입력과 정렬되도록 깊이 맵(depth maps)을 색상화된 이미지로 인코딩하는 보조 깊이 예측 브랜치를 포함합니다.

• 장면-투-그리퍼 스트림 ($C_{s \to g}$): 현재 장면의 포인트들과 미래의 그리퍼 위치 사이의 거리를 계산합니다. 이는 현재 환경의 어느 부분이 미래의 말단 장치(end-effector)와 가까운지를 인코딩합니다.
• 로봇-투-장면 스트림 ($C_{r \to s}$): 미래의 로봇 포인트들과 현재 장면 사이의 거리를 계산합니다. 이는 정적인 환경에 대한 미래 로봇 신체의 공간적 관계를 인코딩합니다.
• 통합: 이러한 거리 맵은 투영 및 밀집화되어 이미지 형태의 제어 신호로 제공되며, 접촉과 관련된 공간 관계에 대한 명시적인 가이드를 제공합니다.

2.3 훈련 시 롤아웃 전략

장기적 조작(long-horizon manipulation)을 지원하고 노출 편향(exposure bias, 모델이 정답 참조 데이터를 바탕으로 훈련되지만 테스트 시에는 자신의 불완전한 생성물에 의존하는 현상)을 완화하기 위해, iMaC는 훈련 시 롤아웃(training-time rollout) 전략을 채택합니다.

• 훈련 중에 모델은 비디오 한 덩어리(chunk)를 생성하고, 마지막 프레임을 디코딩한 후, 이 생성된 프레임을 다음 덩어리의 참조 입력으로 사용합니다.
• 이를 통해 모델은 단순히 정답(ground-truth) 참조에만 의존하는 것이 아니라, 자신의 예측으로부터 후속 기하학적 상태를 구축하는 법을 학습하게 되어, 훈련 조건과 폐쇄 루프 추론 간의 정렬을 개선합니다.

3. 주요 기여

1. 공간적으로 명시적인 동작 조건화: 압축된 동작 벡터를 사용하는 방식과 달리, iMaC는 동작을 미래의 로봇 외형과 로봇-장면 기하학을 명시적으로 정의하는 밀도 높은 이미지 형태의 제어(모션 및 접촉 이미지)로 변환합니다.
2. 이중 스트림 기하학 제어: 양방향 거리 맵(장면-투-그리퍼 및 로봇-투-장면)의 도입은 세계 모델에 접촉 및 상호작용 역학에 대한 정밀한 단서를 제공하며, 이는 조작 작업에 매우 중요합니다.
3. 강건한 장기 평가: 훈련 시 롤아웃 전략은 폐쇄 루프 생성 시 발생하는 훈련-테스트 간의 불일치를 효과적으로 줄여, 정책 평가를 위한 분 단위의 비디오 생성을 가능하게 합니다.
4. 정책 평가 능력: 이 프레임워크는 세계 모델의 성공 추정치를 기반으로 서로 다른 정책 체크포인트를 순위 매길 수 있는 능력을 입증하였으며, 이는 실제 성능과 강한 상관관계를 보여줍니다.

4. 실험 결과

저자들은 다중 뷰 RGB 관측을 포함하는 8가지 도전적인 장기 실로봇 조작 작업에 대해 iMaC를 평가했습니다.

• 비디오 예측 품질: iMaC는 Ctrl-World 및 ABot-PhysWorld와 같은 베이스라인과 비교하여 작업 평균 지표(FID, PSNR, SSIM, FVD)에서 최첨단(SOTA) 성능을 달립했으며, 이는 모션 및 접촉 이미지가 동작 조건부 예측을 크게 향상시킨다는 것을 입증합니다.
• 정책 평가 상관관계: 폐쇄 루프 롤아웃에서 iMaC의 성공 추정치는 8개 작업 중 6개 작업에서 실제 성공률과 강한 양의 상관관계($r \in [0.833, 0.956]$)를 보였습니다. 이는 모델이 서로 다른 정책 계열 및 훈련 체크포인트의 상대적 순위를 효과적으로 보존할 수 있음을 나타냅니다.
  그 외 절제 연구(Ablation Studies) 결과:
  • 접촉 이미지를 제거하면 모델이 그럴듯한 상호작용 동작을 생성함에도 불구하고 물체를 올바르게 잡는 데 실패하여, 접촉 인지 가이드의 필요성을 보여주었습니다.
  • 모션 이미지를 제거하면 미래의 로봇 구성을 직접적으로 안내받지 못해 정밀한 파지(grasp)를 생성하는 데 실패했습니다.
  • 접촉 구성을 위해 모델 자체의 예측 깊이 대신 외부 깊이(DA3)를 사용했을 때, 접촉 기하학의 일관성이 떨어지고 파지에 실패하는 결과가 나타났습니다.

5. 의의 및 주장

본 논문은 iMaC가 체화된 세계 모델의 핵심 병목 현상인 '동작 조건화의 공간적 정밀도 부족' 문제를 해결한다고 주장합니다. 동작을 명시적인 시각적 및 기하학적 제어로 변환함으로써, iMaC는 미세한 공간 관계가 성공을 결정하는 조작 작업의 신뢰할 수 있는 시뮬레이션을 가능하게 합니다.

주요 의의는 정책 평가 도구로서의 활용에 있습니다. 저자들은 iMaC가 작업별 물리 시뮬레이터나 광범한 하드웨어 실험 없이도 정책 체크포인트를 비교하고 실제 성능을 추정할 수 있는 확장 가능한 인실리코(in-silico) 시뮬레이터로 기능할 수 있음을 입증했습니다. 세계 모델 점수와 실제 결과 사이의 강한 상관관계는, 카메라에 보이지 않는 높이 관계에 크게 의존하는 작업과 같이 심각한 관측 누락 문제가 없는 한, 이러한 모델이 체크포인트 선택 및 정책 개선을 효과적으로 가이드할 수 있음을 시사합니다.