Interactive World Simulator for Robot Policy Training and Evaluation

이 논문은 일관성 모델을 활용하여 물리적으로 일관된 장시간 상호작용을 실시간으로 시뮬레이션할 수 있는 '인터랙티브 월드 시뮬레이터'를 제안하며, 이를 통해 생성된 데이터로 학습된 로봇 정책이 실제 세계와 유사한 성능을 보임으로써 확장 가능한 로봇 데이터 생성 및 정책 평가의 신뢰할 수 있는 대안임을 입증합니다.

핵심

이 논문은 로봇을 가르치고 시험하는 방식을 완전히 바꿀 수 있는 **'상상력이 현실이 되는 시뮬레이터'**를 소개합니다.

기존의 로봇 연구는 비싸고 귀한 실제 로봇을 직접 움직여 데이터를 모아야 했습니다. 하지만 이 논문은 **"실제 로봇 없이도, 컴퓨터 안에서 10 분 이상이나 완벽하게 현실처럼 움직이는 가상 세계"**를 만들었다고 주장합니다.

이 내용을 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 핵심 개념: "로봇을 위한 '마인드 게임' (Interactive World Simulator)"

이 연구에서 개발한 **'인터랙티브 월드 시뮬레이터'**는 마치 로봇이 꿈을 꾸는 것과 같습니다.

• 기존 방식 (비싼 현실): 로봇을 직접 사서, 실패하면 고치고, 물건을 떨어뜨리면 줍고, 하루 종일 반복 훈련을 시켜야 합니다. 시간도 돈도 많이 듭니다.
• 이 연구의 방식 (가상 현실): 컴퓨터 안에 '현실과 똑같은 세계'를 만듭니다. 로봇이 이 가상 세계에서 컵을 잡거나 밧줄을 묶는 행동을 하면, 컴퓨터가 **"다음 1 초, 10 초, 100 초 뒤에 세상이 어떻게 변할지"**를 실시간으로 예측해 보여줍니다.

비유:
마치 비행 시뮬레이터를 생각해보세요. 조종사가 비행기를 추락시켜도 실제 비행기가 부서지지 않습니다. 대신 컴퓨터 화면이 "아, 조종사가 잘못했네. 다음엔 이렇게 날아가겠구나"라고 예측하며 현실과 똑같은 영상을 만들어냅니다. 이 연구는 로봇이 물건을 다루는 모든 상황 (컵 잡기, 밧줄 묶기, 상자 채우기 등) 에서 그런 시뮬레이터를 만든 것입니다.

2. 기술의 마법: "10 분 동안 멈추지 않는 예측"

기존의 AI 시뮬레이션은 몇 초만 지나도 화면이 뭉개지거나 로봇이 벽을 통과하는 등 엉망이 되는 경우가 많았습니다. 하지만 이 연구의 시뮬레이터는 **15 초마다 15 장의 그림을 그려내는 속도 (15 FPS)**로 10 분 이상이나 안정적으로 현실을 예측합니다.

• 어떻게 가능할까?
  • 단계 1 (압축기): 복잡한 현실 영상을 AI 가 이해하기 쉬운 '요약본 (잠재 공간)'으로 바꿉니다.
  • 단계 2 (예측기): 그 요약본을 바탕으로 "로봇이 이렇게 움직이면, 다음 순간은 이렇게 변할 거야"라고 빠르게 계산합니다.
  • 결과: 일반 가정용 고성능 그래픽카드 (RTX 4090) 하나만 있어도, 실제 로봇을 움직이는 것처럼 부드럽고 정확한 영상을 10 분 이상 만들어냅니다.

3. 두 가지 큰 혜택

이 시뮬레이터는 로봇 연구자에게 두 가지 엄청난 선물을 줍니다.

① "무한한 연습장" (데이터 생성)

• 상황: 로봇에게 컵을 잡는 법을 가르치려면 수천 번의 실패와 성공 데이터가 필요합니다.
• 해결: 연구자는 실제 로봇을 만질 필요 없이, 키보드나 간단한 조이스틱으로 가상 세계를 조작하며 데이터를 모을 수 있습니다.
• 비유: 요리 학교에서 실제 식재료를 다 써버리기 전에, 가상 현실에서 요리 실습을 100 번 해본 후 실제 부엌에 들어가는 것과 같습니다. 가상에서 만든 요리 데이터로 로봇을 가르쳤더니, 실제 로봇도 똑같이 잘 해냈습니다.

② "정직한 시험관" (정책 평가)

• 상황: 새로운 로봇 제어 알고리즘을 개발했을 때, "이게 진짜로 잘 작동할까?"를 확인하려면 실제 로봇을 여러 번 테스트해야 합니다. 이는 시간도 걸리고 위험하기도 합니다.
• 해결: 이 시뮬레이터 안에서 로봇을 시험해보면, 실제 세계에서 얼마나 잘할지 90% 이상 정확히 예측할 수 있습니다.
• 비유: 시험지 (시뮬레이션) 점수가 높으면, 실제 시험 (현실) 점수도 높을 가능성이 매우 높다는 뜻입니다. 그래서 연구자들은 실제 로봇을 움직이기 전에, 이 시뮬레이터에서 "이 알고리즘은 쓸모없네, 저건 좋네"를 빠르게 가려낼 수 있습니다.

4. 실험 결과: "가상이 현실을 이겼다?"

연구진은 다양한 과제 (컵 잡기, 밧줄 정리, 상자 포장 등) 에서 실험을 했습니다.

• 결과 1: 실제 로봇 데이터 100% 로 훈련한 로봇과, 가상 시뮬레이터 데이터 100% 로만 훈련한 로봇의 실력이 거의 똑같았습니다.
• 결과 2: 시뮬레이터에서 점수가 잘 나온 로봇은, 실제 세계에서도 잘했습니다. (상관관계가 매우 높음)

요약

이 논문은 **"로봇을 가르치고 시험하는 데 드는 막대한 비용과 시간을, 컴퓨터 안의 '현실 같은 꿈'으로 해결했다"**는 이야기입니다.

• 과거: 로봇을 직접 움직여야 함 (비쌈, 느림, 위험함).
• 현재 (이 연구): 컴퓨터 안에서 10 분 이상 현실처럼 예측 가능함 (싸움, 빠름, 안전함).

이 기술이 보편화되면, 누구나 집에서 컴퓨터로 로봇을 훈련시켜 실제 현장에 투입할 수 있는 시대가 올 것입니다. 마치 게임 캐릭터를 키우듯, 로봇의 능력을 키우는 시대가 온 것입니다.

기술 요약

1. 문제 정의 (Problem)

로봇 공학 분야에서 **액션 조건부 비디오 예측 모델 (World Models)**은 계획, 제어, 정책 평가 등에 큰 잠재력을 가지고 있으나, 기존 접근법들은 다음과 같은 중대한 한계를 겪고 있습니다:

• 계산 비용 및 속도: 고해상도 비디오 생성을 위한 무거운 신경망과 다단계 확산 (diffusion) 프로세스로 인해 실시간 상호작용에 필요한 속도를 내지 못합니다.
• 장기적 불안정성: 긴 시간 (Long-horizon) 동안의 시뮬레이션 시 예측 오류가 누적되어 물리적으로 일관되지 않은 결과 (예: 로봇 포즈 드리프트, 물체 동역학 왜곡) 를 생성합니다.
• 데이터 수집의 어려움: 시뮬레이션 기반 학습을 위한 고품질 데이터 생성이나 실제 로봇을 이용한 정책 평가는 시간과 비용이 많이 들어 확장성이 부족합니다.

이러한 한계로 인해, 실제 로봇 상호작용과 유사한 물리 법칙을 따르면서도 안정적으로 장시간 (10 분 이상) 시뮬레이션이 가능한 **신뢰할 수 있는 세계 모델 (World Model)**의 부재가 로봇 정책 학습 및 평가의 주요 병목 현상이 되었습니다.

2. 방법론 (Methodology)

저자들은 Interactive World Simulator를 제안하며, 이는 중간 규모의 로봇 상호작용 데이터셋으로부터 학습된 액션 조건부 비디오 예측 프레임워크입니다. 주요 기술적 구성 요소는 다음과 같습니다:

A. 모델 아키텍처 (2 단계 학습)

1. Stage 1: 오토인코더 (Autoencoder) 학습

   • 고차원 RGB 이미지를 컴팩트한 2D 잠재 공간 (Latent Space) 으로 인코딩하고, 이를 다시 고충실도로 재구성합니다.
   • CNN 인코더와 Consistency Model 디코더를 사용하여 효율적이고 고품질의 재구성을 가능하게 합니다.
   • 안정성을 위해 Consistency Trajectory Model (CTM) 에서 영감을 받아 노이즈 스케일 간의 일관성을 학습합니다.

2. Stage 2: 동역학 모델 (Dynamics Model) 학습

   • 오토인코더를 고정 (Freeze) 한 후, 잠재 공간 내에서 액션 조건부 Consistency Model을 학습합니다.
   • 과거의 잠재 상태 (Latents) 와 로봇 액션 (Actions) 을 조건으로 미래의 잠재 프레임을 예측합니다.
   • Consistency Model을 사용하여 다중 모드 (Multimodal) 분포를 효율적으로 표현하고, 계산 효율성을 극대화합니다.
   • 3D 컨볼루션 블록, FiLM modulation, **시공간 어텐션 (Spatiotemporal Attention)**을 결합하여 공간적 및 시간적 관계를 포착합니다.

B. 추론 (Inference) 및 데이터 생성

• ** autoregressive 예측:** 초기 이미지와 액션 시퀀스를 입력받아, 예측된 잠재 프레임을 다음 단계의 컨텍스트로 재사용하며 장시간 비디오를 생성합니다.
• 노이즈 주입: 장기 예측의 안정성을 위해 컨텍스트에 작은 노이즈를 주입하여 모델이 노이즈가 있는 입력에도 강건하도록 훈련합니다.
• 텔레로페이션 인터페이스: 사용자는 키보드나 저비용 운동 장치 (Kinematic device) 를 통해 시뮬레이터와 상호작용하며, 모델은 실시간으로 (15 FPS) 로봇 - 물체 상호작용 영상을 생성합니다. 이를 통해 실제 로봇 없이도 대규모의 고품질 데모 데이터를 수집할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. Interactive World Simulator 개발: 단일 RTX 4090 GPU 에서 15 FPS 속도로 10 분 이상 안정적인 장시간 상호작용 시뮬레이션을 지원하는 액션 조건부 비디오 예측 모델.
2. 확장 가능한 데이터 생성: 물리적 로봇 접근 없이도 시뮬레이터 내에서 텔레로페이션을 통해 고품질 데모 데이터를 수집하여 모방 학습 (Imitation Learning) 정책을 훈련할 수 있는 프레임워크 제공.
3. 신뢰할 수 있는 정책 평가: 시뮬레이션 내 정책 성능과 실제 세계 (Real-world) 성능 간의 강한 상관관계를 입증하여, 시뮬레이션을 통한 재현 가능하고 확장 가능한 정책 평가가 가능함을 보여줌.

4. 실험 결과 (Results)

저자들은 강체, 변형체, 물체 더미, 관절체 등 다양한 물체와 상호작용하는 6 가지 실제 작업 (Mug Grasping, Rope Collecting 등) 과 1 가지 시뮬레이션 작업 (T Pushing) 에서 실험을 수행했습니다.

• 비디오 예측 성능:

  • Cosmos, UVA, Dreamer4, DINO-WM 등 기존 최첨단 모델보다 PSNR, SSIM, FVD 등 모든 지표에서 우수한 성능을 보였습니다.
  • 특히 장기 시뮬레이션에서 로봇 포즈 드리프트나 물체 동역학 오류 없이 일관된 상호작용을 유지했습니다.
  • 속도: 단일 RTX 4090 에서 15 FPS 로 실시간 추론이 가능하여, 기존 확산 기반 모델들의 비효율성을 극복했습니다.

• 데이터 품질 및 정책 학습:

  • 시뮬레이터에서 생성된 데이터 (100%) 만으로 훈련된 정책 (DP, ACT, $\pi_0$, $\pi_0.5$) 이 실제 로봇 데이터 (100%) 로 훈련된 정책과 비슷한 성능을 발휘함을 확인했습니다.
  • 데이터 양을 늘리는 스케일링 실험에서도 시뮬레이션 데이터와 실제 데이터 모두에서 정책 성능이 일관되게 향상되었습니다.

• Sim-to-Real 상관관계:

  • 다양한 작업과 체크포인트에 대해 시뮬레이션 내 성능과 실제 세계 성능 간의 **강한 양의 상관관계 ($r \approx 0.85 \sim 0.99$)**를 관찰했습니다.
  • 이는 시뮬레이션에서 우수한 성능을 보이는 정책이 실제 세계에서도 우수할 가능성이 높음을 의미하며, 실제 실험 없이도 정책 선택 및 평가가 가능함을 시사합니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 공학 연구의 데이터 수집 비용과 정책 평가의 비효율성이라는 두 가지 핵심 문제를 해결하는 획기적인 솔루션을 제시합니다.

• 접근성: 고가의 GPU 클러스터나 물리적 로봇 없이도 연구실 규모에서 고품질의 시뮬레이션 데이터를 생성하고 정책을 평가할 수 있게 하여 로봇 학습의 민주화를 촉진합니다.
• 신뢰성: 기존 시뮬레이터들의 '현실과의 괴리 (Domain Gap)' 문제를 비디오 생성 모델의 발전으로 해결하여, 시뮬레이션 결과가 실제 물리 세계를 정밀하게 반영함을 입증했습니다.
• 미래 전망: 이 프레임워크는 대규모 로봇 데이터 생성과 정책 개발 사이클을 가속화하며, 향후 더 복잡하고 다양한 환경으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, Interactive World Simulator는 단순한 비디오 생성을 넘어, 물리적으로 일관된 상호작용을 예측하고 로봇 정책의 학습과 평가를 위한 신뢰할 수 있는 가상 환경으로서의 역할을 성공적으로 수행함을 입증한 연구입니다.