D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI

이 논문은 대규모 데스크톱 데이터 (게임 등) 를 활용한 사전 학습 프레임워크인 D2E 를 제안하여, 이를 통해 학습된 센서 - 운동 원리가 실제 물리적 로봇 작업 (LIBERO, CANVAS) 에 효과적으로 전이되어 더 큰 규모의 모델과도 경쟁할 수 있는 성능을 달성함을 입증합니다.

핵심

🎮 PC 게임으로 로봇을 가르치는 혁신: 'D2E' 프로젝트 설명

이 논문은 **"로봇을 훈련시키려면 비싸고 귀찮은 실제 실험이 꼭 필요한가?"**라는 질문에 대해 **"아니요, PC 게임만으로도 충분합니다!"**라고 답하는 획기적인 연구입니다.

마치 비행기 조종사 훈련을 생각해보세요. 과거에는 실제 비행기를 타고 훈련해야 했지만, 지금은 비행 시뮬레이터에서 수천 시간을 훈련한 뒤 실제 비행기에 탑승해도 잘 조종하죠. 이 논문은 로봇 훈련에도 똑같은 원리를 적용했습니다.

---

1. 문제: 로봇 훈련은 왜 이렇게 비쌀까? 🤖💸

지금까지 로봇을 가르치려면 실제 로봇을 사서, 사람이 직접 로봇 팔을 움직여가며 데이터를 모아야 했습니다.

• 문제점: 로봇은 비싸고, 부러질까 봐 무서우며, 사람이 직접 가르치려면 시간이 너무 오래 걸립니다. 마치 매일 비행기를 타고 훈련하느라 기름값과 수리비가 천문학적으로 드는 상황과 같습니다.

2. 해결책: PC 게임이 로봇의 '비행 시뮬레이터'가 되다 🎮🖱️

연구팀은 **"PC 게임"**을 로봇 훈련용 데이터로 쓰기로 했습니다.

• 이유: 우리는 매일 PC에서 마우스와 키보드로 게임을 하며 복잡한 움직임을 합니다. 게임 속 캐릭터가 장애물을 피하고 물건을 잡는 모습은, 로봇이 현실에서 물건을 집고 이동하는 모습과 원리 (눈으로 보고 손으로 움직이는 것) 가 똑같습니다.
• 장점: 게임 데이터는 인터넷에 널려 있고, 무료로, 무한히 구할 수 있습니다.

---

3. D2E 프로젝트의 3 가지 핵심 도구 🛠️

이 연구는 단순히 게임을 녹화한 것이 아니라, 데이터를 로봇이 이해할 수 있게 변환하는 3 단계 공방을 만들었습니다.

① OWA 툴킷: "고해상도 블랙박스" 📹

• 역할: 게임 화면, 마우스 움직임, 키보드 입력을 완벽하게 동기화해서 기록하는 도구입니다.
• 비유: 기존 방식은 녹화본을 DVD 에 담는 것처럼 용량이 너무 컸습니다. 하지만 이 툴킷은 압축 기술을 활용해 용량을 152 배나 줄였습니다. (예: 1TB 짜리 데이터를 7GB 로 줄임). 마치 고화질 영화를 압축해서 스마트폰에 수천 개를 넣는 것처럼 효율적입니다.

② Generalist-IDM: "게임 천재 AI 코치" 🧠

• 역할: 사람이 직접 녹화한 데이터만으로는 부족합니다. 그래서 이 AI 코치는 유튜브에 있는 게임 영상 1,000 시간 분량을 자동으로 분석하여 "이때는 키보드를 누르고, 이때는 마우스를 움직였구나"라고 추측해냅니다.
• 비유: 기존 AI 는 '마인크래프트'만 가르치는 전문 강사였습니다. 하지만 이 'Generalist(일반주의자)' 코치는 어떤 게임이든 처음 보는 상황에서도 "아, 이 게임은 마우스 감도가 다르네? 맞춰서 가르쳐야겠다"라고 즉석에서 적응합니다. 마치 다양한 스포츠를 한 번에 배운 올라운더 운동선수처럼요.

③ VAPT: "디지털에서 현실로 이동하는 다리" 🌉

• 역할: 게임에서 배운 지식을 실제 로봇에게 전수합니다.
• 비유: 게임 속 캐릭터가 '벽을 피하는 법'을 배웠다면, 이 기술은 그 경험을 로봇에게 "벽을 피하는 법"으로 번역해줍니다. 게임에서 마우스를 움직여 물건을 잡는 훈련이, 실제 로봇 팔이 물건을 집는 훈련으로 바뀐 것입니다.

---

4. 놀라운 결과: 작은 모델이 거인을 이기다 🏆

이 방법으로 훈련된 **10 억 개 (1B)**의 파라미터를 가진 작은 모델이, 33 억 (3.3B) 이나 70 억 (7B) 개나 되는 거대 모델들과 경쟁해서 더 좋은 성적을 냈습니다.

• 성공률:
  • 로봇 팔로 물건을 집는 작업 (LIBERO): 96.6% 성공
  • 로봇이 길을 찾는 작업 (CANVAS): 83.3% 성공
• 의미: 비싼 로봇을 사서 수천 시간 훈련할 필요 없이, PC 게임 데이터로만 훈련해도 세계 최고 수준의 로봇을 만들 수 있다는 것을 증명했습니다.

---

🌟 요약: 왜 이것이 중요한가?

이 논문은 **"로봇을 가르치는 비용과 시간을 획기적으로 줄였다"**는 점에서 혁명적입니다.

마치 "비행기 조종사 훈련을 위해 실제 비행기를 태울 필요 없이, 고도화된 시뮬레이터만으로도 훌륭한 조종사를 키울 수 있다"는 것을 증명한 것과 같습니다.

이제 누구나 게임 데이터를 활용해 로봇을 훈련할 수 있게 되었고, 앞으로 더 똑똑하고 저렴한 로봇들이 우리 곁에 찾아올 수 있는 길이 열렸습니다. 모든 도구와 데이터는 공개되어 있어, 전 세계 연구자들이 이 '게임 기반 로봇 훈련'을 함께 발전시킬 수 있습니다.

기술 요약

D2E: 데스크톱 데이터 기반 시뮬레이션-액션 사전 학습을 통한 Embodied AI 로의 확장 (기술 요약)

본 논문은 D2E (Desktop to Embodied AI) 라는 프레임워크를 제안하며, 물리적 로봇 데이터 수집의 고비용 문제를 해결하기 위해 데스크톱 환경 (특히 게임) 에서 수집된 대규모 데이터를 로봇 제어 (Embodied AI) 에 효과적으로 전이 (Transfer) 하는 방법을 제시합니다.

1. 문제 정의 (Problem)

• 물리적 데이터 수집의 한계: 대규모 언어 모델 (LLM) 은 인터넷 규모의 텍스트 데이터로 학습되어 강력한 일반화 능력을 보이지만, Embodied AI(로봇 등) 는 물리적 궤적 (trajectory) 수집에 필요한 특수 하드웨어, 고비용의 인간 조작, 복잡한 주석 작업으로 인해 데이터 규모가 제한적입니다.
• 데이터 파편화: 기존 로봇 데이터셋은 도메인 특화적이며 형식이 불일치하여 진정한 '데이터 파이프라인 (Data Flywheel)'이 형성되지 못했습니다.
• 기존 데스크톱 연구의 한계: 이전 연구들 (예: Minecraft 전용 VPT, 폐쇄형 SIMA) 은 특정 도메인에 국한되거나 데이터가 공개되지 않아 범용적인 전이 학습의 기반이 되지 못했습니다.

2. 방법론 (Methodology)

D2E 는 데스크톱 상호작용을 로봇 학습을 위한 확장 가능한 사전 학습 (Pretraining) 기저로 삼기 위해 세 가지 핵심 구성 요소로 이루어진 파이프라인을 제시합니다.

2.1 OWA Toolkit (Open-World Agents Toolkit)

• 동기화된 멀티모달 기록: Windows API 와 GStreamer 를 기반으로 화면, 키보드, 마우스 입력을 시간 동기화하여 기록하는 ocap 레코더를 개발했습니다.
• OWAMcap 포맷: 기존 형식 대비 152 배의 압축률을 달성한 표준화된 데이터 포맷입니다. MCAP 컨테이너를 사용하여 메타데이터와 이벤트 로그를 저장하고, 외부 미디어 (H.265 비디오) 를 참조하여 저장 효율성을 극대화했습니다.
• 데이터 파이프라인 최적화: 대규모 비디오 모델 학습을 위한 I/O 병목 현상을 해결하기 위해 FSLDataset(고정 시퀀스 길이 데이터셋) 과 적응형 배치 디코딩 전략을 도입하여 학습 처리량을 획기적으로 높였습니다.
• 데이터 수집: 31 가지 다양한 게임에서 14 명의 annotator 를 통해 335 시간의 고품질 인간 데모 데이터를 수집했습니다.

2.2 Generalist-IDM (Generalist Inverse Dynamics Model)

• 범용 역동역학 모델: 특정 게임에 국한되지 않고 다양한 게임에서 작동하는 범용 IDM 을 학습시켰습니다.
• NEP-τ (Next-Event Prediction with Temporal Offset): 기존 틱 (tick) 기반 예측 대신, 이벤트와 해당 타임스탬프를 동시에 예측하는 방식을 채택했습니다. 특히 미래 관측치 (τ=100ms) 를 활용하여 현재 행동을 예측하는 방식을 통해 시계열 일관성을 높였습니다.
• 인터넷 규모의 가상 라벨링 (Pseudo-labeling): 학습된 Generalist-IDM 을 사용하여 YouTube 의 무라벨 게임 플레이 영상 (약 1,000 시간 이상) 에서 자동으로 행동 (키보드/마우스) 을 추론하여 가상 라벨을 생성했습니다. 이는 수동 주석 없이 인터넷 규모의 데이터를 확보하는 핵심 기술입니다.

2.3 VAPT (Vision-Action PreTraining)

• 데스크톱에서 로봇으로의 전이: OWA 툴킷과 Generalist-IDM 으로 생성된 총 1,300 시간 이상 (259 시간 인간 데모 + 1,000 시간 이상 가상 라벨) 의 데스크톱 데이터로 InternVL3-1B 모델을 사전 학습시켰습니다.
• 전이 학습: 데스크톱에서 학습된 시네모토릭 (sensorimotor) 원리를 물리적 로봇 작업 (조작 및 항해) 에 적용하여 성능을 검증했습니다.

3. 주요 기여 (Key Contributions)

1. OWA Toolkit 및 OWAMcap 포맷: 데스크톱 상호작용을 표준화하고 152 배 압축하여 대규모 데이터 수집 및 저장의 장벽을 낮췄습니다.
2. Generalist-IDM: 단일 도메인을 넘어 다양한 게임에서 제로샷 (Zero-shot) 일반화가 가능한 역동역학 모델을 제시하며, 이를 통해 인터넷 규모의 가상 라벨링 파이프라인을 구축했습니다.
3. VAPT 기반 모델 및 전이 검증: 데스크톱 데이터로 사전 학습된 모델이 실제 로봇 작업에서 우수한 성능을 발휘함을 입증했습니다.

4. 실험 결과 (Results)

1. Generalist-IDM 성능:
   • 학습된 6 개 게임 (In-distribution) 에서 Specialist IDM 보다 우수한 성능을 보였습니다 (예: Stardew Valley 에서 Pearson 상관관계 +39.5 점 향상).
   • 학습되지 않은 게임 (Out-of-distribution, 예: Battlefield 6, Ogu and the Secret Forest) 에서도 강력한 일반화 능력을 보여주었습니다.
2. 로봇 조작 (Manipulation) 성능 (LIBERO 벤치마크):
   • **96.6%**의 성공률을 기록했습니다.
   • 3.3B 파라미터 모델인 $\pi_0$나 7B 파라미터 모델인 OpenVLA 와 같은 훨씬 큰 모델들의 성능을 추월하거나 동급으로 달성했습니다.
   • 특히 장기 작업 (Long-horizon tasks) 에서 뛰어난 성능을 보였습니다.
3. 로봇 항해 (Navigation) 성능 (CANVAS 벤치마크):
   • **83.3%**의 성공률을 기록했습니다.
   • 가상 라벨 데이터를 추가했을 때, 특히 오해의 소지가 있는 지시 (Misleading instructions) 에 대한 성능이 크게 향상되었습니다.
4. 실제 로봇 검증 (SO101):
   • 실제 로봇 팔을 이용한 픽 앤 플레이스 (Pick-and-Place) 작업에서 Baseline 대비 성공률을 70% 에서 80% 로 향상시켰습니다.

5. 의의 및 결론 (Significance)

• 비용 효율성: 물리적 로봇 데이터 수집에 비해 데스크톱 데이터 수집은 훨씬 저렴합니다. 본 연구는 1,300 시간 이상의 데이터를 약 800 달러 (H100 192 시간 사용) 정도의 비용으로 확보하고 학습할 수 있음을 증명했습니다.
• 새로운 패러다임: 디지털 상호작용 (게임) 에서 학습된 시네모토릭 원리 (sensorimotor primitives) 가 물리적 세계의 로봇 제어에 직접적으로 전이될 수 있음을 입증했습니다.
• 오픈 소스 및 재현성: 모든 도구 (OWA Toolkit), 데이터셋, 모델 가중치, 코드를 공개하여 커뮤니티가 데스크톱에서 로봇으로의 전이 연구를 확장할 수 있는 기반을 마련했습니다.

결론적으로, D2E 는 Embodied AI 의 데이터 병목 현상을 해결하고, 인터넷 규모의 디지털 데이터를 활용하여 범용 로봇 에이전트를 개발할 수 있는 실용적이고 확장 가능한 새로운 방향을 제시합니다.