MolmoSpaces: A Large-Scale Open Ecosystem for Robot Navigation and Manipulation

이 논문은 로봇 정책의 대규모 벤치마킹을 지원하기 위해 23 만 개 이상의 다양한 실내 환경과 13 만 개의 풍부하게 주석된 객체를 포함하는 오픈 생태계 'MolmoSpaces'와 이를 활용한 벤치마크 'MolmoSpaces-Bench'를 소개하며, 높은 시뮬레이션 - 현실 상관관계를 입증하고 로봇 학습 연구를 위한 확장 가능한 데이터 생성 및 정책 훈련의 기반을 마련합니다.

핵심

몰모스페이스 (MolmoSpaces): 로봇을 위한 거대한 '가상 놀이터'

이 논문은 로봇이 현실 세계에서 더 똑똑하고 유연하게 일할 수 있도록 돕기 위해 만든 거대한 오픈소스 시뮬레이션 생태계를 소개합니다. 이를 쉽게 비유하자면, **"로봇들이 수백만 번의 실수를 안전하게 반복하며 배울 수 있는 거대한 가상 놀이터"**라고 생각하시면 됩니다.

1. 왜 이런 놀이터가 필요할까요? (문제점)

지금까지 로봇을 훈련시키기는 매우 어려웠습니다.

• 현실은 너무 복잡합니다: 실제 집은 조명, 가구 배치, 물건 모양이 천차만별입니다. 로봇이 한 번 배운 것을 다른 집으로 가져가면 바로 망가질 수 있습니다.
• 실제 실험은 비쌉니다: 로봇을 실제로 움직여 테스트하려면 시간이 오래 걸리고, 로봇이 부딪히면 고장 날 수도 있습니다.
• 데이터가 부족합니다: 기존에는 로봇이 배울 수 있는 '가상 집'이나 '물건'의 종류가 너무 적었습니다. 마치 축구 선수가 오직 한 가지 경기장에서만 연습하고 다른 경기장에 나가면 당황하는 것과 비슷합니다.

2. 몰모스페이스는 무엇을 제공하나요? (해결책)

이 프로젝트는 로봇 학습을 위한 완벽한 도구상자를 제공합니다.

• 23 만 개 이상의 다양한 가상 집 (Scenes):

  • 주방, 침실, 박물관, 카페 등 다양한 공간이 있습니다.
  • 단순히 방을 만드는 게 아니라, **LLM(거대 언어 모델)**이 창의적으로 가구를 배치하고 스타일을 입혀서, 현실에서 볼 수 있는 '지극히 드문 경우'까지 모두 포함했습니다.
  • 비유: 마치 "로봇이 평생 살아갈 수 있는 모든 종류의 집"을 미리 만들어 둔 것입니다.

• 13 만 개 이상의 정교한 물건 (Objects):

  • 컵, 병, 문, 냉장고 등 13 만 가지 물건이 있습니다.
  • 이 물건들은 단순히 그림이 아니라, 물리 법칙을 따르는 3D 모델입니다. 로봇이 컵을 들면 무게를 느끼고, 문을 열면 경첩이 돌아가는 식으로 작동합니다.
  • 비유: 로봇이 만질 수 있는 '디지털 레고' 조각들이 수백만 개 준비되어 있는 셈입니다.

• 4,200 만 개의 그립 (Grasps) 데이터:

  • 로봇이 물건을 잡을 때 "어디를 어떻게 잡아야 넘어지지 않을까?"에 대한 정답 데이터 4,200 만 개를 제공합니다.
  • 비유: 로봇이 물건을 잡는 '요령'을 4,200 만 가지 버전으로 가르쳐 주는 매뉴얼입니다.

• 다양한 로봇과 시뮬레이터 지원:

  • 다양한 로봇 팔과 바퀴 달린 로봇을 지원하며, MuJoCo, Isaac Sim 등 유명한 시뮬레이션 프로그램 어디서든 작동합니다.

3. 이 놀이터에서 무엇을 할 수 있나요? (벤치마크)

연구자들은 이 놀이터에서 MolmoSpaces-Bench라는 시험을 만들었습니다.

• 8 가지 기본 미션: "물건 찾기", "컵 들어 옮기기", "서랍 열기", "문 열기" 등 일상적인 임무들을 수행하게 합니다.
• 0-shot(제로샷) 평가: 로봇에게 시험 문제를 미리 가르치지 않고, 처음 보는 상황에서도 얼마나 잘하는지 테스트합니다. 이는 로봇이 진짜로 '지능'을 갖췄는지 확인하는 핵심입니다.

4. 놀라운 결과: 가상과 현실의 연결

이 프로젝트의 가장 큰 성과는 가상 (Simulation) 과 현실 (Real World) 의 상관관계가 매우 높다는 것을 증명했습니다.

• 비유: 로봇이 가상 놀이터에서 점수가 높으면, 실제 현실에서도 똑같이 잘한다는 뜻입니다. (상관관계 0.96~0.98)
• 이는 연구자들이 실제 로봇을 움직이지 않고도, 가상 환경에서 수천 번의 실험을 통해 로봇의 성능을 정확히 예측하고 개선할 수 있음을 의미합니다.

5. 결론: 로봇의 미래를 여는 열쇠

MolmoSpaces는 로봇 연구자들에게 다음과 같은 기회를 줍니다.

1. 대규모 학습: 수백만 개의 다양한 상황에서 로봇을 훈련시켜 '만능 로봇'을 만들 수 있습니다.
2. 안전한 실패: 로봇이 실수해도 부러지지 않고, 그 실패를 통해 배우게 합니다.
3. 공유와 발전: 누구나 이 데이터를 무료로 사용하여 더 좋은 로봇을 만들 수 있습니다.

한 줄 요약:

"로봇이 현실 세계의 복잡한 상황을 두려워하지 않고, 수백만 번의 가상 연습을 통해 스스로 배우고 성장할 수 있도록 만든 최고급 가상 훈련 시설입니다."

이제 로봇 연구자들은 더 이상 "어떻게 로봇을 훈련시킬까?"를 고민하기보다, "이 놀이터에서 로봇에게 어떤 새로운 미션을 줄까?"를 고민할 수 있게 되었습니다.

기술 요약

1. 문제 제기 (Problem)

로봇 학습 분야에서 '일반화 (Generalization)' 능력을 평가하는 것은 매우 중요합니다. 그러나 기존 벤치마크들은 다음과 같은 한계를 가지고 있습니다.

• 데이터의 부족과 편향: 실제 세계의 무한한 변이 (배치, 조명, 물체 형태, 지시어 등) 를 다루기에는 기존 시뮬레이션 환경의 규모와 다양성이 턱없이 부족합니다.
• 물리적 현실성 부재: 많은 시뮬레이터가 물리 엔진의 정밀함이나 장기적 (Long-horizon) 작업의 복잡성을 충분히 반영하지 못합니다.
• 실제 환경과의 괴리: 시뮬레이션 결과와 실제 로봇의 성능 간 상관관계 (Sim-to-Real Correlation) 가 낮아, 시뮬레이션에서의 성공이 실제 배포로 이어지는지 검증하기 어렵습니다.
• 평가의 비효율성: 물리적 실험은 비용이 많이 들고 재현이 어렵기 때문에 대규모 분포 평가가 불가능합니다.

2. 방법론 (Methodology)

저자들은 로봇 탐색 및 조작을 위한 대규모 오픈 생태계인 MolmoSpaces를 제안합니다. 이는 다음과 같은 핵심 구성 요소로 이루어져 있습니다.

• 대규모 시뮬레이션 환경 (MolmoSpaces-Scenes):
  • 규모: 23 만 개 이상의 다양한 실내 환경 (가정, 박물관, 카페 등).
  • 생성 방식: AI2-THOR, ProcTHOR, Holodeck 등의 데이터를 기반으로 수동 제작 (Hand-crafted) 및 절차적 생성 (Procedural Generation) 을 결합했습니다.
  • 호환성: MuJoCo, IsaacSim, ManiSkill 등 주요 물리 엔진과 호환되도록 변환 및 튜닝되었습니다.
• 풍부한 물체 자산 (MolmoSpaces-Objects):
  • 규모: 13 만 개 이상의 고화질 3D 물체 모델 (THOR 및 Objaverse 기반).
  • 메타데이터: 질량, 밀도, 물리적 속성, 시맨틱 태그 (WordNet Synsets) 가 풍부하게 주석되어 있습니다.
  • 물리 검증: 모든 물체가 시뮬레이션에서 안정적으로 작동하도록 (떨어지지 않음, 잡히기 등) 정밀한 테스트를 거쳤습니다.
• 방대한 그립 데이터 (MolmoSpaces-Grasp):
  • 규모: 48,000 개의 상호작용 가능한 물체에 대해 4,200 만 개 이상의 6-DoF 그립 포즈를 주석했습니다.
  • 생성 파이프라인: 강체 (Rigid) 와 관절형 (Articulated) 물체별로 다른 파이프라인을 사용하여, 시나리오 내 충돌 검사와 물리적 안정성을 고려한 그립을 생성했습니다.
• 모듈형 실험 프레임워크:
  • 다양한 로봇 (Franka FR3, Rainbow RB-Y1 등), 카메라 구성, 그리고 8 가지 기본 작업 (이동, 잡기, 놓기, 문 열기 등) 을 유연하게 조합하여 실험을 구성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. MolmoSpaces 생태계 공개: 로봇 학습 연구자를 위해 대규모 시뮬레이션 환경, 3D 자산, 그립 데이터, 그리고 도구 (Tooling) 를 모두 오픈소스로 제공합니다.
2. MolmoSpaces-Bench 벤치마크:
   • 8 가지 기본 작업 (Navigate-to, Pick, Pick-and-place, Open, Close, Open-door 등) 을 포함하는 벤치마크를 구축했습니다.
   • Zero-shot 평가: 벤치마크 데이터에 대한 미세 조정 (Fine-tuning) 없이, 사전 학습된 정책 (Policy) 의 일반화 능력을 평가합니다.
   • LLM 기반 장기 작업 생성: 단순 작업을 조합하여 복잡한 장기 작업 (Long-horizon tasks) 을 생성하는 시스템을 제공합니다.
3. 다중 시뮬레이터 지원: 하나의 자산 세트가 MuJoCo, IsaacSim, ManiSkill 등 여러 물리 엔진에서 일관되게 작동하도록 하여 연구의 재현성을 높였습니다.

4. 실험 결과 (Results)

• 시뮬레이션 - 실제 상관관계 (Sim-to-Real Correlation):
  • MolmoSpaces-Bench 의 성능과 실제 세계 (RoboArena, CAP 데이터) 의 성능 간 상관관계가 매우 높음을 확인했습니다.
  • 물체 잡기 (Pick) 작업에서 피어슨 상관계수 (R) 는 0.96, 스피어만 순위 상관계수 (ρ) 는 0.98로 나타나, 시뮬레이션 결과가 실제 성능을 매우 정확하게 예측함을 입증했습니다.
• 정책 성능 평가:
  • 최신 VLA (Vision-Language-Action) 모델 (π0, π0.5 등) 과 기존 모듈형 베이스라인을 비교했습니다.
  • 모델 세대별 성능 향상을 관찰했지만, 초기 지시어 (Prompt) 의 미세한 변화나 초기 관절 위치에 따라 성능이 크게 저하되는 **취약점 (Brittleness)**을 발견했습니다.
• 민감도 분석:
  • 카메라 가림 (Occlusion), 조명 변화, 초기 로봇 자세 변화 등을 통해 정책의 실패 모드를 체계적으로 분석했습니다. 예를 들어, 손목 카메라 가림은 π0.5 모델의 성공률을 2% 까지 떨어뜨리는 등 시각 입력에 대한 의존도가 높음을 보였습니다.

5. 의의 및 중요성 (Significance)

• 확장 가능한 로봇 학습의 기반: 물리적 실험의 한계를 넘어, 수백만 개의 다양한 시나리오에서 로봇 정책의 일반화 능력을 정밀하게 측정할 수 있는 인프라를 제공합니다.
• 신뢰할 수 있는 평가 도구: 높은 Sim-to-Real 상관관계를 통해, 실제 로봇 배포 전 시뮬레이션 환경에서 정책의 성능을 신뢰성 있게 예측하고 개선할 수 있음을 보여줍니다.
• 커뮤니티 활성화: 오픈소스 자산과 도구를 제공함으로써, 연구자들이 대규모 데이터를 생성하고, 새로운 벤치마크를 만들며, 더 강건한 로봇 정책을 개발하는 데 기여할 수 있는 토대를 마련했습니다.

결론적으로, MolmoSpaces 는 로봇이 일상생활의 복잡한 '긴 꼬리 (Long-tail)' 상황을 처리할 수 있도록 하는 데 필수적인 대규모, 고품질, 오픈 생태계를 구축했다는 점에서 로봇 학습 연구의 중요한 이정표가 됩니다.