RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

이 논문은 가정용 모바일 매니퓰레이션 로봇의 일반화 능력을 체계적으로 평가하고 연구하기 위해 365 가지 일상 작업, 2,500 개의 다양한 주방 환경, 그리고 방대한 인간 및 합성 시연 데이터를 포함한 대규모 시뮬레이션 벤치마크 'RoboCasa365'를 제안하고 이를 통해 일반 로봇 정책의 성능에 영향을 미치는 핵심 요인들을 분석합니다.

핵심

로보카사 365: 로봇이 우리 집 부엌을 마스터하는 거대한 시뮬레이션

이 논문은 **"로보카사 365 (RoboCasa365)"**라는 새로운 프로젝트를 소개합니다. 쉽게 말해, **"로봇이 우리 집에서 요리하고 치우는 법을 배우기 위해 만든, 엄청나게 방대하고 정교한 가상 부엌 훈련장"**이라고 생각하시면 됩니다.

기존의 로봇 연구는 너무 단순하거나, 실제 로봇을 움직여 실험하느라 비용과 시간이 너무 많이 들었습니다. 이 논문은 그 문제를 해결하기 위해 **가상 현실 (시뮬레이션)**을 이용해 로봇을 훈련시키는 새로운 방법을 제시합니다.

다음은 이 프로젝트의 핵심 내용을 일상적인 비유로 설명한 것입니다.

---

1. 왜 필요한가요? (문제점)

지금까지 로봇을 가르치려면 실제 부엌에 로봇을 데려가서 직접 시켜봐야 했습니다.

• 비유: 마치 요리 학교에서 학생에게 "계란을 깨라"라고 가르치기 위해, 매일매일 실제 달걀을 사서 깨뜨리게 하고, 실패하면 다시 사야 하는 것과 같습니다. 비용도 많이 들고, 실수할 때마다 치우는 수고도 큽니다.
• 결과: 로봇이 다양한 상황 (다른 부엌, 다른 물건) 에 적응하는 '범용 로봇'을 만들기엔 데이터가 너무 부족하고, 실험이 너무 어렵습니다.

2. 로보카사 365 란 무엇인가요? (해결책)

이 프로젝트는 가상 부엌 2,500 개를 만들어 로봇에게 1 년 365 일 내내 훈련을 시키는 거대한 플랫폼입니다.

• 2,500 개의 가상 부엌: 미국 전역의 실제 부엌 사진을 바탕으로 만든 2,500 가지 다른 디자인의 부엌입니다.
  • 비유: 마치 로봇이 2,500 개의 다른 집으로 이사 가서, 각 집마다 다른 주방 도구와 배치에 맞춰 요리하는 연습을 하는 것과 같습니다.
• 365 가지 일상 과제: "커피 내리기", "냉장고 정리하기", "토스트 굽기" 등 우리가 매일 하는 일 365 가지를 가르칩니다.
  • 비유: 로봇에게 1 년 내내 매일 다른 메뉴를 가르치는 요리 학교 같습니다.
• 엄청난 학습 데이터: 인간이 직접 로봇을 조종하며 보여준 데이터 600 시간 + AI 가 자동으로 만들어낸 데이터 1,600 시간. 총 2,000 시간 이상의 훈련 데이터가 있습니다.
  • 비유: 인간 요리사 600 시간의 실전 경험과, AI 가 밤새워 만들어낸 1,600 시간의 가상 연습을 합친 것입니다.

3. 어떻게 작동하나요? (학습 과정)

연구자들은 이 가상 부엌에서 세 가지 방식으로 로봇을 훈련시켰습니다.

A. 여러 일을 동시에 배우기 (멀티태스킹)

• 상황: 로봇에게 한 번에 300 가지 요리를 가르칩니다.
• 결과: 로봇은 간단한 일 (컵 옮기기) 은 잘하지만, 복잡한 일 (냉장고에서 재료를 꺼내서 요리하고 접시에 담기) 은 아직 어려워합니다.
• 비유: 초보 요리사가 "계란 프라이"는 잘하지만, "파스타를 만들어서 테이블에 차려놓는" 복잡한 과정은 아직 서툴다는 뜻입니다.

B. 기초 훈련 후 전문화 (파운데이션 모델)

• 상황: 먼저 다양한 가상 부엌에서 기초 훈련 (프리트레이닝) 을 시킨 뒤, 특정 부엌의 실전 데이터로 다시 가르칩니다.
• 결과: 기초 훈련을 받은 로봇은 실전 데이터를 3 배 적게 받아도 같은 실력을 냅니다.
• 비유: 요리의 기본기 (칼질, 불 조절) 를 익힌 요리사가, 새로운 레시피를 배울 때 훨씬 빠르게 적응하는 것과 같습니다. 가상 데이터가 실제 학습 효율을 극적으로 높여줍니다.

C. 평생 학습 (라이프롱 러닝)

• 상황: 로봇이 새로운 일을 배울 때마다, 이전에 배운 일을 잊어버리지 않도록 훈련합니다.
• 결과: 새로운 복잡한 일을 배울수록, 예전에 배운 간단한 일을 잊어버리는 '망각' 현상이 발생합니다.
• 비유: 새로운 요리 레시피를 배우느라 바빠서, 예전에 잘하던 기본 요리법을 잊어버리는 것과 같습니다. 이는 아직 해결해야 할 큰 과제입니다.

4. 실제 로봇에도 효과가 있나요?

연구자들은 이 가상 훈련을 받은 로봇을 실제 부엌에 데려가 테스트했습니다.

• 결과: 가상 부엌에서 훈련한 로봇은 실제 부엌에서 훨씬 잘 작동했습니다. 가상 데이터 없이 실제 데이터만으로 훈련한 로봇보다 성공률이 18% 나 높았습니다.
• 비유: 시뮬레이션 게임에서 비행 조종술을 익힌 조종사가, 실제 비행기를 탔을 때 훨씬 안정적으로 조종하는 것과 같습니다.

5. 결론: 왜 중요한가요?

이 연구는 "로봇이 우리 집 부엌에서 일하기 위해 필요한 모든 것 (환경, 과제, 데이터)"을 한곳에 모았다는 점에서 획기적입니다.

• 핵심 메시지: 로봇을 현실 세계로 보내기 전에, 먼저 이 거대한 '가상 부엌'에서 수천 번의 실수를 통해 배우게 하면, 실제 세계에서 훨씬 똑똑하고 안전하게 일할 수 있습니다.
• 미래: 이제 로봇이 우리 집에 와서 설거지를 하고, 요리를 해주는 날이 더 가까워졌습니다. 다만, 로봇이 너무 많은 일을 배우다 보면 예전 지식을 잊지 않도록 하는 '기억 관리' 기술이 더 발전해야 합니다.

한 줄 요약:

"로보카사 365 는 로봇에게 2,500 개의 가상 부엌에서 365 가지 요리를 가르쳐, 실제 우리 집 부엌에서도 요리와 청소를 잘할 수 있도록 만든 거대한 로봇 요리 학교입니다."

기술 요약

RoboCasa365: 일반화 로봇 (Generalist Robots) 을 위한 대규모 시뮬레이션 프레임워크 기술 요약

본 논문은 ICLR 2026 에 제출된 **'RoboCasa365'**라는 대규모 시뮬레이션 프레임워크를 소개합니다. 이 프레임워크는 일상적인 가정 환경에서 다양한 작업을 수행할 수 있는 범용 로봇 (Generalist Robots) 의 학습과 벤치마킹을 위해 설계되었습니다.

1. 문제 정의 (Problem)

로봇 학습 분야의 최근 발전은 인간 환경에서 일상적인 작업을 수행할 수 있는 범용 로봇의 실현에 가까워지게 했습니다. 그러나 이 비전에 얼마나 근접했는지를 측정하는 데에는 두 가지 주요한 어려움이 존재합니다.

• 데이터의 다양성 부족: 범용 로봇을 훈련시키기 위해서는 방대한 양의 로봇 경험 데이터가 필요하지만, 기존 데이터셋은 다양성과 작업 범위가 제한적입니다.
• 재현 가능한 벤치마킹의 부재: 실제 세계 (Real-world) 에서 대규모 평가를 수행하는 것은 비용이 많이 들고 시간이 소요되며, 실험 노이즈로 인해 방법론 간의 체계적이고 재현 가능한 비교가 어렵습니다.

기존의 시뮬레이션 프레임워크들은 단순한 물체 조작이나 단일 방 환경에 국한되어 있어, 실제 로봇이 직면하는 복잡성과 다양성을 충분히 반영하지 못했습니다.

2. 방법론 (Methodology)

RoboCasa365 는 기존 RoboCasa 플랫폼을 기반으로 하여 자산, 환경, 작업, 데이터셋을 대폭 확장하여 구축되었습니다.

2.1 핵심 구성 요소

• 다양한 자산 (Assets):
  • 객체: 153 개 카테고리에서 57 개 카테고리가 추가되어 총 3,000 개 이상의 3D 객체를 포함합니다.
  • 인터랙티브 기기: 냉장고, 오븐, 식기세척기 등 12 개 카테고리의 456 개의 가전제품 및 기구를 포함하며, 이전에는 articulation(관절화) 이 되지 않았던 기기들도 포함됩니다.
• 다양한 환경 (Scenes):
  • 2,500 개의 주방 장면: 미국 전역의 50 개 실제 주택 (Zillow 데이터 기반) 의 평면도 (Layout) 와 50 가지 스타일 (Style) 을 조합하여 생성된 2,500 개의 고유한 주방 장면을 제공합니다.
  • Pretraining vs Target: 대규모 데이터 수집을 위한 2,500 개의 사전 학습용 장면과 실험 평가를 위한 10 개의 타겟 장면으로 구분됩니다.
• 365 가지 일상 작업 (Tasks):
  • 65 개 원자 작업 (Atomic Tasks): 단일 기술 (예: 문 열기, 버튼 누르기) 을 수행.
  • 300 개 복합 작업 (Composite Tasks): 여러 기술의 시퀀스를 포함 (예: "샌드위치를 만들고 접시에 담기"). 이는 60 가지 활동 (Beverage Preparation, Cooking, Cleaning 등) 으로 분류됩니다.
  • 이동형 조작 (Mobile Manipulation): 365 개 작업 중 220 개가 이동이 필요한 작업입니다.
• 대규모 데이터셋:
  • 인간 시연 데이터: 612 시간 (약 30,000 개 데모) 의 원격 조작 (Teleoperation) 데이터.
  • 합성 데이터: MimicGen 도구를 사용하여 생성된 1,615 시간 (약 500,000 개 이상의 데모) 의 합성 데이터.
  • 총 2,200 시간 이상의 로봇 상호작용 데이터를 제공합니다.

2.2 벤치마킹 설정

RoboCasa365 는 세 가지 학습 시나리오를 체계적으로 평가합니다.

1. 대규모 멀티 태스크 학습 (Multi-task Learning): 300 개 작업으로 훈련된 모델의 일반화 능력 평가.
2. 기초 모델 학습 (Foundation Model Training): 대규모 사전 학습 (Pretraining) 후 타겟 데이터로 미세 조정 (Fine-tuning) 하는 패러다임.
3. 생애 학습 (Lifelong Learning): 새로운 작업을 순차적으로 학습하면서 이전 지식을 유지하는 능력 평가.

3. 주요 결과 (Key Results)

저자들은 최신 모델 (Diffusion Policy, $\pi_0$, $\pi_{0.5}$, GR00T N1.5) 을 사용하여 실험을 수행했습니다.

• 멀티 태스크 학습: 모든 모델에서 원자 작업 (Atomic) 이 복합 작업 (Composite) 보다 쉽게 학습되었습니다. 특히 Composite-Unseen(사전 학습 데이터에 없던 작업) 에서는 성능이 급격히 떨어졌으나, GR00T N1.5 모델이 다른 모델 대비 가장 높은 일반화 성능을 보였습니다.
• 기초 모델 학습의 효과:
  • 사전 학습 (Pretraining) 만으로는 복합 작업 수행이 어렵지만, 타겟 데이터로 미세 조정 시 성능이 크게 향상되었습니다.
  • 데이터 효율성: 사전 학습을 통해 타겟 작업 학습에 필요한 데이터 양을 약 3 배 줄이면서도 동일한 성능을 달성할 수 있었습니다 (데이터 효율성 3 배 향상).
  • 다양성의 중요성: 사전 학습 데이터의 작업 다양성 (300 개 vs 50 개) 이 증가할수록, 특히 보지 못한 작업 (Unseen tasks) 에 대한 일반화 성능이 크게 개선되었습니다.
• 생애 학습의 한계: 새로운 장거리 (Long-horizon) 작업을 학습할수록 이전 작업의 성능이 저하되는 파괴적 망각 (Catastrophic Forgetting) 현상이 관찰되었습니다. 이는 생애 학습이 여전히 해결해야 할 과제임을 시사합니다.
• 실제 로봇 적용 (Sim-to-Real): 시뮬레이션 데이터와 실제 데이터 (140 개 데모) 를 함께 학습한 모델 (Sim-and-Real) 은 실제 데이터만 학습한 모델 (Real Only) 대비 평균 성공률이 18.1% 높았습니다 (61.8% $\rightarrow$ 79.8%).

4. 주요 기여 (Key Contributions)

1. 대규모 및 다양한 시뮬레이션 프레임워크: 2,500 개의 주방 장면, 365 개의 일상 작업, 2,200 시간 이상의 데이터를 포함하는 현재까지 가장 다양하고 대규모인 가정용 로봇 시뮬레이션 벤치마크를 제시했습니다.
2. 체계적인 벤치마킹: 멀티 태스크 학습, 기초 모델 학습, 생애 학습 등 세 가지 핵심 학습 패러다임을 평가할 수 있는 표준화된 프로토콜을 제공합니다.
3. 일반화 요인에 대한 통찰: 작업 다양성, 데이터 규모, 환경 변화가 범용 로봇의 성능에 미치는 영향을 체계적으로 분석하여, 향후 연구 방향 (예: 시뮬레이션 데이터의 품질, 생애 학습 알고리즘 개선) 에 대한 실증적 근거를 제시했습니다.
4. 오픈 소스 및 재현 가능성: 모델, 데이터, 평가 코드를 공개하여 연구 커뮤니티의 재현 가능한 실험을 촉진합니다.

5. 의의 및 결론 (Significance)

RoboCasa365 는 범용 로봇 개발을 위한 중요한 인프라를 제공합니다. 이 프레임워크를 통해 연구자들은 실제 로봇을 구축하기 전에 다양한 알고리즘을 대규모로 검증하고, 데이터의 다양성과 규모가 모델의 일반화 능력에 어떻게 영향을 미치는지 심층적으로 분석할 수 있습니다.

특히, 시뮬레이션 데이터가 실제 로봇 학습의 성능을 크게 향상시킨다는 사실은 Sim-to-Real 전이 전략의 유효성을 입증했습니다. 향후 연구는 이 프레임워크를 주방 환경 밖의 다른 가정 공간으로 확장하고, 시뮬레이션과 실제 세계 간의 물리적/감각적 격차 (Reality Gap) 를 해소하는 데 집중할 필요가 있습니다.