RoboCasa365: A Large-Scale Simulation Framework for Training and Benchmarking Generalist Robots

本論文は、一般化されたロボット政策の研究を促進するために、2,500 の多様なキッチン環境と 365 の日常タスク、さらに膨大な実証・合成データを含む大規模なシミュレーションベンチマーク「RoboCasa365」を提案し、その上での広範な実験を通じてロボット性能に影響を与える要因を明らかにしたものである。

要約

ロボットが台所で料理をするための「超巨大なシミュレーション学校」

RoboCasa365（ロボカサ 365）の解説

皆さん、ロボットが「何でもできる万能な存在」になる未来を想像したことはありますか？例えば、朝起きて冷蔵庫を開け、パンを焼いて、コーヒーを淹れ、食器を洗うまでをロボットがやってくれるような世界です。

しかし、今のロボットは「特定の作業」しかできません。新しい台所に行けばパニックになったり、見たことのない包丁を使えなかったりします。なぜでしょうか？それは、ロボットが**「経験」**を積むのが、人間よりもずっと大変だからです。

この論文は、そんなロボットたちを「何でもできる万能ロボット」に育て上げるための、**世界最大級の「シミュレーション学校（訓練場）」を紹介しています。その名も「RoboCasa365（ロボカサ 365）」**です。

---

1. なぜ「シミュレーション学校」が必要なの？

ロボットを本物の台所で訓練するのは、現実的に不可能に近いほど大変です。

• 時間がかかる: 1 回失敗して食器を割ると、片付けと修理に数時間かかります。
• コストが高い: 高価なロボットを壊すリスクがあります。
• データ不足: 人間が何万回も料理をするように、ロボットに何万回も練習させるのは現実的ではありません。

そこで登場するのが**「シミュレーション（仮想空間）」**です。ここなら、ロボットは 1 秒で何千回も失敗しても、食器は割れません。でも、これまでのシミュレーションは「狭い部屋」や「単純な作業」しか扱えませんでした。

RoboCasa365は、この問題を解決するために作られた**「超巨大な仮想台所」**です。

2. RoboCasa365 のすごいところ（3 つの柱）

この学校には、3 つの驚異的な特徴があります。

① 2,500 種類の「台所」が用意されている

想像してみてください。アメリカ中の家にある 2,500 種類の異なる台所が、すべてデジタルで再現されています。

• 広さはバラバラ、キッチンの配置もバラバラ。
• 冷蔵庫の形、棚の位置、壁の色まで全て違います。
• アナロジー: これは、ロボットに「1 つの教室」で勉強させるのではなく、「2,500 校の異なる学校」を転校させながら勉強させるようなものです。これにより、どんな家に行っても対応できる「汎用性」が身につきます。

② 365 種類の「日常のタスク」

1 年 365 日、毎日違う料理や家事を想定しています。

• 単純な作業: 「コップを棚に置く」「冷蔵庫を開ける」
• 複雑な作業: 「ホットドッグを作る（具材を集め、パンを焼く、ソースをかける）」
• 推理が必要な作業: 「腐っていない果物だけを選んでミキサーに入れる」「30 秒後に加熱を始める」
• アナロジー: これは、ロボットに**「料理のレシピ本（365 冊）」**を渡して、すべてをマスターさせるようなものです。単に「動く」だけでなく、「何をするべきか」を理解させる訓練です。

③ 2,000 時間以上の「練習データ」

ロボットが練習するための「お手本動画」が大量にあります。

• 人間の実演データ: 600 時間以上（人間が実際にロボットを操作してやったもの）。
• AI 生成データ: 1,600 時間以上（AI が人間の手本を参考に、バリエーション豊かに自動生成したもの）。
• アナロジー: 人間が 600 時間かけて料理を練習したデータを、さらに AI が「もしこうしたらどうなる？」と想像して 1,600 時間分増やした**「超巨大な料理の教科書」**です。

3. 実験結果：ロボットはどう変わった？

研究者たちは、この学校で最新の AI モデルを訓練し、その能力をテストしました。

• 多様なタスクを学ぶ: 大量のデータで訓練すると、ロボットは「見たことのない料理」も少しは作れるようになりました（ゼロショット学習）。
• 下準備の重要性: 「まず広い範囲で基礎を学ばせ（事前学習）、その後で特定の料理に特化させる（微調整）」という方法が、最も効率的で上手にできました。
• 忘れないための課題: 新しいことを学び続けると、昔習ったことを忘れてしまう（「生涯学習」の課題）という問題は、まだ完全には解決していません。これは人間も同じで、新しいことを覚えるために古い記憶を整理し直すのが難しいのと同じです。

4. 現実世界でも使える？

最後に、このシミュレーションで訓練したロボットを、**「本物の台所」**に連れて行ってみました。

• 結果: シミュレーションだけで訓練したロボットよりも、**「シミュレーション＋ほんの少しの実機データ」**を混ぜて訓練したロボットの方が、圧倒的に上手に動きました。
• 意味: これは、**「仮想空間での練習が、現実世界での活躍に直結する」**ことを証明しました。

まとめ：なぜこれが重要なのか？

RoboCasa365 は、単なる「ロボット用ゲーム」ではありません。
これは、**「ロボットが人間のように、あらゆる家庭で自由に動けるようになるための、最も包括的なトレーニング施設」**です。

• 研究者にとって: 「なぜロボットが失敗するのか？」を科学的に分析できる場所。
• 未来にとって: 「ロボットが家事を助けてくれる日」を早めるための、不可欠な一歩。

このプロジェクトは、ロボットが「特定の作業をする機械」から、「私たちの生活に溶け込むパートナー」へと進化するための、壮大な実験室なのです。

技術概要

RoboCasa365: 汎用ロボット学習・ベンチマークのための大規模シミュレーションフレームワーク

技術的サマリー（日本語）

1. 概要と背景

近年のロボット学習の進展により、人間の環境で日常的なタスクを遂行できる「汎用ロボット（Generalist Robots）」の実現が加速しています。しかし、このビジョンへの到達度を測定するための再現性のある大規模ベンチマークが欠如しており、手法間の体系的な比較が困難でした。また、実世界での評価はコストと時間がかかり、ノイズの影響を受けやすいという課題があります。

本論文は、これらのギャップを埋めるため、RoboCasa365を提案します。これは、家庭用モバイルマニピュレーション（移動型アームロボット）に特化した、大規模で包括的なシミュレーションベンチマークです。RoboCasa プラットフォームを基盤とし、多様な環境、タスク、データセットを提供することで、汎用ロボットの学習と評価を可能にします。

2. 問題定義

既存のシミュレーションフレームワークやデータセットには以下の限界がありました：

• タスクと環境の多様性の不足: 既存のものは単純な物体操作や単一部屋に限定されがちで、現実世界の複雑さを反映していません。
• データ規模の限界: 汎用モデルのトレーニングに必要な大規模で多様な実世界データ（または高品質な合成データ）が不足しています。
• 体系的な評価の欠如: 多タスク学習、基盤モデル（Foundation Model）のトレーニング、生涯学習（Lifelong Learning）など、異なる学習設定を統一的に評価できるベンチマークが存在しませんでした。

3. 方法論と構成要素

RoboCasa365 は、以下の 4 つの主要コンポーネントで構成される大規模シミュレーションフレームワークです。

3.1 資産の拡張 (Assets)

• オブジェクト: 既存の 2,509 個のオブジェクトに加え、57 カテゴリからなる高品質な 3D アセットを追加。合計 3,200 個以上のオブジェクト（3200+ Objects）を保有。
• インタラクティブな機器: 冷蔵庫、オーブン、食器洗い機などの可動部を持つ機器を 456 個（12 カテゴリ）に拡張。従来の RoboCasa では可動部を持たなかった機器も含み、より現実的な操作を可能にします。

3.2 多様なキッチンシーン (Diverse Environments)

• 2,500 のキッチンシーン: 米国 Zillow.com の実際の住宅リストから 50 種類のレイアウトと 50 種類のスタイルを抽出し、これらを組み合わせることで2,500 個のユニークなキッチンシーンを生成しました。
• スプリット: 大規模なデータ収集と合成データ生成用の「事前学習用シーン（2,500 個）」と、実験評価用の「ターゲットシーン（10 個）」に分類されます。

3.3 365 の日常タスク (Suite of 365 Everyday Tasks)

• タスク構成: 65 個の原子タスク（単一スキル）と 300 個の複合タスク（スキルシーケンス）の計365 個のタスクを定義。
• 活動カテゴリ: 6 つの活動ファミリー（飲料準備、調理、整理・保管、清掃・殺菌、食品準備、サービング）に分類され、60 種類の活動を含みます。
• 特徴: 移動操作（Mobile Manipulation）を必要とするタスクが 220 個含まれており、長期的な計画（Long-Horizon）や意味的推論、視覚的推論を必要とするタスクも含まれます。

3.4 大規模データセット (Large-Scale Datasets)

• 総データ量: 2,200 時間以上のロボット相互作用データ（600 時間以上の人間デモンストレーション + 1,600 時間以上の合成データ）。
• データ生成:
  • 人間デモンストレーション: 300 タスク×100 回＝30,000 回（事前学習用）、50 タスク×500 回＝25,000 回（ターゲット用）。Franka Panda Emika ロボットを使用。
  • 合成データ: MimicGen ツールを用いて、60 個の原子タスクに対して人間データを 100 倍に拡張（10,000 回×60 タスク）。
• 総軌跡数: 50 万回以上の軌跡（500K+ Trajectories）。

4. 主要な実験と結果

著者らは、RoboCasa365 を用いて 4 つの主要な実験を行い、最先端の手法（Diffusion Policy, $\pi_0$, $\pi_{0.5}$, GR00T N1.5）を評価しました。

4.1 マルチタスク学習

• 結果: 大規模なマルチタスクデータセットでトレーニングしたモデルは、原子タスクでは高い成功率を示しましたが、複合タスク、特に事前学習データに含まれていない**「未見の複合タスク（Composite-Unseen）」**では成功率が低下しました。
• 知見: 高容量の Vision-Language-Action モデル（例：GR00T N1.5）が最も優れた性能を示しましたが、ゼロショットでの一般化には依然として課題が残ります。

4.2 基盤モデル（Foundation Model）トレーニング

• 手法: 事前学習データ（300 タスクの人間データ＋60 タスクの合成データ）でモデルを事前学習し、その後ターゲットデータで微調整（Fine-tuning）を行いました。
• 結果: 事前学習を行うことで、データ効率性が約 3 倍向上しました。ターゲットデータが少量（10%）の場合でも、事前学習なしのモデルよりもはるかに高い性能を達成しました。
• 知見: 事前学習データの規模とタスクの多様性が、下流タスクの学習に決定的な影響を与えます。

4.3 生涯学習（Lifelong Learning）

• 設定: 4 つのフェーズにわたり、段階的に難易度の高い（ステップ数の多い）タスクを学習させました。
• 結果: 新しいタスクを学習するたびに、以前学習したタスクの性能が低下する**「破滅的忘却（Catastrophic Forgetting）」**が観察されました。
• 知見: 生涯学習における「新規知識の獲得」と「既存知識の保持」のトレードオフが顕著であり、この分野は依然として大きな課題です。

4.4 事前学習データの構成と実世界転移

• データ構成: 合成データ（MimicGen）のみではなく、多様な人間デモンストレーションを含めることが重要であることが示されました。
• 実世界実験: 実世界の Panda ロボットアームを用いた実験では、シミュレーションデータと実世界データを組み合わせてトレーニングしたモデル（Sim-and-Real）が、実世界データのみでトレーニングしたモデルよりも平均 18.1% 高い成功率を達成しました。

5. 主要な貢献

1. 大規模かつ多様なベンチマークの提供: 2,500 のシーン、365 のタスク、2,200 時間以上のデータを含む、家庭用ロボット学習のための最も包括的なシミュレーションリソースの一つ。
2. 体系的な評価フレームワーク: マルチタスク学習、基盤モデル学習、生涯学習の 3 つの軸で、一般化能力を体系的に評価できる環境を提供。
3. 一般化要因の解明: タスクの多様性、データ規模、環境のバリエーションが、汎用ロボットの性能にどのように影響するかを定量的に分析し、将来の研究指針を示した。
4. シミュレーションから実世界への転移: 高品質なシミュレーションデータが実世界の政策学習に有効であることを実証。

6. 意義と今後の展望

RoboCasa365 は、汎用ロボット研究において「再現性のある大規模評価」を可能にする重要なインフラとなります。特に、基盤モデルのトレーニングや、複雑な日常タスクへの一般化メカニズムを理解する上で不可欠なリソースです。

今後の課題としては、現在のベンチマークが「キッチン環境」に限定されている点、およびシミュレーションと実世界の物理的・感覚的ギャップ（Sim-to-Real Gap）の完全な解消が挙げられます。これらの課題を克服し、より広範な家庭環境や複雑な物理現象に対応できるフレームワークへの拡張が今後の研究の方向性となります。