技術要約：ロボット操作における模倣学習のデータ・スケーリング則

問題提起

データのスケーリングは自然言語処理（NLP）やコンピュータビジョン（CV）に革命をもたらし、驚異的な汎化性能を持つモデルを生み出してきましたが、ロボティクス、特にロボット操作においては、確立されたスケーリング則が存在しません。現在のロボットポリシーは、未知の物体や環境に対するゼロショット汎化に苦戦することが多く、通常、ファインチューニングや広範なタスク固有のデータを必要とします。本論文は、同様のデータ・スサーリング則がロボットの模倣学習にも存在するのかどうかを調査しています。中心となる問いは、**「適切なデータのスケーリングによって、同一カテゴリ内のほぼあらゆる物体に対して、あらゆる環境でゼロショット展開が可能な単一タスク・ロボットポリシーを作成できるか？」**という点です。

手法

実験設定

著者らは、**行動クローニング（BC）を用いた模倣学習（IL）**による包括的な実証研究を行いました。

• タスク: 本研究では、「水を注ぐ（Pour Water）」、「マウスの配置（Mouse Arrangement）」、「タオルを畳む（Fold Towels）」、「充電器を抜く（Unplug Charger）」の4つの操作タスクに焦点を当てました。
• データ収集: Universal Manipulation Interface (UMI) を用いたハンドヘルド・グリッパーを使用し、40,000件以上の人間によるデモンストレーションを収集しました。データは、数多くの「イン・ザ・ワイルド（実環境）」の環境および同一カテゴリ内の多様な物体を用いて収集されました。
• ポリシー・アーキテクチャ: 著者らは、CNNベースのU-Netを用いたDiffusion Policyを採用しました。主なアーキテクチャの選択肢は以下の通りです：
  • 視覚エンコーダ: DINOv2 ViT-Large/14を使用。これはフルファインチューニングされており、ImageNetのResNetやCLIP ViTを上回る性能を示しました。
  • テンポラル・アンサンブル: 動作の遷移を滑らかにし、動きの不連続性を軽減するための指数関数的重み付けスキーム。
• 評価プロトコル: 未知の環境および物体に対して厳格な評価が行われました。パフォーマンスは、疎なバイナリの成功率ではなく、テスターが割り当てたステップごとの基準に基づく正規化スコア（0から1）によって測定されました。本研究には、15,000回以上の実世界のロボット・ロールアウトが含まれています。

スケーリングの次元

研究では、汎化への影響を分析するために、以下の3つの次元を体系的に変化させました：

1. 訓練環境の数 ($M$): シーンの多様性（照明、妨害物、背景）の変化。
2. 訓練物体の数 ($N$): 同一カテゴリ内における物体の多様性（色、サイズ、形状）の変化。
3. デモンストレーションの数 ($K$): 環境と物体のペアあたりのデータ量の変化。

主要な知見と結果

1. 多様性のためのパワーロー・スケーリング

ポリシーの汎化性能は、訓練環境、物体、および環境・物体のペアの数に対して、おおよそパワーロー（べき乗則）の関係に従います。

• 物体への汎化: 未知の物体に対する性能は、訓練物体の数とともに急激に向上します。訓練物体がわずか8個の場合、正規化スコアは0.8を超え、32個の場合には0.9を上回りました。
• 環境への汎化: 未知の環境に対する性能もパワーローに従いますが、その初期の傾きは物体よりもわずかに緩やかです。
• 複合的な汎化: 環境と物体を同時に変化させた場合でも、ポリシーは新しい組み合わせに対して効果的に汎化します。

2. 量よりも多様性

極めて重要な知見は、多様性がデモンストレーションの絶対数よりもはるかに重要であるということです。

• 収穫逓減: 環境または物体のデモンストレーション数が一定の閾値に達すると、追加のデータによる性能向上は最小限になります。
• 飽和点:
  • 8つの環境・物体ペアの場合、合計約400回のデモンストレーションで性能が飽和します。
  • 16ペアの場合、約800回で飽和します。
• 32ペアの場合、約1,600回で飽和します。
• 効率性: 特定の環境・物体ペアのデモンストレーション数を増やすよりも、環境や物体の数を増やす方が、はるかに効果的です。

3. 効率的なデータ収集戦略

スケーリング則に基づき、著者らは特定のデータ収集戦略を提案しています。

• 戦略: できるだけ多様な環境でデータを収集し、各環境にユニークな物体を1つずつ配置します。
• 閾値: 一般的に、良好に汎化するポリシーを訓練するには、合計32の環境・物体ペアがあれば十分です。
• ペアあたりのデモンストレーション数: 同程度の難易度のタスクについては、環境・物体ペアごとに50回のデモンストレーションを収集することを推奨します。
• 検証: この戦略（32ペア、各50デモ）を、2つの新しいタスク（「タオルを畳む」と「充電器を抜く」）に適用したところ、4人のデータ収集者が午後のひとときで行っただけで、未知の環境における未知の物体に対して約90%の成功率を達成するポリシーが得られました。

4. モデル・スケーリングに関する洞察

データに加え、本論文はモデルのスケーリングについても調査しました。

• 視覚エンコーダ: 視覚エンコーダのスケールアップ（ViT-SmallからViT-Largeへ）と、事前学習済みDINOv2特徴量のフルファインチューニングは不可欠です。ゼロから学習するか、あるいは固定された特徴量を使用した場合、性能はほぼゼロとなりました。
• アクション拡散モデル: 意外なことに、U-Netアクション拡散モデルのサイズをスケールアップしても（小規模から大規模へ）、性能は向上せず、最大構成ではわずかに低下しました。これは、より小さなモデル容量がすでにアクション分布に対して十分であることを示唆しています。

重要性と主張

本論文は、ロボット操作における最初の包括的なデータ・スケーリング則を確立したと主張しており、焦点が「より多くのデータ」から「より良いデータの多様性」へと移行していることを示しています。

• 汎化は達成可能である: 著者らは、「イン・ザ・ワイルド」での汎化はこれまで考えられていたよりも近いことを証明しました。単一タスクのポリシーは、訓練データが十分な環境および物体の多様性をカバーしていれば、ファインチューニングなしで、あらゆる環境におけるあらゆる物体に対して動作するように訓練できます。
• コスト効率: 提案された戦略は、堅牢なロボットポリシーを構築するために必要な時間と労力を大幅に削減します。約90%の成功率を達成するために、4人の人間によるわずか午後のデータ収集が必要であったことは、ロボットの汎化には膨大な年月をかけたデータ収集が必要であるという概念に挑戦するものです。
• 将来の研究への基礎: 多様性が量よりも汎化を駆動することを特定することで、本論文は、単純な軌跡の数よりも環境と物体の多様性を優先する大規模なロボットデータセットを構築するための設計図を提供しています。

著者らは、本研究が単一タスクのポリシー（タスクレベルの汎化ではない）、模倣学習（強化学習ではない）、および特定の4つのタスクに限定されていることを認め、限界事項として挙げています。彼らは、より広範なタスクやアルゴリズムにおいてこれらの法則を検証するための今後の研究を呼びかけています。