技術要約：RoboCade – ロボットデータ収集のゲーミフィケーション

問題提起

人間のデモンストレーションからの模倣学習（Imitation Learning, IL）は、自律型ロボットポリシーを訓練するための支配的なパラダイムとなっている。しかし、これらの手法をスケールアップさせるには、デモンストレーション・データセットの収集に伴う高いコストとロジスティクス上の困難がボトルネックとなっている。従来のデータ収集は、高価なロボットハードウェアへの物理的なアクセスと、訓練を受けたオペレーターや研究者の持続的な努力に依存しており、そのプロセスは退屈で、利用可能なデータの量を制限している。リモート・テレオペレーション・プラットフォームが登場し、アクセスの幅を広げてはいるものの、それらは多くの場合、ユーザーのエンゲージメントよりも機能性を優先しており、より広範な参加を促すための十分なインセンティブを提供できていない。その結果、ほとんどのデータセットは小規模であり、学内での収集に留まっている。

メソドロジー

著者らは、より幅広い層をロボット・デモンストレーション・データの収集に参加させるために設計された、ゲーミフィケーションを取り入れたリモート・テレオペレーション・プラットフォームであるRoboCadeを提案する。このメソドロジーは、システム・インターフェースのデザインとタスク構築の両方にゲーミフィケーションの原則を統合している。

システム設計

RoboCadeは、低コストで3Dプリント可能なデバイスであり、実機のロボットアーム（具体的にはFranka FR3）の直感的な関節空間制御を可能にするGELLOコントローラー[16]の上に構築された、ウェブベースのプラットフォームである。本システムは、エンゲージメントを促進するために4つのコア設計原則を組み込んでいる。

1. フィードバックと報酬： グリッパーの視覚的な強調、タスク完了時の祝福的な視覚・聴覚効果、およびプログレスバー。
2. 挑戦と目標の手がかり： 事前に定義された制限時間と、タスク固有の可視化（例：スキャニング・タスクにおける仮想レシートや、再配置のためのシーン・オーバーレイ）。
3. アイデンティティと進行： アバター、ユーザー名、およびバッジをアンロックするポイントシステムを備えた永続的なユーザープロフィール。
4. 社会的エンゲージメント： 累積ポイントによるユーザーランキングを表示する公開リーダーボード、およびリアルタイムの観客視聴用の共有可能URL。

タスク設計

著者らは、ダウンストリームのターゲット・タスク（非ゲーミフィケーション、機能的タスク）を、重複する操作スキルを保持したままサポート・タスク（ゲーミフィケーション版）へと変換するためのフレームワークを提案している。以下の4つの設計原則が、この変換を導いている。

1. ナラティブ（物語性）： 機能的な動作を物語の中に埋め込む（例：「キャラクターが家を見つけるのを助ける」）。
2. 目標の多様性： コアとなるスキルを維持しつつ、離脱を防ぐために試行ごとに目的を変化させる。
3. 挑戦（チャレンジ）： 難易度を、非自明でありながら達成可能なレベル（フロー状態）に調整する。
4. スキルの重複： 低レベルの動きは異なっていても、サポート・タスクとターゲット・タスクの間で、少なくとも一つの高レベルな操作スキル（例：把握、整列、挿入）を共有させる。

本システムは、以下の3つのタスク・ペアにおいて実装された：

• 再配置（Rearrangement）： ターゲットであるArrangeDesk（電子機器）に対し、サポートとしてSceneTwins（動物のブロックとシーン・オーバーレイ）。
• スキャニング（Scanning）： ターゲットであるScanBottle（ネジロック剤のボトル）に対し、サポートとしてGroceryCheckout（おもちゃの食料品とレシートのナラティブ）。
• 挿入（Insertion）： ターゲットであるPackBox（電気テープ）に対し、サポートとしてAnimalDorms（動物のおもちゃと一致する箱）。

実験設定

著者らは、主に2つの経路を通じてプラットフォームを評価した。

1. ポリシー学習： 彼らはRoboCadeを介してデータセット（$D_{\tau'}$）を収集し、標準的な対面式テレオペレーション・データセット（$D_{\tau}$）と比較した。これを用いて、以下の3つの条件下でDiffusion Policy [46]およびVLAモデル（$\pi_{0.5}$ [48]）を用いたポリシー訓練を行った：
   • Target Only（ターゲットのみ）： $D_{\tau}$のみで訓練。
   • Co-training（共同訓練）： $D_{\tau}$と$D_{\tau'}$を50/50の割合で混合して訓練。
   • Co-fine-tuning（共同ファインチューニング）： 両方のデータセットを用いて、事前学習済みVLAモデルをファインチューニング。
2. ユーザー調査： 同一のGELLOコントローラーを使用し、初心者のユーザー（$N=18$）を対象に、ゲーミフィケーション化されたRoboCadeインターフェースと非ゲーミフィケーションのベースラインを比較する被験者内調査を実施した。指標には、主観的評価（直感性、楽しさ、モチベーション）およびシステム・ユーザビリティ・スケール（SUS）スコアが含まれる。

主な結果

ポリシー学習の性能

ゲーミフィケーションされたデータを用いた共同訓練は、非ゲーミフィケーションのターゲット・タスクにおけるポリシーの性能を大幅に向上させた：

• Diffusion Policy： 共同訓練により、3つのターゲット・タスクすべてにおいて、ターゲット・データのみで訓練した場合と比較して、イン・ディストリビューション（分布内）の成功率が16%から56%向上した。
  • ArrangeDesk： 成功率は12%から28%に上昇。
  • ScanBottle： 成功率は8%から64%（イン・ディストリビューション）に上昇し、アウト・オブ・ディストリビューション（分布外、OOD）の性能も約20%向上した。
  • PackBox： 成功率は52%から68%（イン・ディストリビューション）に上昇。
• VLA Co-fine-tuning： 事前学習済みVLAモデルをファインチューニングする場合、ゲーミフィケーションされたデータを用いた共同ファインチューニングは、OODの汎化性能をさらに向上させ、ターゲット・データのみのファインチューニングと比較して、ScanBottleで**+48%**、PackBoxで**+36%**の改善をもたらした。

ユーザー調査の結果

初心者のユーザーは、非ゲーミフィケーションのベースラインと比較して、ゲーミフィケーション化されたプラットフォームを著しく魅力的であると感じた：

• 主観的評価： ユーザーはRoboCadeを、より直感的（+27%）、楽しい（+24%）、かつ**モチベーションを高める（+24%）**と評価した。これらの差は、ほとんどのタスクにおいて統計的に有意であった（$p<0.05$）。
• ユーザビリティ： ゲーミフィケーション・システムは、ベースライン（51.4）よりも高いシステム・ユーザビリティ・スケール（SUS）スコア（71.8）を達成した。
• 完了率： タスク完了率は、ベースラインの69.7%に対し、RoboCadeでは77.1%と高かった。

意義と主張

本論文は、ゲーミフィケーションが、ロボットのデモンストレーション・データを収集するための、スケーラブルでアクセシブル、かつ魅力的な手法を提供し、ハードウェアへのアクセスとオペレーターのインセンティブという二重のボトルネックに対処できると主張している。テレオペレーションをゲームとして再定義することで、RoboCadeは、物理的なロボットへの近接性や金銭的なインセンティブを必要とせずに、一般ユーザーから高品質なデータを収集することを可能にする。

著者らは以下の通り断言している：

1. 実現可能性： ゲーミフィケーションされたデータは単に「楽しい」だけでなく、機能的に有用である。それは、共同訓練やファインチューニングを通じて、専門的な非ゲーミフィケーション・タスクのためのポリシー訓練を効果的にサポートする。
2. スケーラビリティ： このアプローチは参入障壁を下げ、データ貢献者の層を訓練された研究者から一般市民へと拡大する可能性がある。
3. 設計原則： ゲーミフィケーションされたサポート・タスクをダウンストリームのターゲット・タスクと整合させるための特定の原則（ナラティブ、多様性、挑戦、およびスキルの重複）は、収集されたデータが実世界のポリシーに効果的に転移することを保証するために極めて重要である。

本研究は、品質管理が初心者にとっての課題として残っているものの、ゲーミフィケーションとロボティクスの交差点は、データ収集をスケールアップするための有望な方向性を示しており、将来的にはゲーミング・コミュニティを活用したり、より広範な学習パラダイムのためのタスクに依存しない「遊び」のデータを探索したりする可能性があると結論付けている。