Humanoid Everyday: A Comprehensive Robotic Dataset for Open-World Humanoid Manipulation
本論文は、オープンワールドにおけるヒューマノイドの操作研究を推進するために設計された、260のタスクにわたる10,000を超えるマルチモーダルな軌跡を含む大規模かつ多様なデータセット「Humanoid Everyday」を導入し、ポリシー学習手法の分析および標準化されたクラウドベースの評価プラットフォームを付随させるものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは、ロボットに「役に立つルームメイト」になる方法を教えようとしていると想像してください。ロボットには、家の中を歩き回り、コップを拾い上げ、タオルを畳み、さらにはあなたに道具を手渡してほしいと考えています。しかし現在、ほとんどのロボット学習データは、テーブルの上に置かれた単一のロボットアームの動きについて書かれた、図書館の中の書籍のようなものです。それはそのアームにとっては素晴らしいものですが、ロボット全体がどのように歩き、バランスを取り、同時に二つの手を使うかを教えるものではありません。
論文**「Humanoid Everyday」は、この問題に対する大規模な解決策を提示しています。これは、いわば「ロボットの日常生活に関する百科事典」**です。
以下に、研究者たちが何を構築し、なぜそれが重要なのかを簡単に解説します。
1. データセット： 「ロボット・リアリティショー」
研究者たちは、Humanoid Everydayと呼ばれる、ビデオとセンサーデータの膨大なコレクションを作成しました。
- キャスト： 彼らは、人間のように見え、動き、触覚を感じることができる器用な手を備えた、2種類の高度なヒューマイド・ロボット（Unitree G1およびH1）を使用しました。
- プロット： 単に箱を地点Aから地点Bへ移動させるのではなく、彼らは260種類の異なる「シーン」またはタスクを記録しました。これらは、おもちゃの餃子を拾い上げるような単純なものから、ドアノブを持ちながら歩いたり、タオルを畳んだりするような複雑なものまで多岐にわたります。
- 多様性： タスクは以下の7つのカテゴリーをカバーしています：
- 基本的な家事（物を拾い上げる）。
- 柔らかいものへの対処（布やタオルなど）。
- 道具の使用（消しゴムなど）。
- チームワーク（人間に物体を手渡す）。
- 歩行と作業の両立（作業をしながら移動する）。
- 規模： 彼らは10,000件以上のビデオクリップ（軌跡）と、300万フレーム以上のデータを記録しました。すべてのクリップには、ビデオ、深度（3D距離）、レーザースキャン（LiDAR）、そしてロボットの手が何を感じているか（触覚データ）が含まれています。
2. 秘訣： 「超高速カメラクルー」
このデータを収集することは困難です。なぜなら、ロボットは素早く動き、カメラの遅延がわずかでも発生すると、データは使い物にならなくなるからです。
- 問題点： 公式のロボットソフトウェアは、データが渋滞に巻き込まれる、まるで低速な一車線の道路のようでした。
- 解決策： チームは、新しい「テレオペレーション（遠隔操作）」システム（人間がリモートでロボットを制御する方法）を構築しました。彼らはデータ収集を、高速のリレーレースのように扱いました。一人の人間がすべてを行うのではなく、複数の「プロセス」（異なるランナーのようなもの）に仕事を分割し、それらを同時に実行させたのです。
- 結果： 彼らは遅延（ラグ）を500ミリ秒からわずか2ミリ秒へと短縮しました。これは、カタツムリの歩みからスプリントへと変化したようなもので、人間が行っている動作のように滑らかで高品質な動きを捉えることを可能にしました。
3. クラウド上の「テストコース」
ロボット研究における最大の悩みの一つは、すべての科学者が10万ドルのヒューマノイドロボットを所有しているわけではないということです。
- イノベーション： チームは、クラウドベースの評価プラットフォームを構築しました。
- 仕組み： これは、リモコン付きのトラックを想像してください。世界中の研究者が、自分のロボットの「脳」（AIポリシー）をクラウドにアップロードできます。すると、クラウドはロボットの「目」（カメラ映像）を研究者のコンピュータに送り、研究者のコンピュータが何をすべきかを判断し、コマンドをラボ内の実物のロボットに送り返します。
- メリット： これにより、公平な競争の場が生まれます。誰もが、全く同じ部屋で、全く同じロボットを使って、全く同じ実世界のタスクで、自分のロボットをテストできるのです。カメラやテーブルが違うからといって、自分のロボットの方が優れているのかどうかを推測する必要はもうありません。
4. 現実的な検証： ロボットができること（とできないこと）
研究者たちは単にデータを収集しただけではありません。彼らはテストも行いました。彼らはいくつかの有名なAIモデル（現在ロボティクスで使用されている「脳」）を取り上げ、これらの新しいタスクを教えようと試みました。
- 朗報： モデルは、多くの類似したデータを見た場合（事前学習）、特定のタスクにおいて性能が向上しました。最高のパフォーマンスを示したのはGR00T N1.5と呼ばれるモデルで、試行の約**51%**に成功しました。
- 悲報： ロボットは最も難しい課題において依然として苦戦しています。
- 「花瓶の中のバラ」問題： ロボットが歩いて近づき、細いバラの茎を小さな花瓶の口に入れるというタスクでは、ほぼすべてのモデルが失敗しました（成功率0%）。
- 理由： ロボットは大きな動きには長けていますが、繊細な作業に必要な微細で精密な調整が苦手です。また、歩行と手の動きを同時に行う必要があると混乱してしまいます。
まとめ
Humanoid Everydayは、超高速システムによってあらゆる詳細を捉えた、ロボットの日常生活に関する大規模で高品質なライブラリです。これには、誰でも実物のハードウェア上で自分のロボットの脳をテストできる「クラウドテストコース」が付属しています。
この論文は、私たちが進歩している一方で、現在のロボットの「脳」は、まだ歩き方を学んでいる幼児のようなものであることを示しています。彼らは単純なことはできますが、歩行と細かい運動スキル（針に糸を通すようなこと）を同時に求められると、つまずいてしまいます。このデータセットは、彼らが大人へと成長するために必要な訓練場なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。