ロボットが単に人間が書いた厳格なスクリプトに従うのではなく、私たちと同じように動き、考えることを学ぶ世界を想像してみてください。これは「身体化されたAI（embodied AI）」という夢、つまりコンピュータに「体」を与え、現実世界と相互作用させるという試みです。現在、ロボットに新しいことを教えるのは、多くの場合、幼児に靴紐の結び方を教えるようなものです。手を取り、正確なやり方を示し、筋肉がその動きを「記憶」するまで何百回も繰り返さなければなりません。これは「人間によるデモンストレーションからの学習」と呼ばれます。しかし、もしロボットが自力で学べるとしたらどうでしょう？もし、あなたが指一本動かして教えることなく、ロボットが世界を観察し、試行錯誤することによって、コップを掴んだり、箱を押したり、引き出しを開けたりする方法を自力で見つけ出せるとしたら？これが、研究者たちが追い求めている大きな問いです。どうすればロボットに、ゼロから独自の「筋肉の記憶（マッスルメモリー）」を構築させることができるのでしょうか？

ここで登場するのが、独学の弟子のように振る舞う新しいロボットの脳、「HERO」です。この論文は、HEROを、人間の助けを一切借りずに、巧妙な3段階の進化を通じて物体操作を学習するシステムとして紹介しています。これは、ロボットが3つの異なるステージを経て成長していく過程だと考えてください。まず、それは「ヒューリスティック推論（Heuristic Reasoning）」を用います。これは、巨大な知識のライブラリを使用して、見たことがないタスクをどのようにこなすべきかを判断する「賢い推測者」のようなものです。もしこれが失敗したり、時間がかかりすぎたりした場合は、「エグゼンプラー再利用（Exemplar Reuse）」へと移行します。これは、以前に似たような物体を動かすことに成功した時のことを思い出し、その動きを新しい状況に合わせて調整してコピーすることに似ています。最後に、十分に練習を重ねた後、それは「反射的実行（Reflexive Execution）」へと到達します。これは純粋な「筋肉の記憶」であり、深く考える必要のない、速く自動的な反応です。論文では、これら3つのスキルを組み合わせ、ロボットが自律的に練習させることで、ブロックを積み上げたり、引き出しの中を探したりといった複雑なタスクを学習し、最終的にはほとんど考えなくてもこなせるようになるほど習熟できることが示されています。

論文の核心的なストーリー：ゼロから筋肉の記憶へ

HEROの開発者である上海交通大学とサセックス大学の研究チームは、ある特定の課題を解決したいと考えていました。それは、現在のほとんどのロボットが「静的な」モードに陥っているという問題です。彼らは、一般的な推論（何をすべきかについて話すこと）には非常に長けているものの、実際の動きにおいては遅くて不器用であるか、あるいは動きは非常に速いものの、最初に正確なやり方を教えられなければならないかのどちらかです。HEROは、自らのスキルを進化させるシステムを作ることで、このギャップを埋めようとしています。

論文は、ロボットが学習するために膨大な人間のビデオデータベースを必要とするという考えに異を唱えています。代わりに、HEROは人間のデモンストレーションをゼロからスタートします。その旅は「ヒューリスティック・ブートストラッパー（Heuristic Bootstrapper）」（レベル1）を使用して始まります。未知のタスク（例えば「赤いパッケージを拾え」など）に直面したとき、このレイヤーは探偵のように機能します。画像と単語を理解するAIの一種である「視覚言語モデル（VLM）」を使用して、シーンを観察し、物体を掴む位置を推測し、経路を計画します。これは完璧ではなく、少し時間がかかりますが、事前のトレーニングなしに任務を遂行します。

ロボットが物体を掴むことに成功すると、それを単に忘れることはありません。成功を「エグゼンプラー（模範例）」として保存します。ロボットが練習を重ねるにつれ、第2段階である「エグゼンプラー・アクセラレーター（Exemplar Accelerator）」（レベル2）へと入ります。今や、以前に行ったタスクに似たタスクに遭遇しても、再び推測する必要はありません。保存された例を見つけ出し、その古い動きを新しい物体に合わせてどのように引き伸ばしたり回転させたりするかを計算し、実行します。これは、先週特定の瓶を開けた方法を思い出し、同じサイズの新しい瓶に対して同じ手首のひねりを使うようなものです。このステップは、推測段階よりもずっと高速です。

最後にして最も印象的なステージは、「反射的ポリシー（Reflexive Policy）」（レベル3）です。ロボットが数百回の成功体験を蓄積した後、特別な「筋肉の記憶」モデルを訓練します。このモデルは、思考やコピーのステップを完全にスキップします。物体と目標を見るだけで、即座にロボットの腕に正しいコマンドを送ります。これは論文で言及されている「クローズドループ（閉ループ）」制御であり、人間が物理法則を考えずにボールをキャッチするように、ロボットが常に自身の動きをチェックし、リアルタイムで調整することを意味します。

実世界での仕組み

これをテストするために、研究者たちは4台のカメラを備えた実世界のラボに、Franka Emika Pandaロボットアームを設置しました。彼らはロボットに4つの異なる課題を与えました。異なる色のパッケージを拾うこと、特定の順序でブロックを積み重ねること、クロワッサンを見つけるために引き出しを開けること、そして隠れた包帯ロールを露出させるために箱を動かすことです。

ロボットはこれらのタスクを一度行っただけではありません。「自律的な能力進化（Autonomous Capability Evolution）」の継続的なサイクルを実行しました。その魔法のループは以下の通りです：

1. 試行（Try）: ロボットがタスクを試みます。新しいタスクであれば、「推測（L1）」モードを使用します。
2. 保存（Save）: 成功した場合、その動きを保存します。既知のタスクであれば、より速く進めるために「コピー（L2）」モードを使用することがあります。
3. リセット（Reset）: タスク終了後、ロボットは自動的にすべてを初期位置に戻す方法（「逆タスク」）を考え出し、再び試行できるようにします。これを合計664回行いました。
4. 学習（Learn）: 十分なデータが集まった後、「筋肉の記憶（L3）」モデルを訓練しました。

結果は非常に明確でした。論文によると、HEROは人間の助けをほとんど必要とせずに、この膨大な量のデータを収集できました。人間の介入は、主にロボットが行き詰まった際にシーンを修正するためだけの、サブタスクあたりわずか1.03秒でした。ロボットは、人間の手を一切借りずに46回連続のサブタスクサイクルを完了しました。

最終的なロボットをこれらのタスクでテストした際、フル構成のHEROシステム（3つのレイヤーすべてを使用）は、4つの異なるタスク全体で**86.0%の成功率を達成しました。これは、単一のレイヤーを使用した場合よりも大幅に高い数値でした。例えば、推測レイヤー（L1）のみを使用した場合、成功率は76.0%に低下しました。筋肉の記憶レイヤー（L3）のみを使用した場合、成功率は70.0%**でした。論文は、その秘訣は柔軟性にあると示唆しています。可能なときは高速な筋肉の記憶を使用し、状況が困難になったり新しいものに遭遇したりした場合には、「コピー」や「推測」のスキルが即座に介入できるようにしておくのです。

トレードオフと不具合

論文は限界についても正直に述べています。「推測」レイヤー（L1）は最も遅く、多くの思考と3Dマッピングを必要とするため、サブタスクあたり約46.57秒かかります。「コピー」レイヤー（L2）は20.96秒とより速いです。そして「筋肉の記憶」レイヤー（L3）は、繰り返されるタスクにおいて最も効率的ですが、実際のアームの動作時間を含めると37.90秒かかります。

また、どこで失敗したのかについても分析を行っています。120回のタスク試行のうち、73回はエラーなしで完璧に完了しました。発生した失敗の多くは、ロボットが物体の位置を見誤った（知覚エラー）、あるいは「脳」が不適切な動作シーケンスを計画したことによるものでした。興味深いことに、システムの「モニタリング」は非常に優秀で、失敗を**94.5%**の確率で正しく特定し、再試行するか助けを求めることができるようにしていました。

著者らは、HEROは大きな一歩ではあるものの、まだ完璧ではないと指摘しています。「推測」部分は依然として遅く、時には物体の3D形状を読み間違えることがあります。また、現在のロボットは、人間が設計した基本的な動作（「掴む」「押す」「引く」など）の定義済みリストに依存しています。まだ、全く新しい種類の動きを自力で発明することはできません。

まとめ

簡単に言えば、HEROは、ロボットが白紙の状態からスタートし、実践を通じて学び、人間の手を一歩ずつ借りることなく、最終的に独自の「筋肉の記憶」を発達させられることを証明しています。これは、ロボット工学の未来が、単に賢い脳や強い腕を作ることではなく、経験を積むにつれて「思考」「コピー」「反応」の間をシームレスに切り替えられるシステムを作ることにあることを示唆しています。この論文は、すべてのロボットの問題を解決したと主張しているわけではありませんが、私たちの乱雑で予測不可能な世界において、真に学習し適応できる機械への有望な道筋を提示しています。