Zetta $\zeta$: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence

ロボットは長い間、工場で単純かつ反復的なタスクを実行することができてきましたが、家庭や作業場のような、乱雑で予測不可能な性質を持つ環境を扱うための柔軟性を与えることは、人工知能における最も困難な課題の一つであり続けてきました。長年、研究者たちは膨大な量のビデオデータをロボットに読み込ませることで、あらゆる状況に対応できる単一の完璧な指示セットを機械に学習させようと試みてきました。このアプローチは強力ではあるものの、現実の世界が訓練ビデオからわずかに逸脱した場合、例えばグリッパーのわずかな滑りや照明の変化などによって、ロボットが停止したり衝突したりしてしまうことがよくあります。別の道として、ロボットを静的なプログラムではなく、思考し、計画し、道具を使うエージェントとして扱う手法が登場しました。しかし、これらのより賢いエージェントでさえ、リアルタイムで自らのミスから学ぶことに苦戦してきました。ほとんどのシステムは、タスクを実行し、失敗し、そして試行全体が終わった後にのみ、何が間違っていたのかを振り返るというループの中で動作しています。エラーを分析する頃には、修正すべき瞬間は過ぎ去っており、物理的な相互作用はすでに壊れてしまっているのです。

清華大学とZ-Trans AIの研究チームは、「Zetta」と呼ばれる新しいシステムを導入し、思考と行動の間の溝を埋めることで、ロボットの学習方法を変革しました。Zettaは、タスクが終了するまで待つのではなく、ロボットが動いている間も自身の物理的な状態を継続的に監視することを可能にし、エラーが発生した瞬間にそれを察知して即座に修正します。このシステムは、固定されて安定しているロボットの「核となる脳」を再学習させることはしません。その代わりに、「ランタイム・クリティック（実行時批評家）」と呼ばれる、ロボットの手や触れている物体を監視する小さく特化したモニターの層を構築します。もしクリティックが、グリップが滑っている、あるいは物体が落ちそうになっていることを察知した場合、制御を失う前に事態を救うための、あらかじめプログラムされたリカバリー・スキル（回復スキル）を起動させます。これにより、ロボットは根本的な世界の理解を変えるのではなく、物理的な失敗に対処するための実証済みの方法のライブラリを蓄積していくことで、特定のタスクに対して試行を重ねるほど上手くなっていく、自己進化のループが生まれます。

研究者たちは、ロボットの操作に関する2つの主要なベンチマーク、すなわち物体を異なる場所へ移動させるタスクのセットと、引き出しを開けたり家電を操作したりするといった、より複雑な家庭内の家事のセットを用いて、このアプローチをテストしました。これらのシミュレーションにおいて、システムは、より困難なタスクに対して約35パーセントの成功率を持つベースとなるロボット・ポリシーからスタートしました。システムが数千回の試行を実行するうちに、システムは物事がうまくいかなかった特定の瞬間を特定し始めました。それらは失敗をグループ化し、根本的な原因を突き止め、それらを修正するための新しいコードを書き出しました。わずか数ラウンドの自己修正を経て、困難なタスクにおける成功率は90パーセント以上に跳ね上がりました。システムは単に運が良かったわけではありません。しばらく苦戦した後、物理的な原則（例えば、持ち上げる前に把握を安定させる必要があることなど）を突如として発見し、パフォーマンスが飛躍するという明確な改善パターンを示しました。研究者たちは、これらの突然の突破口を、ロボットがついに欠落していた物理的な制約を理解した瞬間である「アハ・モーメント（直感的な理解の瞬間）」と呼んでいます。

この発見が特に重要である理由は、ロボットが学んだスキルが、単一の特定の物体や特定の部屋に縛られていない点にあります。研究者が、あるタスクでワインボトルを扱うために学んだスキルを、クリームチーズの容器を扱う全く別のタスクに適用したところ、ロボットは新たなトレーニングなしに成功しました。システムは、異なるシナリオにおいても通用する、物の持ち方、動かし方、置き方の一般的な原則を学習していたのです。これは、ロボットが単に目標への経路を暗記しているのではなく、物理的な世界とどのように相互作用するかについての、より深い理解を学んでいたことを示唆しています。また、システムは非常に高速であり、コンピューターのクラスター上でシミュレーションを実行することで、学習に必要な経験を生成することができました。ロボットの論理とシミュレーションを実行するハードウェアを切り離すことで、研究者たちは学習プロセスを従来の手法よりも20倍以上速く実行することができ、数日ではなく数時間でロボットがスキルを進化させることを可能にしました。

研究者たちは、このアプローチがロボットにおける根本的な問題、すなわち現在のモデルが物理世界の急速な変化に対応できないという問題を解決すると主張しています。大規模な人工知能モデルは、落下する物体をキャッチしたり、滑るグリップを調整したりするために必要な速度で意思決定を行うには、動作が遅すぎます。メインの脳を固定し、高速で反応的なクリティックとリカバリー・スキルの層を追加することで、Zettaは高レベルの計画と低レベルの物理的制御の間の溝を埋めます。このシステムは、キッチンをナビゲートし、キャビネットを開け、アイテムを中に置くといった、複雑で長い一連の動作を、タスクを管理可能なステップに分解し、あらゆる潜在的な失敗に対してセーフティネットを用意しておくことで、実行できることを示しました。あるケーススタディでは、ボトルをボウルに移動させようとするロボットが、輸送中にボトルを落としたために最初は繰り返し失敗しました。数ラウンドの自己修正の後、システムは移動前にグリップが確保されていることを確認する特定のチェックを追加し、そのタスクの成功率は15パーセントから95パーセントへと急上昇しました。

この研究はまた、このような学習を可能にするためのインフラストラクチャの重要性も強調しています。ロボットのスキルを進化させるためには、システムは数千回の試行を実行して、失敗する稀な瞬間を見つけ出し、それらの失敗を分析する必要があります。研究者たちは、このワークロードを管理するための専用システムを構築し、プロセスを停滞させることなく多くのシミュレーションを同時に実行できるようにしました。このインフラストラクチャはプロジェクトのスピードにとって極めて重要であり、クリティックとリカバリー・スキルを効率的に訓練するために必要なデータを収集することを可能にしました。この学習プロセスをスケールアップする能力がなければ、自己進化のループは実用的なものとしては遅すぎたでしょう。結果は、物理的知能への新しい道を示しており、それはロボットが最初から完璧である必要はなく、経験を通じて信頼性を高める方法を学び、予期せぬ事態に対処する能力を絶えず洗練させていけるという道です。

この研究の意義は、単にロボットの物体移動能力を高めることにとどまりません。それは、人工知能がどのようにして堅牢で適応性のある方法で物理的世界と相互作用できるかという設計図を提供しています。リアルタイムでのエラー検知と回復能力に焦点を当てることで、システムはこれまでの手法を悩ませてきた脆弱性を回避しています。研究者たちは、現在の研究はシミュレーション内で行われたものの、開発された原理は実機のロボットに転用できるように設計されていると述べています。チームの次のステップは、この自己進化するハーネスを実機の機械に適用してテストすることであり、デジタルシミュレーションと現実世界の間の溝を埋めることです。もしこれが成功すれば、単にタスクを実行するようにプログラムされたロボットではなく、試みるたびにパフォーマンスを学び、向上させることができる、より有用で信頼できるパートナーとしてのロボットにつながる可能性があります。