LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

化学実験室における最も繊細で、反復的かつ精密な作業が、人間の手ではなく機械によって行われる世界を想像してみてください。何十年もの間、科学者たちは発見を加速させるためにこれらの空間を自動化することを夢見てきましたが、これまでに構築されたロボットの多くは、しばしば不器用でした。それらは箱やブロックを掴むことができる単純なピンセットのようなグリッパーを備えていますが、ガラス製の試験管を扱ったり、液体をこぼさずに注いだり、細い棒で溶液をかき混ぜたりするために必要な、微細で流動的な動きには苦戦します。前進するためには、研究者たちは、人間が持つような器用さ——指を使って感じ、調整し、注意深く物体を操作する能力——を機械に教える方法を必要としていました。これが「巧緻的な操作（dexterous manipulation）」という課題であり、ロボットに単に物を保持する以上の、触覚を伴う繊細なタッチと安定した手つきを必要とする複雑で多段階のタスクを実行できる「手」を与えることを目指す分野です。

新しい研究において、研究チームは、特に化学実験室のために、この問題を解決するための大規模な新しいテスト場を作り上げました。彼らはそれを「LabDex」と呼んでいます。単にロボットに一つの物体を拾わせるのではなく、研究者たちは実験室業務の全範囲を、明確な3段階の階層構造として整理しました。最下層には「アトミック・スキル（原子レベルのスキル）」があり、これはガラス棒を掴む、水を注ぐ、あるいはチューブを振るといった、極めて小さく基礎的な動きです。次のレベルは「コンポーザショナル・スキル（構成的スキル）」であり、ここではロボットは、ビーカーを持ち上げ、その中身を注ぎ、そして置くといった、単一の機能を完了させるために、それらの小さな動きをいくつか繋ぎ合わせなければなりません。そして最後に、最上層には「ロングホリゾン・ワークフロー（長期的工程）」があり、これは最終的な科学的結果を得るために、ロボットが異なる一連のアクションを長いシーケンスで行う必要がある、完全な実験を指します。このように作業を分解することで、チームは、単に最終的な実験が成功したかどうかを見るのではなく、ロボットがどこで成功し、どこで失敗するのかを正確に把握することができました。

このベンチマークを構築するために、研究者たちは実世界とコンピュータ・シミュレーションの両方で機能する統一されたシステムを構築しました。物理的なラボでは、人間の手によく似た、洗練された多指ハンドを備えたロボットアームを使用しました。特別なデータグローブを着用し、モーション・トラッキング・デバイスを使用した人間のオペレーターが、物理的にロボットを誘導して動作を行うことで、ロボットを遠隔操作しました。ロボットは、あらゆる動き、カメラの角度、および関節の位置を記録し、数千件のデモンストレーションのライブラリを作成しました。そして、これらの現実世界でのレッスンを仮想環境へと翻訳し、実際のハードウェアで再試行する前に、安全で再現可能なデジタル空間でロボットの学習をテストできるようにしました。この二重のアプローチにより、データが単なる数字の集合ではなく、化学実験室の物理的な現実を忠実に表現したものになることが保証されます。

研究者たちは、その後、いくつかの最も高度なロボット学習システムを、この新しいベンチマークを用いてテストしました。彼らは、これらのシステムがデモンストレーション・データからタスクを学習しようとする様子を見守りました。結果は示唆に富むものでした。新しい、より高度なモデルのいくつかは、ビーカーを持ち上げたりテーブルに置いたりといった単純な単一ステップのタスクを高い精度で実行できましたが、それらのステップを繋ぎ合わせようとすると、著しく苦戦しました。タスクが複雑になり、ある容器から別の容器へ液体を注いでから容器を戻すといったことが求められると、成功率は急激に低下しました。最も有能なモデルであっても、マルチパート・タスクあたり平均0.73のアトミック・スキルを完了できただけで、どのモデルも、単独で完全な実験の全シーケンスを完了させることはできませんでした。

失敗の詳細を分析すると、問題は単に一度ミスをすることではなく、プロセスの初期段階における小さなエラーがいかにその後のすべてを台無しにするか、という点にありました。例えば、ロボットが漏斗を掴むことには成功しても、わずかに不適切な角度で保持していた場合、フラスコに挿入することに失敗し、実験全体が停止してしまいます。研究では、ロボットは、試験管やメスシリンダーのように、細長く、あるいはガラス製の物体を扱うのが特に苦手であることが判明しました。これらの物体は、指がどこに触れるかに非常に敏感ですが、ロボットにはリアルタイムでグリップを調整する微細な制御力が欠けていました。さらに、ターゲットに似た追加の物体をテーブルに置くと、ロボットは混乱し、誤ったアイテムを掴んだり、全く動作できなくなったりすることがよくありました。

チームはまた、これらのロボットがどれだけ多くのデータから学習できるかもテストしました。彼らは、ロボットにタスクの例をより多く見せることは、ある一定の範囲内では効果があるものの、限界があることを見出しました。最も高度なモデルは、わずかなデモンストレーションではなく数百のデモンストレーションを見ることで大幅に改善されました。これは、これらのシステムが、成功する注ぎ方とこぼしてしまう注ぎ方の微妙な違いを学ぶために、膨大な経験を必要としていることを示唆しています。しかし、この追加のデータを用いても、ロボットは人間である化学者が容易に行えるような、信頼性の高い長い実験を完遂することは依然としてできませんでした。この研究は、ロボットに個々の単純な動きを教えることには進展があったものの、それらの動きを安定し、信頼できる持続的なワークフローへと組み合わせる能力は、依然として大きな障壁であることを結論付けています。

この研究は、自律型ラボの問題を解決したと主張するものではありません。むしろ、道のどこが塞がれているのかを明確に示すものです。どのスキルが欠けているのか、そして一つのステップにおけるエラーがいかに連鎖してプロセス全体を台無しにするのかを示すことで、研究者たちは科学界に対して、将来の改善に向けた精密な標的を提供しました。LabDexベンチマークは、異なるチームが同じ困難な現実世界のタスクに対して自分たちの進歩を測定できる、標準的な物差しとして機能します。それは、ラボで真に働くことができるロボットを構築するには、単に強い腕があるだけでは不十分であり、何世紀にもわたってこの仕事を行ってきた人間の手のように、考え、感じ、適応することができる手が必要であることを思い出させるものです。