From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

厚手の冬用手袋をはめ、グラグラする脚立の上に立ち、曇った窓越しに針の穴に糸を通そうとしている場面を想像してみてください。それは、遠隔地から巨大なロボットアームを操作する際に感じる感覚を、おおよそ正確に表現しています。これが、人間がカメラとジョイスティックを使って機械を操る「テレオペレーション（遠隔操作）」の世界です。問題は、私たちの目や脳は画面越しに奥行きを判断するのが苦手であること、そして産業現場にはパイプや壁、その他の障害物が乱雑に存在しており、衝突しやすいということです。

これを解決するために、科学者たちは「シェアード・オートノミー（共有自律性）」を開発しました。これはロボットの「副操縦士（コ・パイロット）」のようなものです。人間がすべてを一人で行うのではなく、ロボットのコンピューターチップが介入して手助けをします。例えば、壁から腕を優しく遠ざけたり、ターゲットに向かって押し戻したりしますが、それでもハンドルを握っているのは人間です。本論文では、歩行可能なロボット（四足歩行の犬のようなもの）が、乱雑で現実的な工場内で繊細な作業を行うために特別に設計された、よりスマートなバージョンのこの副操縦士システムについて掘り下げます。

---

ロボット犬のための「スマート・コ・パイロット」

ロボットを紹介しましょう。これは、背中に器用な長いアームを取り付けた、四足歩行の機械（Boston DynamicsのSpotのようなもの）です。その仕事は？ 乱雑な産業現場に歩いて入り込み、特定のバルブや工具を見つけ、それを回したり掴んだりすることです。課題は？ オペレーターは遠くにいて、奥行きの感覚が掴みにくいカメラ映像を通してロボットを見ています。もしオペレーターがバルブを回そうとして、距離感が正確に見えていないために、誤ってロボットのアームを近くのパイプにぶつけてしまうかもしれません。

本論文では、ロボットのアームにとって「役に立つ、目に見えないガイド」として機能するシステムを紹介します。このシステムは、マーカーなしの視覚、言語理解、そして**ジェントルなステアリング（微調整）**という3つのスーパーパワーを組み合わせています。

1. 手袋もキャリブレーションも不要、ただあなたがいるだけ

通常、自分の体でロボットを制御するには、センサー付きの特殊なスーツを着用するか、自分の身長に合わせてキャリブレーションされたカメラの前に立つ必要があります。しかし、この新しいシステムは「そんなものは結構です」と言います。これは、標準的な3Dカメラ（RGB-D）を使用して、オペレーターの自然な動きを観察します。

カメラを、あなたの肩、腰、手首を観察する非常に観察力の高い友人のようなものだと想像してください。それはリアルタイムであなたの体のメンタルマップ（精神的な地図）を構築します。あなたが右手を前に動かせば、ロボットのアームも前に動きます。手首をひねれば、ロボットのグリッパーもひねります。システムはあなたの腕の長さまで即座に把握するため、ロボットのサイズに合わせて動きをどれくらいスケールさせるべきかを正確に判断できます。セットアップもマーカーも不要です。ただ、あなたとロボットが同期して動くだけです。

2. 「ヘイ、ロボット、あのホイールバルブを掴んで」

かつて、ロボットに何を掴むべきかを伝えるのは困難でした。特定の物体を指し示すか、コードを使用する必要がありました。このシステムでは、自然言語を使用できます。オペレーターは単に「ホイールバルブ（車輪状の弁）」と言う（あるいは入力する）ことができます。

ここで魔法が起こります。ロボットは「視覚言語モデル」（視覚とテキストを同時に理解できるロボットの脳のようなもの）を使用して、カメラ映像を確認し、「ホイールバルブ」を探し出します。一度それを見つけると、ロボットは単に「見えました」と言うだけではありません。空間内に精密な3Dターゲットポイント、つまりデジタルな的（マト）を作成します。さらに優れたことに、ロボットが周囲を移動しても、体にある他のカメラを使用してそのバルブを追跡し続け、たとえオペレーターの視界が遮られても決してターゲットを見失わないようにします。

3. 見えない磁場

これが本論文の最も巧妙なトリックです。ロボットアームがターゲットに近づくと、目に見えない「ポテンシャル場（電位場）」（優しい磁力のようなもの）が作動します。

車を駐車スペースに向かって運転している場面を想像してください。あなたはハンドルを切っていますが、完璧に駐車できるように、車を駐車スペースの中央へとわずかに押し出す優しい風が吹いているようなものです。それがこのシステムの仕組みです。

• 主導権は依然としてあなたにあります： 左に動きたいときは、ロボットも左に動きます。システムがあなたのハンドルを奪うことは決してありません。
• 助けは控えめです： ターゲットまで0.4メートル（約1.3フィート）以内に入ると、システムはあなたのコマンドを「ホイールバルブ」のちょうど中心へと優しく引き寄せます。これにより、曇ったカメラ映像によって生じる微細な誤差を修正します。
• 結果： あなたは大まかに狙うだけでよく、ロボットの「コ・パイロット」が最終的な接近をスムーズにし、グリッパーがまさに必要な場所に正確に着地することを保証します。

4. 「衝突防止」シールド

ロボットが移動している間、ロボットは自身のカメラを使用して常に部屋の3Dマップを作成しています。壁、パイプ、カラーコーンがどこにあるかを正確に把握しています。研究チームは、オペレーターが意図的にロボットアームをカラーコーンにぶつけようとするテストを行いました。

結果はどうだったでしょうか？ オペレーターのコマンドはコーンに向かって真っ直ぐ進みましたが、ロボットのアームはそこから18cm（約7インチ）手前で止まりました。システムはフォースフィールド（力場）のように機能し、オペレーターの一般的な方向性を維持しようとしながらも、障害物の周りを回避するように経路を曲げました。これは、たとえ人間がミスをしたとしても、ロボットの安全脳が衝突を防ぐことを証明しました。

5. 「オートパイロット」ボタン

時には、オペレーターはステアリングに飽きてしまうこともあります。ターゲットを見つけ、確認した後は、2本の指を立てることで自律モードに切り替えることができます。すると、ロボットは完全に制御を引き継ぎ、同じ安全ルールと、同じ3Dターゲットを使用して、自律的に作業（バルブを掴むなど）を完了させます。操作を取り戻したい場合は、再び指を1本立てるだけです。

何が見出されたのか？

研究者たちは、乱雑な産業環境において、実物のロボットを用いてこのシステムをテストしました。主なタスクは2つ、大きな工業用バルブを回すことと、電動ドリルを拾い上げることです。

• 「フルチーム」の勝利： 言語ターゲット、ジェントルなステアリング、衝突シールドのすべてを使用したとき、ロボットは両方のタスクにおいて100%（それぞれ5回中5回成功）の試行成功率を記録しました。
• 「ハーフチーム」の失敗： 衝突シールドを取り除くと、ロボットは障害物に当たりました。ジェントルなステアリングを取り除くと、カメラの視界が精密ではなかったため、ロボットはターゲットを外しました。これは、両方の要素が必要であることを示しています。それぞれが異なる問題を解決しているのです。
• 数値データ： システムは非常に正確でした。ロボットのアームは、平均誤差わずか59mm（約2.3インチ）で人間の手に従いました。衝突テストでは、オペレーターはアームを障害物に6cm押し込もうとしましたが、ロボットは危険から少なくとも18cmの距離を保ちました。

結論

この論文は、ロボティクスのあらゆる問題を解決したと主張しているわけではありません。シンプルな、マーカーを必要としないカメラインターフェースと、言語を理解しミスを優しく修正するスマートな「コ・パイロット」を組み合わせることで、ロボットが現実世界の乱雑な工場でより優れた仕事ができるようになることを示しています。これは、ロボットが完全に独りで考えるわけでも、単に命令に盲従するわけでもありません。人間が意図（「あのバルブを取ってきて」）を提供し、ロボットが衝突回避や完璧な着地といった難しい詳細を処理するという、パートナーシップなのです。