Hybrid Visual Perception and LLM Framework for Service Robot Planning and Navigation

サービスロボットは、もはや未来の概念ではなくなりつつあります。病院やホテル、公共の場に現れ始め、人々を案内したり、簡単な雑務を行ったりする役割を担っています。これらの機械が真に有用であるためには、単にあらかじめプログラムされた経路を辿るだけでは不十分です。人間が何を求めているのかを理解し、周囲の世界を見て障害物を回避したり特定のアイテムを見つけ出したり、そしてその仕事を遂行するためにどのように動くべきかを考え出す必要があります。長年の課題は、言語の理解、環境の認識、そして移動の計画というこれら3つの能力を、役に立つほど賢く、かつロボット自身のオンボードコンピュータ上で動作できるほど小さく高速な単一のシステムへと、いかに統合するかということでした。

長年、研究者たちは、あらゆることを一度にこなそうとする巨大でオールインワンの人工知能システムを構築することで、この問題を解決しようとしてきました。これらのシステムは、しばしば「ビジョン・ランゲージ・モデル」と呼ばれ、画像を見て文章を同時に読み取ることができるため、非常に強力です。しかし、それらは極めて「重く」、小型でバッテリー駆動のロボットには到底収まりきらない膨大な計算能力を必要とします。ここにジレンマが生じます。複雑な指示を理解できるほど賢いが、リアルタイムで反応するには遅すぎるロボットか、あるいは、反応は速いが、見ているものを理解するにはあまりに愚かなロボットか、という選択です。

インドネシア、日本、ベルギーの研究チームは、別の進むべき道を提案しました。一つの巨大な脳にすべてを強制させる代わりに、互いに通信し合う2つの特化した部分に仕事を分割したのです。彼らの新しいフレームワークでは、高速で軽量なビジュアルシステムが物を見つける役割を担い、別の言語モデルが指示を理解し計画を立てる役割を担います。この分離により、ロボットは巨大な外部サーバーを必要とすることなく、小型の組み込みコンピュータ上で動作することが可能になります。研究者たちは、公共の建物内で人々を案内するために設計されたガイドロボットを用いてこの手法をテストしました。その結果、タスクを分離しておくことで、ロボットは複雑なコマンドを理解し、物体を見つけ、特定の場所へ移動することを高い精度で行える一方で、オールインワンのシステムよりもはるかに速く反応できることが分かりました。

使用されたロボットは標準的なモバイルベースに基づいて構築されていますが、単一のカメラと「Jetson Orin Nano」として知られるコンパクトなコンピュータチップを備えています。このチップは現代的なソフトウェアを実行するのに十分なほど強力ですが、壁のコンセントに繋がれたまま自由に動く必要があるロボットにも収まるほど小型です。研究者たちは、システムが「フロントオフィスに行って、人を探して」といった人間の自然な言語によるコマンドを受け取れるようにプログラムしました。ロボットがこのようなコマンドを受け取ると、システムの言語部分がそれを一連のステップへと分解します。それは、ロボットが特定の場所に移動する必要があること、そしてその後で人を探す必要があることを判断します。決定的なのは、言語システムがビジュアルシステムに対して、「何が重要である可能性があるか」を推測させるのではなく、具体的に「何を探すべきか」を指示することです。

この分業こそが、システムの速度の鍵となります。従来のオールインワンのシステムでは、コンピュータは画像全体と文章全体を同時に処理しなければならず、それには長い時間がかかります。この新しいセットアップでは、言語モデルが「人」を探す必要があると素早く判断し、ビジュアル検出器に対して、その特定の物体だけを見つけるためのシンプルで短い指示を送ります。ビジュアル検出器は非常に高速に設計されており、カメラの映像をスキャンして、対象物が見つかったかどうかを報告します。ビジュアルシステムが部屋の中のあらゆるものを分析することに時間を浪費せず、言語システムがピクセルを解釈することに時間を浪費しないため、プロセス全体がはるかに速く進行します。研究者たちがこの速度差を測定したところ、ローカルで実行しているかクラウドサーバーに接続しているかにかかわらず、この分割されたシステムはオールインワンのシステムよりも3倍から20倍高速でした。

このアプローチが実際に機能するかを確認するため、チームは一連のテストを実施しました。まず、移動コマンドのみに従う能力をテストするため、「最も近い部屋へ行って」や「フロントオフィスへ行って」といった指示を出しました。これらのテストにおいて、ロボットはルートを計画し、96パーセントの確率で正しい目的地に到着しました。次に、ビジュアル要素を追加し、特定の場所へ行ってから「消火栓」「椅子」「人」などの特定の物体を探すよう指示しました。ナビゲーションと探索の両方を行うこれらのより複雑なシナリオでは、システムは84パーセントの確率で成功しました。発生した数少ない失敗は、通常、ロボットの単一のカメラが物体との正確な距離を判断するのに苦労し、物体に対して少し早すぎる、あるいは遅すぎるタイミングで停止してしまったことによるものであり、コマンドを誤解したり物体を見落としたりしたことによるものではありませんでした。

研究者たちはまた、このシステムをコンピュータ・シミュレーションから取り出し、実際の建物のロビーにある実際の物理的なロボットに搭載しました。彼らは同じ種類のコマンドを与え、ロボットは空間をナビゲートし、人々を探すために停止し、ユーザーに話しかけるといったタスクを確実に実行しました。この実世界でのテストにより、ソフトウェアの構造的な変更を一切行うことなく、人々が行き交い、照明条件が変化するような「現実の環境の乱雑さ」をシステムが扱えることが確認されました。結果として、ロボットは人間の声を解釈し、どこへ行くべきかを判断し、必要なものを見つけ、タスクを実行できる一方で、それらすべてをロボット自体に搭載された小型のコンピュータ上で動作させていることが示されました。

この研究は、サービスロボットの未来が、ロボットの「脳」をより大きく、より複雑にすることにあるのではなく、むしろ「考え方」を整理することにある可能性を示唆しています。見る仕事と推論する仕事を分けることで、研究者たちは、ロボットが高性能かつ効率的であることを証明しました。オールインワンのシステムは印象的ではありますが、移動するロボットの実用においては、しばしば「重すぎる」のです。このハイブリッドなアプローチは、ロボットが指示に素早く反応し、混雑した空間を安全に移動しながら、病院、ホテル、オフィスなどで人々を支援できる、実用的で効率的な道筋を提示しています。この研究は、ロボット工学のあらゆる問題を解決したと主張するものではありませんが、助けになるほど賢く、かつ有用であるほど速いロボットを作るための、明確で実証された手法を提供しています。