Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

人間のような速度と精度で動くロボットは、根本的な問題に直面しています。それは、彼らの「目」と「筋肉」が同じ言語を話していないということです。ロボットに視覚を与えるカメラは、通常、1秒間に10回から30回程度しか世界の様子を更新しませんが、関節を制御するモーターは、安定性と安全性を維持するために、1秒間に数百回も位置を調整する必要があります。長年、エンジニアはこの問題を、遅いカメラのデータと速い筋肉のデータを完全に同期させることで解決しようとしてきました。つまり、本質的に、ロボットが動く前にカメラが追いつくのを待たせるようにしてきたのです。このアプローチは、ロボットが何かに触れようとしている瞬間の、極めて短い間隔の情報を捨て去ってしまうことになり、しばしば不器用な動作や遅延を引き起こします。

東莞市の大学の研究チームは、このミスマッチに対処するための異なる方法を提案しました。それは、ロボットの視覚と運動を、単一の同期されたデータブロックとしてではなく、別々でありながらも互いに接続されたストリームとして扱うというものです。彼らは「Geo-Reflex」と呼ばれる新しい制御システムを開発しました。これは、脳に着想を得たコンピューティングの一種を用いて、ロボットの高速で動く関節が即座に反応できるようにしつつ、低速なカメラ画像は「どこに注意を向けるべきか」を決定するためだけに利用するというものです。ロボットに動くたびに世界の完全な画像を入力する代わりに、このシステムはカメラの視野内にある物体の形状やエッジ（端）を見て、感度のレベルを設定します。ロボットの腕が鋭いエッジやコーナーの近くに移動すると、システムは腕の微細な位置の変化に対して非常に敏感になります。逆に、腕が平坦で空っぽの空間の上を移動しているときは、システムは視覚的なノイズを無視し、滑らかな動きだけに集中します。これにより、ロボットは新しいカメラフレームを待つことなく高速で移動しながら、視覚情報を使用して、手を正確に目的地へと導くことができるのです。

研究者たちは、深度センサー付きカメラを備えたヒューマノイドの腕から記録された、実際のロボットの動きのデータセットを用いて、このアイデアをテストしました。彼らは、同期されたデータを待機する標準的な人工知能モデルや、この特殊な視覚的ゲーティングを使用しない他の脳着想型ネットワークを含む、いくつかの既存の手法と比較しました。その結果、新しいアプローチは、正しい腕の動きを予測することにおいて著しく高い精度を示しました。テストにおいて、このシステムは、最高の精度を持つ従来の手法よりもわずかながらも一貫した差でエラーが少なく、すべてのデータを一度に処理しようとする標準的な脳着想型ネットワークよりもはるかに正確でした。おそらくより重要なことに、新しいシステムははるかに効率的でした。内部信号を常時発火させるのではなく、ロボットの腕が物体の幾何学的なエッジ付近にあるときなど、必要なときにのみ発火させたのです。この選択的な活動により、古い手法と比較して、コンピュータが処理しなければならない信号の数を約35パーセント削減できました。これは、ロボットがより速く動作し、より少ないエネルギーを使用できる可能性を示唆しています。

なぜこれが機能するのかを理解するには、システムがどのように情報を処理しているかを見るのが役立ちます。カメラは写真を撮ると、すぐにそれを分解して物体の輪郭を見つけ出し、注意をそらす可能性のある色や質感は無視します。これらの輪郭は、ロボットの内部の意思決定ニューロンの「閾値（しきいち）」を調整するために使用されます。この閾値を、ニューロンがいかに容易に信号を送れるかを制御する「ゲート」と考えてください。カメラが明確なエッジを捉えている領域では、ゲートが下がり、ニューロンはロボットの腕の小さな動きに対して非常に敏感になります。カメラが平坦で特徴のない背景を見ている領域では、ゲートが上がり、ニューロンに微細な変動を無視するように指示します。これは、ロボットの高速で動く関節が1秒間に数百回の頻度で位置を更新し続けられる一方で、視覚システムは、シーンの幾何学的構造が要求する場合にのみ、動作を微調整するために介入することを意味します。また、システムには滑らかで予測可能な動きのための直接的な経路も含まれており、ロボットが視覚的なノイズに過剰反応しないようにしています。

また、研究では、照明の悪化やカメラの歪みをシミュレートした、視覚入力が乱れたりノイズが混じったりした場合に、システムがどの程度耐えられるかもテストされました。このような困難な条件下でも、新しいシステムは他のシステムよりもはるかに精度を維持し、標準的な脳着想型ネットワークが示すほどの劣化は見せませんでした。これは、生のピクセルデータではなく、世界の幾何学的構造に焦点を当てることで、ロボットが他のシステムを混乱させるような視覚的エラーに対してより堅牢になることを示唆しています。さらに、現在の状態に基づいて将来の一連の動きを予測しなければならないシナリオをシミュレートしたところ、新しいシステムは競合する手法よりもエラーの蓄積がはるかに緩やかでした。これは、この手法が、長期にわたる精密な一連の動作を必要とするタスクにおいて、ロボットが自身の動作に対して安定した理解を維持するのに役立つことを示しています。

研究者たちは、彼らの研究が、現実世界でタスクを実行するライブのロボットではなく、記録されたロボットのデータを使用してテストされたものであることを認めています。したがって、結果はシステムがどれほど上手く動作を予測できるかを示すものであり、物理的な環境で物体を掴むことに成功できることを証明するものではありません。しかし、複数のテストにわたる結果の一貫性と、効率性の明確な向上は、この方法が、視覚と運動を組み合わせるための有望な方向性であることを示唆しています。ロボットの高速な内部クロックを独立して走らせつつ、低速なカメラを「関与のルール」を設定するためだけに利用することで、Geo-Reflexは、ロボットの素早さと器用さを長らく制限してきたタイミングのミスマッチに対する実用的な解決策を提供します。この知見は、ロボットが人間のように流暢に動くためには、目と体を全く同じ速度で動かそうとするのではなく、世界の形が要求するときにのみ、目が手を導くように学習する必要があることを示唆しています。