Retrospective Open-Vocabulary Memory for Long-Term Object Search

世界を移動するロボットは、視覚能力は向上していますが、物事が通常どこにあるかを記憶することに関しては依然として非常に不得意です。何度も訪れたことのある家の中で、失われた鍵を探す任務を与えられたロボットを想像してみてください。もしロボットが最後にその鍵を見た時のことしか覚えていなければ、昨日場所が変わっていた場合、間違った場所を探してしまうかもしれません。また、単に特定の場所に物が何回現れたかをカウントしているだけだと、自身の「運の悪さ」に騙される可能性があります。例えば、キッチンテーブルの前を100回通り過ぎたものの一度も目を向けなかった一方で、リビングのソファを一目見ただけで鍵を見つけたとします。単純なカウントでは、たとえ実際にはテーブルの方が本来の置き場所であったとしても、ソファこそが最適な探索場所であるとロボットに思わせてしまうのです。これが長期的な物体探索（long-term object much search）における核心的な問題であり、「オブジェクトが実際に存在する場所」と「ロボットが偶然見てしまった場所」を区別することなのです。

この問題を解決するために、シンガポール国立大学の研究者たちは、ロボットが環境のメモリを構築するための新しい手法を開発しました。彼らはこのシステムを、露出校正型遡及的オープンボキャブラリー・メモリ（ECROM：Exposure-Calibrated Retrospective Open-Vocabulary Memory）と呼んでいます。研究チームは、制御されたシミュレーションを用いて、隠されたパターンに従って物体が動く10種類のデジタルホームでこのシステムのテストを行いました。そこでは、ロボットの経路が意図的に変化させられ、一部の表面は頻繁に見える一方で、他の表面は見られる機会が少ないように設定されました。その結果、ロボットが見たものに対して、その表面を実際に見るチャンスがどれくらいあったのかという点を慎重に加重計算することで、ロボットが物体の真の習慣を学習できることが分かりました。これまで探すべきだと言われていないアイテムを探すよう求められた際、この新しいメモリシステムを用いることで、従来のメソッドよりも遥かに速く、かつ確実にターゲットを見つけることができました。

研究者が取り組んだ課題は、ロボットの動きに伴う混沌とした現実に基づいています。実際の家庭において、ロボットはあらゆる部屋の隅々まで完璧な明瞭さでスキャンすることはありません。キッチンの間を歩きながら天井を見ていたり、椅子によって一部が遮られているダイニングテーブルの横を通り過ぎたりすることもあればあります。もしロボットが、あるテーブル上の「麦わら帽子」を検知した回数と、アイランドカウンター上の回数を単純に比較した場合、もしアイランドの方を長く注視していたのであれば、答えを誤る可能性があります。帽子がテーブルの上にあるのが時間の半分であっても、もしロボットが常にアイランドばかりを見ていたなら、単純なカウントではアイランドが帽子の定位置であると示唆してしまいます。研究者たちは、物体が存在するかどうかを知るためには、存在の証拠と、それを観察できた機会を切り離して考える必要があることに気づきました。検出されなかったことは、ロボットが正しい方向を見ていた場合にのみ意味を持ちます。もしロボлоトが別の方向を見ていたのであれば、検出できなかった事実は何も教えてくれないからです。

このアイデアを検証するため、チームはLOOP-Benchと呼ばれるベンチマークを作成しました。これは10個の現実的な住居環境で構成されています。これらのシミュレーション内では、カップ、ハサミ、帽子などの物体が、隠された確率分布に従って様々な面に配置されました。ある物体は常に同じテーブルの上にあり、別のものはいくつかの場所の間を移動し、中にはほとんど出現しないものもありました。決定的なのは、ロボットの経路が物体の配置とは独立して生成されている点です。つまり、ロボットはテーブルのそばを10回通っても決してその面を明確に捉えない一方で、キッチンアイランドを一度だけ通過した際に完璧なビューを得ることもある、といった状況を作り出しています。このセットアップにより、メモリシステムは自分自身の移動パターンに惑わされることなく、物体の真の場所を特定することを強制されました。

新しいシステムであるECROMは、ロボットの履歴を「サポート（支持面）」と呼ばれる面のマップとして整理し、各パス中にそれぞれの面がどの程度可視であったかを正確に記録することで機能します。後に人間が特定のアイテムを探すよう指示すると、システムは過去の全行程を確認します。それは単なる検知数の集計ではなく、カメラにさらされていた表面の割合に基づいて確率を算出します。もしロボットがある面をはっきりと見たにもかかわらず物体を発見できなかった場合、システムはその場所に物体が存在するという確信度を強く下げます。しかし、もしロボットが表面をちらりと見ただけだったり、あるいは視界が遮られていたりした場合、システムはその未検出の結果をニュートラル（中立）として扱い、その箇所へのペナルティを課しません。これにより、ロボットは、対象となる表面が極めて稀にしか見えていない状態であっても、（見える時に初めて発見された唯一の場所であれば）その表面が目的物の定位置である可能性が高いことを学ぶことができます。

シミュレーションの結果は明白でした。研究者がこれまでに指示されていない物体を探すよう求めたとき、新システムはテストしたすべての既存手法を上回りました。予測精度を大幅に向上させただけでなく、より重要なことに、能動的な探索中の速度においても劇的な改善を示しました。シミュレーションにおいて、ECROMを使用するロボットは約59%の試行で見つけ出し、次点の優れた手法による約53%と比較して高い成果を出しました。さらに驚くべきことに、論文内の具体的なケーススタディでは、物体を見つけるために移動しなければならない距離が、17.8メートルからわずか3.2メートルへと激減しました。この効率性は、ロボットが既に除外した場所を彷徨ったり無闇に探し回ったりすることなく、チェックすべき価値のある表面を正確に把握できていることから生まれました。

これが単なるデジタルのトリックではないことを確認するため、チームは物理的なロボットであるHello Robot社製のStretch 3を用い、実世界のオフィス環境でもテストを実施しました。同様の探索タスクを実行し、赤いカップやハサミ、レトルト肉の缶などの実物を扱わせました。ロボットはデスクや棚の間を移動しながら、500平方メートルの空間をナビゲートする必要がありました。結果はシミュレーションと同様でした。新しいメモリシステムを使用したロボットは、15回の試行のうち14回で物体を発見しましたが、他の手法での成功は10回または11回にとどまりました。また、物理的なロボットの走行距離についても、従来のアプローチが平均29メートル近くかかったのに対し、新システムを用いた場合は平均19.4メートルとなり、明らかに短い距離で済みました。これは、観測の機会と物体の存在を分離するという論理が、不規則な照明や散乱物のある現実世界においても有効であることを証明しています。

研究者はまた、システムの主要な要素を取り除いたらどうなるかも調査しました。全ての表面を完全に見ることができたと仮定させて（実際にはそうでない場合も含め）、無理やり認識させるようにしたところ、性能が低下することが分かりました。そのような場合、ロボットは未検出を「不在の証拠」として処理してしまい、正しい場所を無視し始めてしまいました。同様に、視覚情報の強さを無視して、単に物体が見えたかどうかだけを見るように簡略化した場合には、精度の低さが露呈しました。これらのテストにより、本システムの成功は、二つの特定の要因——すなわち、表面が実際にどれほど可視であったかの厳密な会計と、視覚的エビデンスがいかに強力であるかについての微細な解釈の両方に依存していることが裏付けられました。

この研究は、ダイナミックで変化し続ける環境下で作動する必要があるロボットにとっての進むべき道を示唆しています。ただ前回の目撃時を思い出したり、遭遇回数を単純に集計したりするのではなく、周囲の世界の「習性」を理解することができるようになるのです。「最近コーヒーマグがカウンター上にない」としても、それが必ずしもマグがないことを意味するわけではありません。単にしばらくの間、そのカウンターを見ていなかっただけの可能性があるからです。自らの視力の限界を尊重するように設計されたメモリを持つことで、ロボットはより信頼できるパートナーとなり、周囲の世界が絶えず変動している中でも紛失物を探し当てることができるようになります。研究者たちは、コードとベンチマークデータを公開し、他者がこの基盤をもとに、より賢く、より鋭敏な機械を構築できるようにすることを計画しています。