Zero-shot 2D Grounding with Novel Affordance Types

あなたがロボットに世界との関わり方を教えていると想像してみてください。あなたはロボットに「ナイフ」がどのような見た目であるかを伝えることができ、ロボットは写真の中からそれを見つけ出すことができます。しかし、ナイフが「何であるか」を知っていることは、それを使って「何ができるか」を知っていることと同じではありません。これが、物体認識と「アフォーダンス」の違いです。アフォーダンスとは、物体がその使い方について私たちに与えてくれる隠れた手がかりを指す、少し凝った言葉です。マグカップの持ち手は「握る」ことをアフォードし、ナイフの平らな面は「切る」ことをアフォードし、オレンジの皮は「剥く」ことをアフォードします。ロボットが私たちの雑多なキッチンやリビングルームで真に役立つ存在になるためには、単なる物体ではなく、それによる「動作」を理解する必要があります。

大きな課題は、これまでのほとんどのロボットの脳が、特定のテストのためだけに勉強する学生のように訓練されてきたことです。もしロボットがリンゴを「切る」方法を学んだとしても、トマトを「切って」と頼まれると混乱したり、その特定の動作を見たことがなければバナナを「剥く」方法が分からなかったりするかもしれません。それは、数学のワークシートの答えを暗記しているけれど、先生から似たような問題で数字だけを変えて出題されると固まってしまう学生のようなものです。科学者たちは、こうした未知の指示にも対応できるロボットを構築しようと試みてきましたが、これまでは主に新しい「物体」について教えることに焦点が当てられており、「動作」についてはあまり注目されてきませんでした。

本論文は、ロボットに「未知のアフォーダンス・タイプ（novel affordance types）」、つまり、明示的に教えられていない新しい物の使い方を扱うための新しい手法を紹介するものです。パデュー大学のHaomeng Zhang氏とRaymond A. Yeh氏は、既存のAIモデルは新しい物体を見つけることには長けているが、新しい動作を理解することには極めて劣っていることに気づきました。彼らは、この特定のスキルをテストするための新しい一連の課題（ベンチマーク）を作成しました。その結果、現在の最先端モデルは、物体を認識することには非常に賢いものの、もし特定の動作が学習データに含まれていなければ、「剥く」あるいは「座る」ための適切な場所を見つけるというタスクにおいて完全に失敗することを突き止めました。

これを解決するために、チームはAffordAnythingと呼ばれる新しいシステムを構築しました。これは、単に全体像を見るのではなく、小さな手がかりにズームアップする「探偵」のようなものだと考えてください。このシステムは、物体との相互作用が行われる場所は、通常、その物体の特定の部位（コップの持ち手や本の端など）であることを理解しています。あらゆる動作を丸暗記しようとする代わりに、このシステムは強力な事前学習済みAI（視覚言語モデル）を使用して、物体を小さなパッチ（断片）に分解し、どのパッチがその動作の言葉と一致するかを判断します。例えば、「切る」と言われれば鋭いエッジを探し、「持つ」と言われれば持ち手を探します。

研究者たちは2つのバージョンをテストしました。1つ目のAffordAnythingは「学習不要（training-free）」のバージョンであり、再学習を必要とせず、そのまま機能します。これは、既存の手法よりも大幅に優れた性能を示しました。2つ目のバージョンである**AffordAnything+は、「学習可能（trainable）」なアップグレード版であり、わずかな練習だけで、これらの手がかりをより上手く組み合わせる方法を学習します。新しいテストセットにおいて、このアップグレードされたモデルは、最高水準の従来手法と比較して、適切な場所を見つける精度（IoU@0.4による絶対的な向上として測定）を12.3%**向上させました。

本論文は、単に規模の大きい、よりスマートなAIモデルを使用したり、物体を認識したりするだけでは不十分であるという考えに対し、明確に反論しています。彼らは、最も高度なモデルであっても、動作が未知のものであれば失敗することを示しました。また、これらのモデルは「ナイフ」を認識することはできても、その動作と物体の形状との関係性を特定するように設計されていない限り、自動的に「剥く」方法を知るわけではないことも実証しました。研究結果は、ロボットを真に適応可能にするためには、固定された動作のリストを教えるのではなく、動作を可能にする物体のパーツについての推論方法を教える必要があることを示唆しています。著者らは、この新しいテストおよび構築方法が、指示が常に変化する現実世界において、ロボットをより柔軟で準備の整ったものにすることに貢献することを期待しています。