あなたは、ピーマン、靴、ランプ、そして中が空洞になった石といった、ランダムな物体で満たされた部屋を歩いているところだと想像してください。人間は単に「赤いもの」や「光るもの」として見るのではありません。人間は、そのピーマンには水が入る可能性があること、靴はハンマーになり得ること、そして石は椅子になり得ることを瞬時に理解します。この超能力は**アフォーダンス推論（affordance reasoning）**と呼ばれます。これは、物体の見た目や感触に基づいて、「それを使って何ができるか」を理解する能力のことです。ロボットが、サンドイッチを作ったり部屋を掃除したりといった、私たちの乱雑な現実世界で何か役に立つことをするためには、この同じ超能力が必要です。彼らは単に「コップを手に取れ」と言われるだけでは不十分です。「あそこにあるあれはコップだから、水を飲むために使える」ということを、たとえコップが半分隠れていたり、少し変な形をしていたりしても、理解できなければなりません。

大きな問題は、現在のロボットの脳は、自力でこれを理解するにはあまりにも愚かすぎるか、あるいは（巨大なAIモデルのように）あまりにも巨大で複雑すぎて、ロボットの頭の中に収めて素早く実行させることができないということです。彼らは言葉に惑わされるか、あるいは考えるのに時間がかかりすぎてしまいます。この論文は、Afford-Xと呼ばれる新しい解決策を紹介しています。これは「スマートでスリムなロボットの脳」のようなもので、画像とタスク（例：「体を拭く」）を提示されると、即座に最適な道具（タオル）を指し示し、邪魔なもの（ディストラクション）を無視するように特別に訓練されています。これはローカルコンピュータ上で動作できるほど小さく、リアルタイムで動けるほど速く、そして一度も見たことがない新しい状況にも対応できるほど賢いように設計されています。

問題点：名詞に気を取られるロボット

なぜこの論文が重要なのかを理解するために、あなたがロボットと一緒に「サイモンセイズ（イッツ・セイダー）」というゲームをしているところを想像してください。あなたが「何かでボトルを掃除して」と言います。標準的なロボットは、画像を見て、光るボトルを見つけ、すぐにボトルを掴んでしまいます。それは、動作である「掃除する」ではなく、名詞である「ボトル」に囚われてしまったために失敗したのです。ロボットは、ボトルが掃除される対象（ターゲット）ではなく、掃除するための道具（ツール）であると勘違いしてしまいました。これは、果物のサラダについての数学の問題を読んでいる学生が、「リンゴ」という単語に気を取られて、肝心の数学の問題を解き忘れてしまうようなものです。

現在のAIモデルは、ロボットのローカルコンピュータで動かすには大きすぎることが多く（巨大なサーバーを必要とします）、より小さなモデルは、道具と対象物の区別をつけるにはあまりにも愚かです。彼らには、ナプキンはボトルを拭くことができるが、ボトル自体は自分自身を拭くことはできない、といった「常識」が欠けています。

解決策：Afford-X と「先生と生徒」のトリック

著者たちは、Afford-Xと呼ばれる新しいシステムを構築しました。これは、ローカルデバイスに収まるほど「スリム」でありながら、驚くほど賢いAIモデルです。巨大にすることなく賢くするために、彼らは**知識蒸留（knowledge distillation）**と呼ばれる巧妙な訓練トリックを用いました。

熟練のシェフ（先生）が、完璧な料理を作る方法を知っているところを想像してください。シェフは、あらゆる食材の名前（例えば「ソファ」や「カップ」）を知っています。次に、生徒のシェフ（生徒）を想像してください。生徒は学ぼうとしていますが、まだ食材の具体的な名前を知ることは許されておらず、指示（例：「何かの上で心地よく座る」）だけを知っています。

この論文の手法は次のように機能します：

1. 先生は、具体的な名前（例：「ソファに座る」）を用いて学習します。
2. 生徒は、曖昧な言葉（例：「何かに座る」）を用いて学習します。
3. 先生は単に答えを教えるのではなく、生徒に「考え方」を教えます。それは、「この形が見えて『座る』という言葉を聞いたら、たとえその言葉を知らなくても『ソファ』だと考えなさい」と伝えるのです。

これにより、生徒（最終的なロボットモデル）は、あらゆる物体の名前の巨大なデータベースを必要とせずに、道具の「概念」を理解できるようになります。彼らは正しい物体が持つ「感覚」を学ぶのです。

秘訣：動詞への注意（Verb Attention）とバイ・フュージョン（Bi-Fusion）

ロボットが物体ではなく「動作」に集中するように、著者らはAIの脳に2つの特別なツールを追加しました。

• 動詞への注意（Verb Attention: VA）: これは動作を表す言葉のためのハイライター（蛍光ペン）のようなものです。ロボットが「ボトルを掃除して」と読み取ると、VAモジュールは「掃除する」という言葉に明るい光を当てます。これはロボットに対し、「おい、ボトルを見るだけじゃダメだ！『掃除するもの』を探せ！」と伝えます。これにより、ロボットが最も目立つ物体に気を取られるのを防ぎます。
• バイ・フュージョン（Bi-Fusion: BF）: これはロボットの「目（視覚）」と「脳（言語）」の間の双方向の会話です。単に画像と言葉を貼り合わせるのではなく、このモジュールによって両者が互いにやり取りすることを可能にします。目は「柔らかくて長方形のものが見える」と言い、脳は「それは体を拭くためのタオルのように聞こえる」と言います。彼らはメモを統合して、完璧な決定を下します。

訓練の場：LVIS-Aff と COCO-Aff

ロボットに賢さを教えるには、膨大な事例のライブラリを与える必要があります。著者らは、COCO-AffとLVIS-Affという2つの巨大な新しいデータライブラリを作成しました。

これらはロボットにとっての「大規模な模擬試験」のようなものです。単に写真を見せて「これは何ですか？」と聞くのではなく、これらのデータセットは画像とタスク（例：「〜で水を飲む」）を示し、ロボットはカップを見つけなければなりません。

• COCO-Affには、約112,000枚の画像と1,144種類の異なるタスクが含まれています。
• LVIS-Affはさらに大きく、119,000枚の画像と1,496種類のタスクを含み、1,000種類以上の異なる物体をカバーしています。

彼らは、GPT-4という巨大なAIを使用して、これらの練習問題を自動的に作成し、答えが理にかなっているかをチェックしました。これにより、ロボットはより幅広い経験から学ぶことができ、以前よりも新しい奇妙な状況に対処できるようになりました。

結果：速く、小さく、正確に

著者らは、シミュレーションされたロボットの世界（実際の部屋のように見える仮想環境）でAfford-Xをテストしました。結果は以下の通りです。

• 速度: Afford-Xは非常に高速です。**2.38 FPS（フレーム毎秒）**で画像を処理できます。これを比較すると、巨大なクラウドベースのAI（GPT-4Vなど）に同じ仕事をさせるよりも、50倍近く速いことになります。
• サイズ: このモデルは非常に小さく、パラメータ数はわずか1億8,700万です。これは、巨大なサーバーファームを必要とせず、ローカルコンピュータで動作できることを意味します。
• 精度: テストにおいて、Afford-Xは巨大なAIモデルを使用しない従来の手法と比較して、パフォーマンスを12.1%向上させました。また、著者自身の以前の成果をも1.2%上回りました。
• 汎用性: 未知のタスク（知らない物体を用いたタスク）に直面した際も、良好なパフォーマンスを発揮しました。例えば、新しいタスクにおいて、モデルは以前のデータセットを用いたモデルよりも精度を約24%向上させました。

ロボットの一日

これが機能することを証明するために、著者らはシミュレーション上のロボットアームにAfford-Xを搭載しました。彼らはロボットに「水で飲む」というタスクを与えました。

1. ロボットは、ボトル、グラス、カップ、スプーンが置かれた散らかったテーブルを見ました。
2. Afford-Xは、ボトル（保持するためのものであり、直接飲むためのものではない）やスプーンを無視して、カップが最適な道具であることを即座に特定しました。
3. その後、ロボットは動きを計画し、無事にカップを掴みました。

「ワークスペースを構築する」という複雑なテストにおいて、システムは大きなタスクを小さなステップ（テーブルを見つける、椅子を見つける、ランプを見つける）に分解し、それらを一つずつ実行しました。これらのシミュレーションにおいて、ロボットは**86%**の確率で正しい物体を見つけ、**45%**の確率でそれを掴むことに成功しました。（失敗の原因は、主にロボットの腕がスプーンのような細くて平らなものを保持するのが難しかったことであり、間違った物体を選んだことではありませんでした）。

なぜこれが重要なのか

この論文は、ロボットに常識を与えるために、巨大で遅いクラウドベースのAIは必要ないということを示しています。適切なデータで訓練されたスマートでスリムなモデルを使用することで、ロボットは現実世界で道具を素早く効率的に使う方法を理解できます。これは、スーパーコンピュータからの指示を待ってラボに留まっているのではなく、私たちの家庭や職場で実際に私たちを助けることができるロボットへと近づくための、極めて重要な一歩です。

著者らは、ロボットがまだ非常にトリッキーな状況、例えばカップと歯ブラシ立てが全く同じに見える場合や、物体が他のものの後ろに隠れている場合などに苦戦することを認めています。しかし、現時点において、Afford-Xは「小さく、速く、そして賢いロボットの脳」が可能であることを証明しています。