ロボットアームがコーヒーマグに手を伸ばす場面を想像してみてください。成功するためには、機械は同時に3つの異なるパズルを解かなければなりません。まず、マグのどの部分が重要か（縁ではなくハンドルであること）を判断し、次にその部分が視覚的な世界の中の正確にどこにあるかを特定し、そしてその部分がどのような動作を誘発するか（押すのではなく、掴むこと）を理解しなければなりません。長年、研究者たちは人工知能システムに対し、物体に対してロボットが何をすべきかを記述させることで、これらのタスクをテストしてきました。ある最近の付随研究では、単に「マグを掴め」と言う代わりに、「ハンドルを掴め」とターゲットとなる部位の名前を伝えるだけで、システムの性能が劇的に向上することを示唆しました。これは希望に満ちた結論へとつながりました。つまり、AIがついに画像を見て、物体の物理的なメカニズムについて推論することを学習したのだというものです。

しかし、GroundBenchと呼ばれる新しい調査は、この結論は時期尚早である可能性を示唆しています。マニパル大学ジャイプル（Manipal University Jaipur）のサッティゲリ氏率いる研究チームは、AIが実際に物体を見る力を学んでいるわけではないのではないかと疑いました。むしろ、彼らはシステムがあるショートカットを利用しているのではないか、すなわち、「ハンドル」のような特定の言葉は、実際の画像が何を示していようとも、ほぼ常に「掴む」というアクションと組み合わされることを単に記憶しているだけなのではないか、と考えました。これを検証するために、彼らは「画像内のパーツを見つける能力」と「言葉に基づいてアクションを推測する能力」を分離するように設計された、厳格な新しいベンチマークを構築しました。彼らはただAIにタスクを実行させたのではありません。情報の断片を一つずつ体系的に取り除いていくことで、どの具体的な手がかりが成功を導いているのかを調べたのです。

研究者たちは、主要な人工知能モデルの3つのバージョンをテストするために、6つの異なるシナリオ（条件）を構成しました。第1のシナリオでは、AIはテキストによる指示なしで、キーボードやドアといった物体の画像のみを見ます。第2では、「キーボード」といった物体の名前を追加します。第3では、「スペースバー」のように特定の部品の名前を指定します。第4では、画面上の特定の点とそれを囲むボックスを用いて、その部品の正確な位置を提供しますが、部品の名前は意図的に伏せられます。第5では、名称と位置の両方を与えます。最後となる第6では、ヒンジなのかスライダーなのかといった、物体がどのように動くかに関する技術的な詳細を加えます。

結果は衝撃的であり、直感に反するものでした。研究者がAIにターゲットの部分の正確な場所を与えたものの、それが何と呼ばれているかを教えなかったとき、システムのパフォーマンスは崩壊しました。テストされた3つのモデルすべてにおいて、正しいアクションを選択する精度はランダムな推測レベル、あるいはそれ以下にまで低下しました。あるモデルは、ボタンの位置を与えられたにもかかわらず、その名前を知らされないとスコアはわずか0.26となり、画像を完全に無視した単純なベースラインのスコアである0.53を下回りました。そのAIは示された場所を完璧に再現でき、研究者が指し示した場所に正確に「指」を置くことができたのですが、その場所に対して何をすべきかは全く理解できていませんでした。まるで、ロボットはそのボタンが見えているのに、ボタンとは押すためのものであるという概念を持っていないかのようでした。

対照的に、研究者がAIに部品の名前を与えつつも、その位置を隠した場合、パフォーマンスは急上昇しました。位置情報のみを与えられた際に失敗した同じモデルたちが、「ボタン」や「ドア」という名前を与えられると、（たとえそれがどこにあるか見えていなくても）正解率は0.68から0.74の間へと跳ね上がったのです。このパターンは一貫していました。部門のカテゴリー名が与えられた瞬間、AIはほとんどの場合、正しいアクションを当てることができました。研究者は、精査されたオブジェクトのセットにおいて、部品の名前さえあれば答えを決定するには十分であることを発見しました。AIは物理現象を理解するために画像を見ているのではなく、単語を読み取り、あらかじめ学習された関連性を想起していたのです。

この疑念を裏付けるために、研究者は画像を完全に取り除き、テキストのみに基づいて回答させるコントロール・テストを実施しました。テストされた最も高度なモデルにおいて、画像を取り除いても、部品の名前が提供された条件下でのパフォーマンスに変化はありませんでした。モデルは画像を見ることなく、同等の、あるいはむしろ高いスコアを出しました。これは、システムがビジュアル・グラウンディング（言葉を画像の特定のピクセルに結びつけるプロセス）を使用しているのではなく、テキストベースのショートカットに依存している強力な証拠となりました。AIにとって、「ヒンジ式のドア」は「引く」、「スライダースイッチ」は「押す」という意味であることを知っていたのは、目の前のドアやボタンのメカニクスを理解していたからではなく、トレーニングデータの中でそれらの組み合わせを目にしたからです。

また、本研究では、AIが「ひっかけ問題」に従えるかどうかもテストされました。多くのキーを持つキーボードなどの複数のパーツを持つ物体の画像を用い、あまり使われない特殊なキーなど、非標準的なパーツに対するアクションを行うよう求めました。研究者は、AIが本当にその特定のキーを見ているのか、それとも物体全体の最も一般的なアクションにデフォルト設定してしまうのかを確認しようとしたのです。モデルはおおむね新しい指示に従いましたが、要求されたアクションが珍しいもの（例えば、垂直方向に持ち上げるなど）であった場合、著しく苦戦しました。これらのケースでは、モデルはしばしば標準的なアクションに戻ってしまう傾向があり、真の意味で視覚的なシーンを分析しているのではなく、依然として最も一般的な連想に頼っていることを示唆していました。

おそらく最も驚くべき発見は、情報を追加することが必ずしも助けにならないということでした。研究者がAIに場所と部品の名前を与え、さらに物体がどのように動くかについての詳細な機械的説明を加えたところ、パフォーマンスは逆に低下しました。モデルは改善されず、むしろ精度が下がりました。これは、余分な情報がシステムを混乱させたり、部品の名前だけを使うというシンプルかつ効果的なショートカットから注意を逸らしたりしたことを示唆しています。研究者は、これらの特定のタスクにおいては、データの多さが優れた推論を意味しないと結論付けました。

この研究が持つ意義は極めて大きいです。それは、ロボット工学および人工知能の分野における重要な指摘となります。高いスコアが誤解を招く可能性があることを明らかにしています。AIはある種の物理的推論の達人であるように見えるかもしれませんが、実際には単なる言葉の連想の達人に過ぎないことがあります。以前の研究で見られたような、部品の名前を与えることで精度が大幅に向上するというドラマチックな改善は、AIが突然、より良く見ることを学習したためではなく、名前自体の中に答えが含まれていたためであった可能性が高いことを研究者は突き止めました。この研究は、これらのモデルが視覚的推論を行えないと主張しているのではなく、あくまで「これらの特定の条件下においては」、それを使っていないことを示しているのです。

GroundBenchは診断ツールとしての役割を果たしており、AIのパフォーマンスの層を剥ぎ取って、その下で実際に何が起きているのかを可視化します。視覚的な位置と意味的な名称を切り離すことで、研究者はモデルが行っているように見えることと、実際に行っていることとの間のギャップを露呈させました。彼らは、名前が取り除かれると、場所が明確であってもモデルはアクションを見つけられないことを発見しました。これは、これらのシステムにとって、真の機械的推論への道がいまだに予想以上に遠いことを示唆しています。彼らはまだ、物体を見てその機能を理解する方法を学ぶことはできていません。「聞いた言葉を、目に見える物理的世界に結びつける方法」ではなく、「言葉を聞いて関数を推測する方法」を学んだだけなのです。この研究は敗北の宣言ではなく、進むべき方向を示す明晰な地図を描いています。それは、これまで彼らを支えてきた便利なショートカットに頼るのではなく、聞こえてくる言葉を、眼前に広がる物理の世界と真に接続できるシステムを築き上げることです。