Position: Vision-Language-Action Models Cannot Be Verified to Perform Physical Reasoning

ビッグアイデア：料理ができない「スマートなシェフ」

あらゆる料理本を読み、あらゆる料理番組を視聴し、インターネット上の何百万もの料理の説明を暗記している、非常に賢いシェフを想像してみてください。このシェフは、「スパイシーなトマトスープ」がどのような見た目で、どのような香りがし、レシピに何と書いてあるかを正確に知っています。

ここで、このシェフに実際のキッチンで実際に作るよう頼んだとしましょう。

この論文は、現在私たちは、このシェフがスープを完璧に「描写」できたり、正しい材料を指し示せたりするだけで、合格点を与えてしまっていると主張しています。私たちは、彼らが言葉や画像をこれほどよく理解しているなら、重い鍋を扱ったり、火加減を調整したり、手を火傷しないようにかき混ぜたりする方法も分かっているはずだ、と思い込んでいるのです。

著者はこう言います。「私たちは、彼らが実際に料理できるかどうかをまだテストしていない。単に、料理について『語れる』かどうかをテストしただけなのだ」と。

問題点：「知っていること」と「できること」の混同

この論文は、**VLA（Vision-Language-Action：視覚・言語・行動）**モデルと呼ばれるロボットの脳に焦点を当てています。これらのロボットは、インターネット上の写真やテキストで学習した巨大な「VLM（視覚言語モデル）」を使用して、何をすべきかを判断します。

著者はロボットの脳を2つの部分に分解しています：

1. セマンティック・マップ（「何が」の部分）： これは物体を認識する部分です。赤いボールを見て、「これはボールである。指示は『ボールを持ち上げろ』と言っている」と理解します。この部分は、言語や画像を理解することに長けています。
2. 物理的な決定（「どのように」の部分）： これは、どのようにしてボールを掴むかを判断する部分です。滑りやすいか？ 重いか？ もし強く掴みすぎたら、壊れてしまうか？ これには、物理学、重さ、摩擦の理解が必要です。

欠陥： 論文は、現在のロボットには隠れた前提があると言います。それは、**「もしロボットが画像と言葉を完璧に理解していれば、自動的に腕を正しく動かす方法も分かるはずだ」**という前提です。

著者は、この前提は**「未証明」**であると述べています。ロボットが写真の中で「重くて滑りやすいカップ」を識別できたとしても、それを落とさないためにどれくらいの力を加えるべきかを知っているとは限らないのです。

なぜ区別できないのか？（「スコアカード」の問題）

現在、私たちはロボットにタスク（「カップをテーブルの上に置く」など）を与え、それが成功するかどうかでテストしています。もしカップがテーブルの上にあれば、「成功」スコアを与えます。

論文は、このスコアカードは壊れていると主張しています。なぜなら、ロボットがなぜ成功したのかを教えてくれないからです。

• シナリオA： ロボットが言葉を理解し、物理法則を理解し、素晴らしい仕事をした。（真の成功）。
• シナリオB： ロボットは、物理を理解していなくても、トレーニングデータの中に同じ設定があったために、正しい動作を「推測」して当たった。（ラッキーな当て推量）。
• シナリオC： ロボットは言葉を完璧に理解していたが、カップが重すぎたために持ち上げることに失敗した。（物理的な失敗）。

例え話： 数学のテストを受けている学生を想像してください。正解を出せば、私たちはその子が数学を知っていると仮定します。しかし、もしその子が単に解答集を暗記していただけだったら？ あるいは、勘で当たっただけだったら？
現在のロボットのテストは、最終的な答えだけを見るテストのようなものです。彼らが実際に「計算（物理）」をしたのか、それとも単に「パターンの一致（セマンティックな推測）」を行ったのかを確認していないのです。

「ナラティブ・ドリフト（物語の漂流）」

論文は**「ナラティブ・ドリフト（Narrative Drift）」**と呼ばれる現象について説明しています。

1. 最初のロボット： 「インターネットの知識を使って腕を制御するロボットを作った。少しは動く！」
2. 2番目のロボット： 「もっと大きなものを作った！ もっとうまく動く！ これはインターネットの知識が物理学に強くなっているに違いない！」
3. 3番目のロボット： 「さらに大きなものを作った！ これは素晴らしい！ これは物理学の天才に違いない！」

著者は、これは私たちが自分自身に言い聞かせ続けている物語だと述べています。ロボットのスコアが少し上がるたびに、私たちは「インターネットの知識（VLM）」が物理学の役割を担っていると考えていますが、実際には物理学の部分を分離して証明したことは一度もありません。インターネット上の写真は、レンガがどれほど重いかを教えてはくれないにもかかわらず、私たちはただ「インターネットの知識」が主導権を握っていると仮定し続けているのです。

3つの混乱レベル

論文は、なぜ私たちが何が起きているのか判断できないのかを、3つのレベルで説明しています。

1. レベル1（結果）： 成功は見えているが、それがタスクを理解したためなのか、単に正しい動きを推測したためなのかが分からない。
2. レベル2（ソース）： ロボットが「インターネットからの読書（VLM）」から学んだのか、「ロボットとしての訓練（物理的な練習）」から学んだのかが分からない。これらが混ざり合っている。
3. レベル3（脳）： 腕を動かすことを教えたときに、ロボットが持っていたスマートな「インターネット的な推論」スキルを、実は失ってしまったのではないか？ 例えば、不可能なタスクに対して「ノー」と言う方法を忘れてしまい、ただ「実行」することだけに特化してしまったのではないか？

解決策：より優れたテスト

著者は、これらのロボットが無用だと言っているわけではありません。ただ、推測をやめるべきだと言っているのです。彼らは新しいテスト方法を提案しています。

「制御された変動（Controlled Variation）」テスト：
単にロボットにタスクを与えて勝敗を見るのではなく、一度に一つずつ要素を変える必要があります。

• 「何が（What）」をテストする： 物理的な世界は全く同じに保ちつつ、言葉や画像を変える。ロボットは依然として何をすべきか理解できるか？（これは言語部分をテストします）。
• 「どのように（How）」をテストする： 言葉と画像は全く同じに保ちつつ、物理特性を変える（例：物体を重くする、またはテーブルを滑りやすくする）。ロボットは依然として成功できるか？（これは物理部分をテストします）。

これを行うことで、ようやくこう言えるようになります。「よし、このロボットは言葉を理解することには長けているが、物理が変わると失敗する」あるいは「このロボットは物理には長けているが、新しい言葉によって混乱してしまう」といった具合に。

結論

この論文は、**「世界についての知識（インターネットから得たもの）」が、「世界の中での動き方（物理学）の理解」**と同じであると決めつけるのをやめようという呼びかけです。

現在、私たちはロボットがタスクについて「語る」のが上手いことをもって、彼らが「実行する」ことも上手いと見なして称賛しています。著者は、これら2つのスキルを分離するより優れたテストを構築し、ロボットが本当に物理的なエージェントとして学習しているのか、それとも単に高度なパターンマッチングを行っているだけなのかを、実際に解明することを求めています。

要するに：ロボットが「重い」という言葉を知っているからといって、重い箱を持ち上げられるとは限らない。実際に持ち上げられるかどうかをテストする必要がある、ということです。