💻 computer science

HumanCLAW: Can Vision-Language Models Act Through a Body?

本論文は、身体的知能を評価するために視覚言語モデルの意思決定と運動実行を分離するフレームワークであるHumanCLAWを導入し、現在のモデルが長期的な物理タスクに失敗する主な原因は、認識能力の欠如ではなく、身体的自己意識の欠如であることを明らかにしている。

原著者： Siyao Li, Jiawei Gu, Shuai Liu, Kairui Hu, Zekun Li, Linjie Li, Chengcheng Tang, Po-Chen Wu, Ivan Shugurov, Lingni Ma, Michael Zollhoefer, Sizhe An, Abhay Mittal, Amy Zhao, Ranjay Krishna, Manling Li

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siyao Li, Jiawei Gu, Shuai Liu, Kairui Hu, Zekun Li, Linjie Li, Chengcheng Tang, Po-Chen Wu, Ivan Shugurov, Lingni Ma, Michael Zollhoefer, Sizhe An, Abhay Mittal, Amy Zhao, Ranjay Krishna, Manling Li, Ziwei Liu, Chuan Guo

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、非常に賢いロボットにビデオゲームを教えていると想像してください。しかし、これは単なるゲームではありません。ロボットは、つまずいたり、転んだり、壁にぶつかったり、花瓶を倒したりする可能性がある、現実の物理的な体を制御しなければならないゲームです。人工知能の世界には、ロボットのための主に2種類の「脳」があります。1つのタイプは、何百万もの特定の飛行経路を暗記したパイロットのようなものです。以前に見たことを正確に実行することには長けていますが、もし風向きが変われば、墜落してしまうかもしれません。もう1つのタイプは「視覚言語モデル（VLM）」です。これは、膨大な本のライブラリとカメラの目を持ったロボットだと考えてください。物語を読み、写真を見て、「赤いソファを見つけてそこに座る」といった複雑な概念を理解することができます。これらは推論や会話には驚異的ですが、実際に体を使って「動いた」ことは一度もありません。

大きな疑問は、科学者たちが今まさに問いかけていることです。「この本に詳しいロボットは、実際に現実世界で何かをすることができるのだろうか？」ということです。例えば、「キッチンへ行く」という高度なアイデアを、転ばずに歩くために必要な、一瞬一瞬の細かな筋肉の動きへと変換できるのでしょうか？通常、ロボットが失敗したとき、それが「脳」の判断ミス（壁に向かって歩いてしまったなど）なのか、それとも「体」が仕事をこなせなかったのか（バランスを崩したなど）を判別するのは困難です。この謎を解くために、研究者たちは、思考と動作を切り離し、ロボットの脳のどこで行き詰まっているのかを正確に特定する方法を必要としました。

ここで、HumanCLAWと呼ばれる新しい研究が登場します。研究者たちは、スマートなAIの脳が、物理的な世界の中で人間のような体を制御できるかどうかを確かめるための、特別なテスト環境を構築しました。彼らはAIに動き方を訓練したわけではなく、単にカメラと目標、そして「前へ歩く」「回転する」「座る」といった基本的な動作のリストを与えただけでした。そして、AIが41種類の異なる仮想の家の中をナビゲートして、物体を見つけ出し、そこに座るようにさせたのです。

結果は衝撃的なものでした。現在存在する最もスマートで高度なAIモデルでさえ、ほとんどの場合で失敗したのです。最高のモデルでさえ、試行回数のわずか**16.8%**にしか成功しませんでした。つまり、**83%**以上の確率で失敗したことを意味します。

ここからが奇妙な点です。AIは「目が見えなかった」ために失敗したのではありません。ターゲットとなる物体（ソファなど）が実際に画面に現れたとき、AIはほぼ常にそれを認識していました。AIは何を見ているのかを理解していたのです。問題は「見ること」ではなく、「それがどこにあるのかを知ること」でした。

研究者たちは、これらのAIモデルが深刻な「身体失認症（ボディ・アムネジア）」に陥っていることを発見しました。彼らは、家具を完璧に見ているものの、自分の足がどこにあるのか全く分かっていない幽霊のような存在なのです。AIが歩こうとするとき、すでにソファに到着しているのに歩き続けたり、あるいはまだ遠くにいるのに到着したと思い込んで早すぎる段階で止まってしまったりすることがよくありました。座ろうとするときは、ソファが真下にないことに気づかず、何もない空間に向かって体を下げ、空中に座ってしまうこともありました。また、壁にそのまま突っ込んだり、障害物に躓いたりしても、それに気づくことすらありませんでした。

この研究は、これらのAIモデルが世界を記述することには非常に優れている一方で、自分自身の置かれた状況を理解することには極めて劣っていることを示しています。彼らは椅子がどのような見た目であるかは説明できますが、転ぶことなくそこに座るための方法を見出すことはできません。研究者たちは、現実世界で真に活動できるロボットを作るためには、単に「見る」ことだけでなく、自分の体がどこにあり、周囲の世界とどのように相互作用しているかを「感じる」ことを教える必要があると結論付けています。この「身体化された自己意識（embodied self-awareness）」の問題を解決しない限り、たとえ最もスマートなAIの脳であっても、物理的な機械の中に閉じ込められた不器用な幽霊のままなのです。

技術要約: HumanCLAW

問題提起

Vision-Language Models (VLMs) が「行動知能（action intelligence）」、すなわち物理的な身体が次に何をすべきかを刻一刻と決定する能力を備えているかどうかを評価することは困難である。なぜなら、行動の結果は意思決定と低レベルの運動制御と結合しているからである。既存の評価では、失敗の原因が曖昧であることが多い。すなわち、VLMが不適切な戦略的選択をしたのか、それともモーターコントローラーがコマンドの実行に失敗したのか（例：バランスを崩すなど）を区別することが困難なのである。逆に、エンドツーエンドのVision-Language-Action (VLA) モデルは、推論と特定の制御ポリシーを絡め合っているため、汎用的なモデルの推論能力を単独で分離して評価することが難しい。さらに、多くのエージェント・ベンチマークは、物理的な動きを抽象化しており、重力や衝突といった物理的な結果を無視した、定義済みのスクリプトやシミュレーターを介してコマンドを実行している。

本論文は、現在のVLMsには身体的自己認識（embodied self-awareness）、すなわち、自身の身体の状態、シーンとの関係、および自身の行動による物理的な結果をオンラインで推定する能力が欠けていると断じている。この評価のギャップに対処するため、著者らは、物理的な結果を維持しつつ、行動の意思決定と低レベルの実行を切り離すフレームワークであるHumanCLAWを導入する。

手法

1. HumanCLAW フレームワーク

HumanCLAWは、既製のVLMが物理世界の中で凍結された意思決定者として機能する、クローズドループのサブ秒間インタラクション・サイクルを構築する。システムは以下のように動作する：

入力: 各タイムステップにおいて、VLMは一人称視点のRGB観測、過去の決定のテキスト履歴、および高レベルの指示（例：「ソファを見つけて座る」）を受け取る。
推論ハーネス（Reasoning Harness）: VLMは、出力を以下の要素に構造化するコンテキスト推論スキャフォールドによって導かれる：
1. 自我知覚（Ego-Perception）: 目に見える物体、距離、障害物を明示的に記述する。
2. 中レベル計画（Mid-Level Planning）: 数秒間有効な一時的な目標（例：「ソファに近づく」）を導出する。
3. 低レベルスキル選択（Low-Level Skill Selection）: 連続的なパラメータを持つ原子的なスキル（例：歩く、回転する、座る）を選択する。
4. 検証（Verification）: スキル固有の検証器が、実行前に提案された行動が空間的に安全であるか（例：壁にぶつからないか）をチェックする。
スキル条件付きモーション生成: VLMの原子的なスキルコマンドは、モーションジェネレーターに渡される。このジェネレーターは、AMASSデータで学習されたMotion Base DiT (Diffusion Transformer) を使用して、運動学的に連続な事前分布を提供する。スキル固有のプラグアンドプレイ型ControlNetアダプターが、選択されたスキルのパラメータ（例：歩幅、回転角）を注入し、コマンドを0.5秒間の全身運動のチャンクとして実現する。
移動分離型の物理シミュレーション: モーションチャンクは、「ハーフ・フィジックス（half-physics）」シミュレーター（AI HabitatとBullet上に構築）内で実行される。人体は、生成されたモーションから導出された運動学的速度によって駆動され、シミュレートされた関節トルクによって駆動されるのではない。この設計により、エージェントはバランスの喪失やモーターの追従エラーによって失敗することはないが、依然として物理的に世界と相互作用する（衝突、重力、物体の変位）。

2. HumanCLAW-Bench

著者らは、41の屋内シーン（HSSDから派生）にわたる1,218の長期的・一人称視点エピソードで構成されるベンチマークを構築した。

タスク: 「発見ーナビゲートー相互作用（Find-navigate-interact）」。エージェントはターゲットとなる物体を見つけ、そこへ移動し、相互作用しなければならない（具体的には、ソファやベッド、トイレなどの家具に対しては「座る」、その他の物体に対しては単に「移動する」）。
難易度の層別化: エピソードは、測地線距離、ナビゲーションの選択肢（回転数/部屋数）、および障害物の密度に基づいて、Easy、Medium、Hardに分類される。
メトリクス: 評価には、段階的な成功率（発見、ナビゲート、相互作用）、身体の意識（衝突頻度）、環境への乱れ（物体の変位）、行動の質（モーションのジャーク）、および計算コストが含まれる。

主な貢献

HumanCLAW フレームワーク: 既製のVLMが物理世界の中で自由に振る舞う制御された設定。意思決定が運動実行から分離されているため、失敗を意思決定者の行動知能に直接帰属させることができる。
HumanCLAW-Bench: 長期的な、クローズドループの全身意思決定をテストするための、段階的なメトリクスを備えた1,218のエピソードからなるデータセット。
包括的な評価: 9つの最先端のVLMを分析し、身体的自己認識が、知覚や運動制御よりも主要なボトルネックであることを特定した。

実験結果

著者らは、9つのフロンティアVLM（GPT-5.5、Gemini-3.1、Claude-4.8、および各種オープンソースモデルを含む）をこのベンチマークでテストした。

低い成功率: どのモデルもベンチマークを確実に解決できなかった。最も優れたモデルであるGemini-3.1でさえ、フルタスク成功率（発見 $\to$ ナビゲート $\to$ 相互作用）はわずか**16.8%**であった。
知覚 vs 行動: 知覚はボトルネックではない。ターゲットが一人称視点で見えている場合、モデルは高い精度でそれを認識する（可視性の範囲内であれば誤差5%以内）。失敗は、見ることから行動することへの移行段階で発生する。
ナビゲーションのボトルネック: 「ランディング率（見つけたターゲットに到達した割合）」が低い。主な失敗モードは**一人称視点の自己位置推定（egocentric self-localization）**である。エージェントは、ターゲットから遠い場所で早期に停止するか、到着した後もナビゲーションを続けてしまう。
相互作用の失敗: エージェントがターゲットに到達した場合でも、相互作用の失敗の**81%**は身体の配置エラー（例：薄い空気の上や、間違った物体の上に座る）によるものであり、「座る」という決定自体の失敗ではない。
身体の意識: エージェントは一貫して自身の身体部位を認識できていない。衝突は、エージェントが「見ていない」肢体（脚/足および腕/手）に集中しており、頭部が衝突することは稀である。エージェントは、世界を記述することには長けているが、自身の物理的存在を無視している「幽霊」のように振る舞う。
アブレーション研究の知見:
- 検証（Verification）は不可欠: スキル検証器を取り除くと、ナビゲーションの成功率は27%から2%へと崩壊した。
- 中レベルの推論は不可欠: 中レベルの計画ステップを取り除くと、相互作用の成功率は0%に低下した。これは、座るために必要なマルチステップのルーチンを維持できなかったためである。
- 履歴の長さ: 長いテキスト履歴は収穫逓減を示し、コンパクトな履歴で十分であった。
- 視覚的履歴: 過去のフレームを多く追加しすぎるとパフォーマンスが低下する。これは、モデルが現在のビューに対する推論においてボトルネックとなっていることを示唆している。

意義と主張

本論文は、HumanCLAWが現在のVLMにおける根本的なギャップを明らかにしていると主張している。すなわち、彼らは静的なシーンに対する強力な空間推論能力は持っているが、身体的自己認識が欠けている。彼らは世界を記述することはできるが、自身の身体状態を確実に追跡したり、目標に到着したかどうかを判断したり、あるいは自身の動きによる物理的な結果を予測したりすることはできない。

著者らは、この限界がVLMの学習パラダイム（視覚的質問応答：VQA）に起因すると主張している。VQAは、モデルにピクセルを記述することを教えるが、身体を「感じる」ことや物理的な結果を予測することを教えるものではない。彼らは、汎用的な行動知能は、行動データの適合ではなく、推論から生まれると断じている。意思決定者を固定し、モーター層を固定された事前分布とすることで、HumanCLAWは、現在の推論能力がまだ物理的な身体には及んでいないことを実証している。このベンチマークは、次世代のエージェントに対するストレス・テストとして機能し、進歩のためには単に知覚を向上させたり、より多くの軌跡データを収集したりするのではなく、固有受容感覚のような推論と空間的な自己位置推定を統合する必要があることを強調している。