Probing Embodied LLMs: When Higher Observation Fidelity Hurts Problem Solving

技術的サマリー：具現化された LLM の探査：より高い観測忠実度が問題解決を阻害する際

問題定義
大規模言語モデル（LLM）は、非構造化環境で動作するロボットシステムの認知コンポーネントとして、ますます展開されるようになっている。しかし、その不透明な意思決定プロセスにより、閉ループの具現化タスクにおいて、真の推論能力と偶発的な成功を区別することが困難である。成功率の集計値などの性能指標は、エージェントがタスクを解決したのが、一貫した推論によるものか、偶発的な探索によるものか、あるいは知覚的誤りと推論の失敗との相互作用によるものかを明らかにすることができないことが多い。具体的には、観測入力（生センサーデータから完全な記号化された真実値まで）の忠実度が、具現化された LLM エージェントの行動メカニズムにどのように影響するかは依然として不明である。

手法
著者らは、システム同定と整合する経験的 AI 手法を採用し、LLM エージェントを、制御された介入を通じて探査される不透明なシステムとして扱う。

• タスク: 本研究は、4 つの関節に隠れた相互依存関係を持つ逐次的な機械的パズル「ロックボックス」を利用する。目的は、特定の順序で関節を操作して箱のロックを解除することである。このタスクには、時間経過に伴う観測の統合と、潜在状態の依存関係の推論が必要である。
• 実験設定:
  • 物理的設定: フランカ・エミカ・パンダ（Franka Emika Panda）のロボットアームが、ソフトエンドエフェクタを用いて物理的なロックボックスを操作する。システムは RGB-D カメラと力覚・トルクセンサーを使用する。
  • シミュレーション: 制御されたシミュレーション環境は、物理的な作動のばらつきから推論問題を分離し、観測チャネルの体系的な擾乱を可能にする。
• 介入: 本研究は、LLM に提供される観測忠実度を 3 つのモダリティで変化させる（物理実験では OpenAI GPT-o1、シミュレーションでは GPT-4o）：
  1. RGB: 生の視覚画像。
  2. RGB-D: 深度データで拡張された視覚画像。
  3. 真実値の記号状態: 関節状態の明示的なテキスト記述であり、ビジョンパイプラインを完全にバイパスする。
• 探査メカニズム: シミュレーションにおいて、著者らは確率的な影響を性能に与える影響をテストするため、行動の知覚された結果（状態の反転）を確率（0% から 60%）を変えてランダムに反転させることで、制御された観測ノイズを導入する。

主要な結果
本研究は、観測忠実度とタスク性能の間に直感に反する関係が存在することを明らかにする：

1. 忠実度対性能: より正確な観測が推論を改善するという仮定とは対照的に、エージェントは生の RGB 入力で最も良く、完全な真実値の記号状態で最も悪く動作した。RGB-D モダリティは中間的な結果をもたらした。
   • GPT-o1 は RGB 入力を用いて 11 ステップで 80% の成功率を達成したのに対し、真実値条件では同じ成功率に達するまでに 15 ステップを要した。
   • 人間に着想を得たヒューリスティックは 9 ステップで 100% の成功率を達成し、入力に関わらず LLM の非効率性を浮き彫りにした。
2. 誤解釈分析:
   • 視覚モダリティ（RGB/RGB-D）は高い状態誤解釈率（約 21〜27%）を示し、一貫性のない知覚的グラウンディングを示唆した。
   • 驚くべきことに、真実値条件でも約 5% の誤解釈率が見られ、明示的で正確なデータを受け取っているにもかかわらず、モデルが状態変化を「幻覚」したことに起因すると考えられた。
3. 非単調なノイズ応答: シミュレーションにおいて、中程度のノイズ（ランダムな状態反転）を導入することは、ノイズのないベースラインと比較して性能を向上させた。
   • 成功率は40% の状態反転確率でピークに達し、ノイズのないベースラインに対して2.85 倍の増加を達成した。
   • 性能は、より高いノイズレベル（>40%）で再び低下した。
4. 改善のメカニズム: 中程度のノイズ下での性能向上は、反復的な行動ループの減少と関連している。
   • 行動ループ（進展なしに行動のサブシーケンスを繰り返すこと）は、成功率と負の相関があった。
   • 完全な観測は、行動が期待された変化を生み出さなかった際に、エージェントがこれらのループに入り、そこに留まることを許容した。
   • 中程度の知覚的ノイズはこれらのループを破壊し、エージェントに代替行動を探索させることで、失敗のサイクルを破った。

主要な貢献

• 行動探査フレームワーク: 本論文は、結果ベースの指標のみに依存するのではなく、観測チャネルを攪乱することで潜在的な行動メカニズムを明らかにする、具現化された LLM を評価するための手法を確立する。
• 直感に反する忠実度の発見: より高い観測忠実度が、具現化された LLM における問題解決を能動的に阻害し得ることを実証し、「より良いデータ」が「より良い推論」につながるという標準的な仮定に挑戦する。
• 失敗モードの特定: 本研究は、「反復的な行動ループ」を具現化された LLM の重要な失敗モードとして特定し、知覚的誤りが再帰的な意思決定パターンを攪乱することで、この問題を偶発的に緩和し得ることを示す。

意義と主張
著者らは、成功率のみが具現化された LLM を評価するには不十分であると主張する。測定された性能は、堅牢な問題解決能力ではなく、知覚的誤りと推論の失敗との「偶発的な相互作用」を反映している可能性がある。

本論文は、閉ループ相互作用において、観測は単なる受動的な入力ではなく、意思決定のダイナミクスを能動的に形成すると論じる。したがって、低忠実度入力下で優れているように見える性能は、より強力な推論の証拠として解釈されるべきではない。むしろ、それは、正確なフィードバックによって維持される特定の失敗モード（行動ループなど）を、累積的な知覚的誤りがたまたま破壊するという副作用を反映している可能性がある。

著者らは、具現化された LLM の厳密な評価には、知覚的限界と推論能力を解きほぐすために、現実世界の閉ループベンチマークと制御された行動介入の組み合わせが必要であると結論づける。また、これらの知見は評価されたモデルとタスクに固有のものであり、これらの行動が異なるモデルアーキテクチャやプロバイダ間で一般化するかを決定するための将来の作業を呼びかけている。