🤖 AI

PRISM: Perception Reasoning Interleaved for Sequential Decision Making

PRISMは、LLMがVision-Language Modelに対して能動的に批判や問いかけを行う動的な質疑応答パイプラインを用いることで、エンボディド・エージェントにおける知覚・推論・意思決定のギャップを埋める完全自動化されたフレームワークであり、ALFWorldやRoom-to-Roomといったベンチマークにおいて最先端のモデルを大幅に上回る性能を示している。

原著者： Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

公開日 2026-06-15

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

暗い部屋の中で複雑なパズルを解こうとしている場面を想像してください。ただし、一度にわずかな光の筋しか見ることができません。あなたには、写真を撮ってそこに見えるものを説明できる**フォトグラファー（視覚モデル）と、盲目ではあるものの論理的思考と計画立案に長けたディテクティブ（言語モデル）**がいます。

現在のほとんどのロボットシステムでは、フォトグラファーがパッと一瞥し、「テーブルと椅子が見えます」といった一般的な説明を書いて、ディテクティブに渡します。するとディテクティブは、卵を掴んで温める方法を考えようとします。問題は、フォトグラファーが「卵がナプキンの下に隠れていること」や「マイクロウェーブブーブンではなく実はトースターであること」を見逃してしまうことです。不完全な情報に基づいて作業を行うディテクティブは、ミスを犯してしまいます。

PRISMは、これを一方的な情報の受け渡しではなく、動的な対話に変えることで、この状況を一変させます。

PRISMのアプローチ：電話中のディテクティブとフォトグラファー

単に静的なレポートを渡すのではなく、PRISMはフォトグラファーとディテクティブの間にクローズドループの会話を構築します。

第一印象： フォトグラファーがシーンを見て、大まかな説明を行います。
ディテクティブによる批評： ディテクティブは説明と目標（例：「卵を温める」）を読み取ります。そして即座に欠落に気づきます。「待て、卵がどこにあるのか、あるいはマイクロウェーブがあるのかどうかを教えてくれていないぞ！」
的を絞った質問： フォトグラファーに部屋全体をもう一度説明させるのではなく、ディテクティブは具体的で目標指向型の質問を投げかけます。「マイクロウェーブは見えますか？」あるいは「カウンターの上に卵はありますか？」
具体的な回答： フォトグラファーは精神的にズームインし、その特定の質問にのみ答えます。
最終ブリーフィング： ディテクティブは元の説明に新しい回答を加え、タスクを解決するために正確に必要とされる、完璧で簡潔な要約を作成します。

なぜこれが重要なのか（PRISMの「魔法」）

この論文は、この手法が主に3つの問題を解決すると主張しています。

「ハルシネーション（幻覚）」の罠を防ぐ： 単にフォトグラファーに「マイクロウェーブを探して」と頼むと、彼らは目標に応えようとしすぎるあまり、存在しないマイクロウェーブを想像してしまうことがあります。PRISMは、最初の現実を確認した後にディテクティブが質問を行うことで、事実に基づいた状態を維持し、これを回避します。
ノイズを削ぎ落とす： 何か質問をするたびに、著者が本全体を再掲し、そこに回答をハイライトして貼り付けてくる小説を読んでいる状況を想像してください。それが他の手法です。PRISMは、新しい情報を取り込み、短く明快な物語へと編み上げる熟練のエディターのようなものです。これにより、ロボットが正しい判断を下すことが非常に容易になります。
自律的に学習する： このシステムは、「冷蔵庫をチェックせよ」や「コンロをチェックせよ」といった質問リストを人間が書く必要はありません。ディテクティブ（AI）が、特定の状況に基づいてどのような質問をすべきかを自ら判断します。

結果：ゲームにおける優位性

研究者たちは、この「ディテクティブとフォトグラファー」のチームを2つのビデオゲームのような世界でテストしました。

ALFWorld： 家事（掃除、食品の加熱、物の持ち上げなど）を行う世界。
Room-to-Room： 特定の部屋を見つけるために家の中を歩き回るナビゲーションタスク。

論文の主張：

PRISMは、カメラと脳を単に連携させているだけのロボットを大幅に上回りました。
ケースによっては、「チートコード（部屋の完璧なテキスト記述）」にアクセスできるロボットにさえ勝利しました。これは、PRISMが適切な詳細を見つけ出す能力に非常に長けていたためです。
すべて自動で行われます。質問を生成するために人間が介入する必要はなく、AIがその場で何を尋ねるべきかを判断しました。

結論

PRISMを、相手が正しいことを言ってくれることをただ祈りながら座っているだけの「ブラインド・デート」と、相手を完全に理解するためにフォローアップの質問を投げかける「素晴らしい会話」の違いとして考えてみてください。ロボットの「脳」が「目」に対して積極的に問いかけることで、ロボットは推測をやめ、成功するために正確に何が必要かを理解し始めるのです。

技術要約: PRISM – 逐次的な意思決定のための知覚・推論インターリーブ

1. 問題提起

大規模言語モデル（LLM）と視覚言語モデル（VLM）を、身体性エージェントの逐次的な意思決定へと統合する際には、「知覚–推論–意思決定」の間の決定的なギャップという課題に直面します。LLMは論理的推論に優れ、VLMは視覚入力を処理できますが、現在のアプローチではこれらのモジュールが分離されていることが多いのが現状です。標準的なパイプラインでは、VLMが一般的なシーン記述を受動的に生成し、それが意思決定のためのLLMに供給されます。この緩やかな結合は、主に2つの問題を引き起こします。

情報の損失: VLMは、エージェントの現在の目標に関する特定のコンテキストを欠いているため、タスクに不可欠な微細な視覚的詳細を見落とすことがよくあります。
幻覚（ハルシネーション）とノイズ: 目標をVLMの条件として与えるだけであっても、存在しない物体を記述するなどの幻覚を誘発する可能性があり、また、質問回答（QA）ペアをシーン記述に単純に連結すると、プロンプトが長くノイジーになり、下流の推論を妨げる原因となります。

さらに、既存のインタラクティブな手法の多くは、定義済みの質問やオラクル（正解）によるアノテーションに依存しており、そのような事前知識が利用できない現実世界の環境における自律性と適用性を制限しています。

2. 手法: PRISMフレームワーク

PRISM（Perception Reasoning Interleaved for Sequential Decision Making）は、**動的質問応答（Dynamic Question-Answering: DQA）**パイプラインを通じて、知覚と意思決定の間の緊密でダイナミックな結合を確立することで、これらの課題に対処します。本フレームワークは、目標指向型の部分観測マルコフ決定過程（POMDP）内において、2つのインターリーブされたフェーズで動作します。

A. インタラクティブな目標指向型知覚

単発の記述ではなく、PRISMはVLM（知覚モジュール、 $V_p$ ）とLLM（推論モジュール、 $R$ ）の間の反復的なコミュニケーションループを採用しています。

初期記述: VLMは、視覚的観測（ $o_t$ ）に対する初期の目標非依存的な記述（ $d^t_i$ ）を生成します。
ギャップの特定と質問生成: LLMは、 $d^t_i$ をタスク目標（ $g$ ）と照らし合わせて分析し、不足している情報を特定します。そして、VLMに対して問い合わせるための、具体的かつ目標に関連した一連の質問（ $Q_t$ ）を生成します。
ターゲットを絞ったクエリ: VLMは現在の視覚的観測に基づいて各質問（ $Q_t$ ）に回答し、一連の回答（ $\Lambda_t$ ）を生成します。
意味的合成（Semantic Synthesis）: 極めて重要な点として、LLMは単に生のQAペアを連結するのではなく、初期記述、質問、および回答を簡潔で洗練された最終記述（ $d^t_f$ ）へと合成します。このステップにより、無関係な詳細や幻覚を排除し、タスクに不可欠な要素を強調します。

B. 逐次的意思決定

洗練された記述（ $d^t_f$ ）は、目標およびインタラクション履歴とともにLLMポリシー（ $\pi_\theta$ ）に送られ、次のアクション（ $a_t$ ）を生成します。このポリシーは、アクション生成のために特別に訓練された**LoRA（Low-Rank Adaptation）**アダプターによって拡張されていますが、ベースとなるLLMは事前学習された推論能力を保持しています。

C. 学習戦略

PRISMは、特権的なテキストによる監督に依存せず、視覚環境内でのみ行われる2段階の学習パイプラインを利用します。

行動クローニング（BC）: ポリシーは、エキスパートによるデモンストレーション（PRISM知覚パイプラインを通じてテキストに変換されたもの）を模倣するように事前学習されます。
オンライン強化学習（RL）: ポリシーは、近接方策最適化（PPO）を用いてさらに微調整されます。注目すべきは、DQA知覚ループがRL中もアクティブなまま維持されることで、エージェントがオンラインの相互作用から学習できる点です。

3. 主な貢献

動的質問応答（DQA）: 知覚と意思決定を緊密に結合させる完全自動化メカニズム。従来の研究とは異なり、LLMが目標指向のクエリを動的に生成するため、手作業による質問設定やオラクルによるアノテーションを必要としません。
意味的合成: LLMがQAのやり取りを簡潔でタスク駆動型の記述へと合成する新しいマージ戦略であり、単純な連結によるノイズや冗長性を回避します。
効率的なアーキテクチャ: 知覚（VLM）と意思決定（LoRAを用いたLLM）を分離することで、確立されたテキストベースのRLレシピを利用しながら、視覚環境に根ざした意思決定を可能にします。
自動化されたパイプライン: システムは、人間による介入（ヒューマン・イン・ザ・ループ）による明確化や、定義済みの質問セットの必要性を排除し、自律性を高めます。

4. 実験結果

著者らは、ALFWorld（家庭内タスク）とRoom-to-Room (R2R)（ナビゲーション）の2つのベンチマークでPRISMを評価しました。

ALFWorldの結果

パフォーマンス: PRISMは、最先端の画像ベースのモデルを大幅に上回りました。PRISM BC+RLバリアントは平均成功率（SR）**80%**を達成し、Idefics2 8Bのベースラインを12ポイント、VIPERBC+RLのベースラインを5ポイント上回りました。
オラクルとの比較: PRISMは、特権的なテキストによる監督を用いる手法（例：EMMA, EMAC+）との性能差を無視できるレベルまで縮小しました。オブジェクトIDや遮蔽状態へのアクセスがないにもかかわらず、同等のパフォーマンスを実現しました。
アブレーション研究:
- アーキテクチャ: PRISMは、モノリシックなVLMおよび静的なモジュール式VLM-LLMアーキテクチャ（「Raw perception」）よりも、平均して6〜8%高い性能を示しました。
- マージ戦略: LLMによる合成アプローチは、「QAのみ」および「CONCAT」（単純な連結）の両方の戦略を上回り、グローバルなコンテキストとタスク固有の詳細を合成することが、単純な集計よりも優れていることを確認しました。
- 質問の質: PRISMの動的に生成された質問は、人間がアノテーションしたオラクル質問の性能の2%以内に達しており、LLMが事前知識なしで情報を必要とする箇所を効果的に特定できることを示しました。
- 知覚精度: インタラクティブな目標指向型知覚は、生の知覚（raw perception）および目標認識型知覚（goal-aware perception、これは幻覚に陥りやすい）と比較して、シーン記述の精度（RougeL, METEOR, BERTScore, およびLLM-as-a-judgeによって測定）を大幅に向上させました。

R2Rの結果

PRISMは、DiscussNavやLangNavの再実装を含むすべてのテスト手法の中で、最高の成功率（46.08%）と経路長で重み付けされた成功率（SPL 43.14）を達成しました。
本フレームワークは優れたナビゲーション効率を示し、ナビゲーションエラー（NE）をベースラインの再実装と比較して1.4ポイント以上減少させました。これは、ノイズをフィルタリングし、空間推論のためにタスクに関連する手がかりを活用する能力の高さを浮き彫りにしています。

5. 重要性と主張

本論文は、知覚と推論の間のギャップを効果的に埋めることで、PRISMが自律的な身体性エージェントへの重要な一歩を踏み出したと主張しています。著者らは以下のように述べています。

インターリーブされた推論の不可欠性: DQAを介した知覚と意思決定の緊密な結合は、スタンドアロンのVLMにおける知覚的限界を補完します。
事前知識に対する自律性: 本フレームワークは、非現実的な手作業による質問や特権的なテキスト環境に頼ることなく、高性能な身体性エージェントを構築できることを証明しています。
堅牢性: 本手法は、異なるVLMバックボーン（Idefics2, Qwen3-VL）および異なるタスクドメイン（操作およびナビゲーション）にわたって堅牢です。

著者らは、本アプローチは解釈可能性と自律性を向上させる一方で、大規模な事前学習済みモデルのバイアスを継承していると結論付けています。今後の課題として、意思決定と物理的なアクションの間のギャップを埋めるために、これらのインターリーブされた機能をロボティクスのような低レベルの制御システムと統合することを挙げています。