🤖 AI

PRISM: Perception Reasoning Interleaved for Sequential Decision Making

PRISM 是一个全自动框架，通过采用一种由大语言模型主动批判并探测视觉语言模型以生成任务驱动型场景理解的动态问答流水线，弥合了具身智能体中感知、推理与决策之间的鸿沟，并在 ALFWorld 和 Room-to-Room 等基准测试上显著优于现有最先进的模型。

原作者： Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一个黑暗的房间里解开一个复杂的谜题，但你一次只能看到一丁点儿光亮。你拥有一位摄影师（视觉模型），他可以拍照并描述他所看到的景象；还有一位侦探（语言模型），他逻辑缜密、擅长规划，但却是个盲人。

在大多数目前的机器人系统中，摄影师只是匆匆瞥一眼，写下一段笼统的描述，比如“我看到了桌子和椅子”，然后交给侦探。侦探试图弄清楚如何拿起一个鸡蛋并将其加热。问题在于？摄影师漏掉了鸡蛋其实藏在餐巾下面，或者微波炉其实是一个烤面包机这一事实。由于掌握的信息不完整，侦探犯了错误。

PRISM 改变了游戏规则，它将这种模式从单向的交付转变为一场动态对话。

PRISM 方法：正在通话中的侦探与摄影师

PRISM 并非只是移交一份静态报告，而是为摄影师和侦探建立了一个闭环对话：

初瞥： 摄影师观察场景并给出一个粗略的描述。
侦探的评判： 侦探阅读描述并结合目标（例如“加热鸡蛋”）。他立即发现了信息的缺失：“等等，你没告诉我鸡蛋在哪里，也没告诉我是否有微波炉！”
针对性的提问： 侦探并没有要求摄影师重新描述整个房间，而是提出了一个具体的、以目标为导向的问题：“你看到微波炉了吗？” 或者 “柜台上是否有鸡蛋？”
具体的回答： 摄影师在脑海中进行局部聚焦，并仅回答那个特定的问题。
最终简报： 侦探将原始描述与新的答案结合起来，编写出一份完美的、简洁的摘要，其中包含了解决任务所需的全部精确信息。

为什么这很重要（PRISM 的“魔力”）

论文声称这种方法解决了三个主要问题：

它阻止了“幻觉”陷阱： 如果你只是告诉摄影师“寻找微波炉”，他们可能会因为过度努力去迎合目标而凭空想象出一个并不存在的微波炉。PRISM 通过让侦探在看到初始现实后提出问题，避免了这种情况，使事实保持在现实基础上。
它减少了噪音： 想象一下你在读一部小说，每当你提一个问题时，作者都会把整本书重新粘贴一遍，并把答案高亮显示。这就是其他方法所做的。PRISM 则像是一位熟练的编辑，他会将新信息提取出来，并将其编织进一个简短、清晰的故事中。这使得机器人更容易做出正确的决策。
它能自主学习： 该系统不需要人类编写诸如“检查冰箱”或“检查炉灶”的问题清单。侦探（AI）会根据具体情况自行判断该问什么问题。

结果：表现更佳

研究人员在两个类游戏的世界中测试了这个“侦探-摄影师”团队：

ALFWorld： 一个需要完成家务（如清洁、加热食物或捡拾物品）的房屋环境。
Room-to-Room： 一个需要在房屋中穿行以寻找特定房间的导航任务。

论文声称：

PRISM 的表现显著优于那些仅使用摄像头和大脑而没有相互交流的机器人。
在某些情况下，它甚至击败了那些拥有“作弊码”（即拥有房间完美文本描述）的机器人，仅仅是因为它能如此精准地找到关键细节。
它是完全自动化的。没有人需要编写问题；AI 会根据实际情况即时构思问题。

总结

把 PRISM 看作是盲目相亲（你只能坐在那里，希望对方说出正确的话）与一场精彩对话（你会通过追问来完美理解对方）之间的区别。通过让机器人的“大脑”主动询问它的“眼睛”，机器人不再靠猜测，而是开始真正理解它需要做什么才能取得成功。

技术摘要：PRISM —— 用于序列决策的感知-推理交织框架

1. 问题陈述

将大语言模型（LLMs）与视觉语言模型（VLMs）集成到用于序列决策的具身智能体中，面临着一个关键的“感知-推理-决策”鸿沟。虽然 LLMs 擅长逻辑推理，VLMs 能够处理视觉输入，但目前的方法通常将这些模块解耦。在标准流水线中，VLM 被动地生成通用的场景描述，随后将其输入给 LLM 进行决策。这种松散的耦合导致了两个主要问题：

信息丢失： 由于缺乏智能体当前目标的特定上下文，VLMs 往往会忽略对任务至关重要的细粒度视觉细节。
幻觉与噪声： 仅仅将目标作为 VLM 的条件可能会诱发幻觉（描述不存在的对象），而简单地将问答（QA）对与场景描述进行拼接，则会创建冗长且充满噪声的提示词，从而阻碍下游的推理过程。

此外，现有的交互式方法通常依赖于预定义的提问或专家标注（oracle annotations），这限制了它们在缺乏此类先验知识的现实世界环境中的自主性和适用性。

2. 方法论：PRISM 框架

PRISM（用于序列决策的感知-推理交织框架）通过**动态问答（DQA）**流水线，在感知与决策之间建立了紧密且动态的耦合，从而解决了上述挑战。该框架在目标导向的部分可观测马尔可夫决策过程（POMDP）中，通过两个交织的阶段运行：

A. 交互式目标导向感知

PRISM 不采用单次传递式描述，而是采用 VLM（感知模块， $V_p$ ）与 LLM（推理模块， $R$ ）之间的迭代通信循环：

初始描述： VLM 生成关于视觉观测（ $o_t$ ）的初始、与目标无关的描述（ $d^t_i$ ）。
差距识别与问题生成： LLM 分析 $d^t_i$ 与任务目标（ $g$ ）之间的关系，以识别缺失的信息。它生成一组针对性的、与目标相关的提问（ $Q_t$ ）来查询 VLM。
针对性查询： VLM 根据当前的视觉观测回答 $Q_t$ 中的每个问题，产生一组答案（ $\Lambda_t$ ）。
语义综合： 至关重要的一点是，LLM 并非简单地拼接原始的 QA 对。相反，它将初始描述、问题和答案综合成一个精炼且紧凑的最终描述（ $d^t_f$ ）。这一步骤过滤掉了无关细节和幻觉，同时强调了任务关键要素。

B. 序列决策

精炼后的描述（ $d^t_f$ ）连同目标和交互历史，被输入到 LLM 策略（ $\pi_\theta$ ）中以生成下一个动作（ $a_t$ ）。该策略通过专门针对动作生成训练的 LoRA（低秩自适应） 适配器进行增强，而基础 LLM 则保留其预训练的推理能力。

C. 训练策略

PRISM 完全在视觉环境中利用两阶段训练流水线，避免依赖特权文本监督：

行为克隆（BC）： 策略经过预训练以模仿专家演示（通过 PRISM 感知流水线转换为文本）。
在线强化学习（RL）： 使用近端策略优化（PPO）对策略进行进一步微调。值得注意的是，DQA 感知循环在 RL 过程中保持活跃，使智能体能够从在线交互中学习。

3. 核心贡献

动态问答（DQA）： 一种将感知与决策紧密耦合的全自动机制。与以往工作不同，它不需要手工设计的提问或专家标注，因为 LLM 会动态生成目标导向的查询。
语义综合： 一种新颖的合并策略，LLM 将 QA 交互综合为简洁、任务驱动的描述，避免了朴素拼接带来的噪声和冗长。
高效架构： 该框架将感知（VLM）与决策（带有 LoRA 的 LLM）分离，使得能够使用成熟的基于文本的 RL 配方，同时将决策锚定在视觉环境中。
自动化流水线： 系统消除了对人工介入澄清或预定义问题集的依赖，增强了自主性。

4. 实验结果

作者在两个基准测试上评估了 PRISM：ALFWorld（家庭任务）和 Room-to-Room (R2R)（导航）。

ALFWorld 结果

性能： PRISM 显著优于最先进的基于图像的模型。PRISM BC+RL 变体实现了 80% 的平均成功率（SR），超过了 Idefics2 8B 基线 12 个百分点，以及 VIPERBC+RL 基线 5 个百分点。
与专家对比： PRISM 将其与使用特权文本监督的方法（如 EMMA, EMAC+）之间的性能差距缩小到了可以忽略不计的程度，尽管它无法获取物体 ID 和遮挡状态，却实现了相当的性能。
消融研究：
- 架构： PRISM 在平均性能上比单体 VLM 和静态模块化 VLM-LLM 架构（“原始感知”）高出 6–8%。
- 合并策略： LLM 综合方法优于“仅 QA”和“CONCAT”（朴素拼接）策略，证实了将全局上下文与任务特定细节相结合优于简单的聚合。
- 问题质量： PRISM 动态生成的提问性能达到了人工标注专家问题的 98% 以上，证明了 LLM 可以在没有预定义先验的情况下有效识别信息需求。
- 感知准确性： 与原始感知和目标感知（后者存在幻觉问题）相比，交互式目标导向感知显著提高了场景描述的准确性（通过 RougeL, METEUR, BERTScore 以及 LLM-as-a-judge 衡量）。

R2R 结果

PRISM 在所有测试方法中取得了最高的成功率（46.08%）和路径长度加权成功率（SPL 43.14），包括对 DiscussNav 和 LangNav 的重新实现版本。
该框架展示了卓越的导航效率，与重新实现的基线相比，导航误差（NE）降低了超过 1.4 个点，突显了其过滤噪声并利用任务相关线索进行空间推理的能力。

5. 重要性与主张

论文声称，PRISM 通过有效地弥合感知与推理之间的鸿沟，代表了迈向自主具身智能体的重要一步。作者认为：

交织推理至关重要： 通过 DQA 实现的感知与决策的紧密耦合，补偿了独立 VLM 的感知局限性。
自主性胜过先验： 该框架证明，无需依赖不切实际的手工设计问题或特权文本环境，即可构建高性能的具身智能体。
鲁棒性： 该方法在不同的 VLM 后端（Idefics2, Qwen3-VL）和任务领域（操作与导航）中均表现出鲁棒性。

作者总结道，虽然他们的方法提高了可解释性和自主性，但也继承了大尺度预训练模型的偏差。未来的工作方向是将这种交织能力与更底层的控制系统（如机器人）相结合，以弥合决策与物理动作之间的差距。