💻 computer science

Beyond Thinking: Imagining in 360 $^\circ$ for Humanoid Visual Search

本文提出了"360°想象”这一新颖框架，该框架将类人视觉搜索解耦为一个概率性想象器和一个执行器，以单步推断语义空间先验，从而在复杂360°环境中消除对昂贵轨迹级标注的需求，同时显著提升搜索效率与成功率。

原作者： Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingdong Zhang, Yizhou Wang, Zhengzhong Tu, Xin Li, Wenping Wang, Xiaohang Zhan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在一个巨大而黑暗的仓库中寻找一件特定物品，比如一串丢失的钥匙。你只能看到前方一小圈光亮。

旧方法：“过度思考者”
以往的方法试图通过赋予机器人一个必须同时处理所有任务的单一“大脑”来解决这个问题。它必须观察那小圈光亮，记住所见的一切，猜测黑暗角落中可能有什么，然后决定下一步转向何处。

问题所在： 这就像要求一个人在解决复杂数学问题的同时，还要尝试穿越迷宫。它会陷入困惑，做出缓慢的猜测，并常常原地打转，因为它忙于“思考”而无力“想象”整个房间的全貌。此外，这种方法还需要人类教师为每一种可能的场景编写机器人思维过程的每一个步骤，这不仅成本极高，而且创建过程极其缓慢。

新方法："360 度想象”
本文提出了一种更聪明的团队协作方案。与其让一个大脑过度劳累，不如将任务拆分为两个专业角色：想象者（The Imaginator） 和 执行者（The Actor）。

1. 想象者（“心理地图绘制者”）

将想象者视为一位心灵感应制图师。它的唯一职责是站在房间中央，说道：“好的，我在这里看到一扇门。根据房间通常的构造，左边可能有一条走廊，我身后可能有一段楼梯，即使我目前还看不到它们。”

工作原理： 它不是猜测某个具体位置，而是生成一份可能性清单。它会说：“有 60% 的把握钥匙在楼梯附近，30% 的把握在门边，10% 的把握在架子上。”
神奇之处： 它无需看到整个房间就能做出这些猜测。它利用关于空间构造的“常识”（例如，楼梯通常通向楼层，门通向其他房间）。它能即时且低成本地生成这些猜测，无需人类教导其每一个步骤。

2. 执行者（“探索者”）

执行者是机器人的身体和眼睛。它接收来自想象者的猜测清单。

过程： 执行者不再盲目游荡，而是查看想象者提供的清单。“嗯，想象者认为钥匙很可能在楼梯附近。让我们先转向那里。”
结果： 执行者高效移动，优先检查最有可能的地点。如果它看到与猜测相矛盾的情况（例如，没有楼梯，只有一堵墙），它会更新计划并检查清单上的下一项。

为何这意义重大

速度与效率： 通过将“猜测”与“移动”分离，机器人不再原地打转。它会直奔最有可能的地点。在本文的测试中，这种方法帮助机器人比以往更快、更频繁地找到物体，即使在非常杂乱或复杂的环境中也是如此。
“免费”的训练数据： 最大的突破在于他们如何训练想象者。由于想象者只需根据房间的微小片段来猜测其布局，研究人员可以利用计算机自动生成192 万个训练样本。他们不需要人类编写数百万个关于机器人应如何搜索的故事。他们只需让计算机反复练习猜测布局即可。
兼容任何“大脑”： 该系统就像一个“即插即用”的升级包。你可以取用标准的机器人“大脑”（即使是更小、更便宜的型号），插入这个“想象者”模块，它瞬间就能在搜索任务上表现得更加出色。

核心结论

本文认为，要在一个巨大的 360 度世界中寻找物品，你不应该仅仅更努力地“思考”。你需要首先想象整个空间。通过让系统的一部分构建未见世界的心理地图，而另一部分依据该地图采取行动，机器人就能成为一个更高效、更自信的探索者。

技术摘要：360° 想象用于类人视觉搜索

问题定义

类人视觉搜索（HVS）要求具身智能体主动探索沉浸式 360° 全景环境，以定位特定物体（类人物体搜索，HOS）或可导航路径（类人路径搜索，HPS）。与被动感知不同，HVS 需要一个闭环的感知 - 行动循环，智能体必须重新调整其“头部”（相机）以揭示被遮挡的信息。

当前最先进的方法，如《360° 思考》（Yu 等人，2025），将 HVS 视为一个由多模态大语言模型（MLLMs）驱动的单一任务，利用累积的思维链（CoT）推理。这些方法存在三个主要瓶颈：

认知过载：将复杂的 3D 空间理解与行动规划耦合在单一模型中，给当前的 MLLM 带来了巨大的推理负担。
隐性猜测：由于缺乏对空间关系的显式建模，智能体被迫隐性猜测未见区域的布局，导致探索活动性不足或定位不准确。
数据可扩展性：训练这些单一架构的智能体需要昂贵的高质量多轮 CoT 轨迹标注，这些数据难以大规模整理，并阻碍了模型在多样化、真实场景中的泛化能力。

方法论：解耦架构

本文提出了360° 想象（Imagining in 360°），这是一个将探索过程解耦为两个专用组件的框架：一个概率性的想象器（Imaginator）和一个执行性的行动者（Actor）。

1. 想象器（概率空间先验生成器）

想象器旨在通过单步预测观测和未观测区域的语义布局，显式地对 360° 环境进行建模，而不是维持累积的推理链。

任务：给定有限的窄视场（NFoV）观测和自然语言指令，想象器输出一个结构化块，包含：
- [观测]：当前或之前可见的地标。
- [想象]：对未观测区域中可能存在的物体的概率预测（例如，“楼梯：(-45, -10)"）。
概率采样：想象器不生成单一的确定性猜测，而是通过温度采样生成多个空间假设。这捕捉了被遮挡环境固有的不确定性。
输出：一个排序后的建议列表（例如，“建议检查 (φ, µ)"），代表空间先验的分布。

2. 行动者（执行智能体）

行动者负责物理搜索，可以是任何现成的 MLLM 或微调后的搜索模型。

集成：行动者接收当前的 NFoV 观测、历史记忆以及由想象器生成的空间建议。
推理：在这些先验的赋能下，行动者评估建议布局与其视觉记忆的一致性，以生成推理链。
行动：行动者输出下一个动作，要么是新坐标的旋转（Rot），要么是最终目标视图的提交（Sub）。

3. 可扩展数据引擎

一项关键创新是能够在无需手动轨迹标注的情况下生成训练数据。

伪标签：作者利用强大的教师模型（Qwen3-VL-235B）对完整的 360° 全景图进行标注。
合成轨迹：从这些完全标注的全景图中，他们合成采样轨迹，每个实例仅揭示 1–8 个 NFoV 观测，同时保持 50% 的目标处于视野之外。
规模：该自动化流水线在约 20,000 个多样化场景中产生了约192 万个高质量、单步空间推理样本，绕过了轨迹级 CoT 标注的高昂成本。

4. 推理流程

在推理过程中，想象器每步生成 $K$ 个候选坐标：

一个贪婪锚点（ $T=0$ ），用于最自信的预测。
$K-1$ 个随机样本（ $T>0$ ），以捕捉多样化的假设。
这些绝对坐标被转换为行动者的相对旋转动作。在搜索步骤中应用温度衰减计划，随着视觉证据的积累，从广泛探索过渡到聚焦预测。

主要贡献

解耦的 HVS 范式：本文通过将直观的空间想象与行动规划分离，重新定义了视觉搜索。这使得智能体能够基于合理的空间假设（而不仅仅是详尽的逻辑链）进行更积极、更自信的探索。
概率想象器：引入了一种专用模型，学习直观的空间先验（例如建筑布局），并通过概率估计引导行动者，有效地对冲空间不确定性。
可扩展数据引擎：一个完全自动化的流水线，将训练规模扩展至约 192 万个样本，无需手动轨迹标签，从而在不依赖昂贵专家标注的情况下实现了野外鲁棒性能。

实验结果

该框架在H*Bench上针对各种开源、专有和微调的 MLLM 进行了评估。

性能提升：解耦流水线显著优于单一架构基线。
- Qwen3-VL (235B)：HOS 成功率从23.62%提升至65.04%；HPS 从21.44%提升至38.25%。
- HVS-3B（RL 微调基线）：集成想象器后，HOS 成功率从48.04%跃升至62.75%。
- 专有模型：Gemini-2.5 Pro 在 HOS 上的表现从 55.00% 提升至 66.10%。
效率：联合流水线改变了搜索分布，大多数搜索在 1–3 步内收敛，而基线模型经常达到 10 步的失败限制。推理延迟降低至每步约 2.5 秒（相比之下，基于像素级想象的基线如 FLUX 需要 20–30 秒）。
消融研究：
- 移除结构化布局上下文会导致性能低于基线，证实了显式全局空间建模的必要性。
- 概率采样（ $T>0$ ）优于确定性贪婪解码（ $T=0$ ），验证了捕捉空间不确定性的重要性。
- 缩放定律显示，随着想象器预训练数据从 0 增加到 192 万样本，性能呈现单调提升。

意义与主张

本文主张，360° 想象从根本上改变了具身智能体处理未观测空间的方式。通过在语言空间中显式建模空间先验，而不是依赖像素级重建或单一 CoT 推理，该框架：

降低认知负担：将困难的空间布局预测任务与行动规划分离。
实现可扩展性：通过自动生成数百万个训练样本解决了数据瓶颈，使高性能 HVS 无需昂贵的专家标注即可普及。
提升鲁棒性：在复杂的真实环境中表现出卓越性能，在这些环境中，智能体通常因空间不确定性或幻觉而失败。

作者总结道，尽管当前框架在开环执行范式下运行（即行动者无法向想象器反馈），但它成功建立了一种互补架构，将生成的空间先验与逻辑行动规划相结合，为类人视觉搜索提供了一条可扩展且高效的前进路径。