ConEQsA: Concurrent and Asynchronous Embodied Questions Scheduling and Answering

本文提出了面向真实多任务场景的并发异步具身问答（EQsA）新范式，构建了包含 CAEQs 基准测试与评估指标的完整体系，并设计了利用共享记忆和优先级规划的 ConEQsA 智能体框架，显著提升了机器人在处理异步、多紧迫度问题时的响应效率与性能。

要点

这篇论文提出了一种让机器人变得更聪明、更懂“轻重缓急”的新方法。为了让你轻松理解，我们可以把这篇论文的核心内容想象成**“一个超级管家如何同时处理主人的一堆杂事”**。

1. 以前的机器人 vs. 现在的挑战

以前的机器人（EQA）：
想象一下，你以前雇的机器人管家是个“单线程”的老实人。

• 你问它：“冰箱里有牛奶吗？”
• 它必须放下手里所有的事，专门去厨房找牛奶，找到后告诉你答案。
• 只有等你问完这个问题，它才能听下一个问题。
• 缺点： 如果这时候你突然喊：“小心！煤气漏了！”（紧急任务），它可能还在慢悠悠地找牛奶，完全听不到你的新指令，或者等它找完牛奶才去处理煤气，这就太晚了。

现在的挑战（EQsA）：
在现实生活中，主人不会只问一个问题。

• 你可能刚问完“牛奶在哪”，紧接着又问“客厅的灯是不是坏了”，然后突然又大喊“快去看看煤气！”
• 这些问题是异步的（随时可能来），而且紧急程度不同（煤气泄漏 > 找牛奶）。
• 以前的机器人处理不了这种“多任务并发”的局面。

2. 论文的核心方案：ConEQsA（并发异步问答系统）

作者提出了一个叫 ConEQsA 的新系统，它就像是一个**“拥有超级大脑和共享记忆板的管家团队”**。

核心比喻：共享的“记忆白板”

• 以前的做法： 每来一个问题，管家就擦掉白板，重新开始找线索。
• ConEQsA 的做法： 管家有一个共享的“记忆白板”（Group Memory）。
  • 当它去厨房找牛奶时，它顺便看到了“冰箱门是关着的”、“客厅灯是亮着的”。
  • 这些信息直接写在白板上。
  • 当你接着问“客厅灯亮吗？”时，管家不用再去客厅跑一趟，直接看白板就能回答！
  • 好处： 省去了很多不必要的跑腿（探索），效率极高。

核心技能：智能的“优先级调度”

管家不是按“先来后到”排队，而是看**“谁更急”和“谁更划算”**。

• 紧急度（Urgency）： 如果问题是“煤气漏了吗？”，它的优先级是红色的，必须马上处理。
• 关联性（Reward）： 如果问题是“找牛奶”和“找鸡蛋”，管家会想：“去厨房一次，既能拿牛奶也能拿鸡蛋，一举两得！”所以它会优先处理这种能“一石二鸟”的任务。
• 依赖关系（Dependency）： 如果问题是“看看冰箱里的牛奶是不是在桌子上”，它必须先知道“冰箱在哪”，再知道“牛奶在哪”。系统会自动排好顺序。

3. 他们怎么测试这个系统？（CAEQs 数据集）

为了证明这个系统好用，作者造了一个**“模拟考场”**：

• 场景： 40 个逼真的虚拟房子（就像《模拟人生》里的房子）。
• 考题： 每个房子里有 5 个问题。
  • 一开始给 3 个问题。
  • 过一会儿，突然插播 2 个新问题（模拟主人突然想到的事）。
  • 每个问题都标了紧急程度（比如：找东西是普通，安全警报是紧急）。
• 新评分标准：
  • 答对率： 答对多少题。
  • 直接回答率（DAR）： 有多少题是不用动腿，直接看记忆白板就答对的（这是大加分项）。
  • 加权延迟（NUWL）： 紧急的问题是不是最快被回答了？如果让“煤气泄漏”这种急事等了很久，分数就会很低。

4. 结果怎么样？

实验结果显示，这个新系统（ConEQsA）完胜传统的“单线程”机器人：

• 更聪明： 它利用“记忆白板”，有 9% 的问题根本不用出门就能回答（传统机器人是 0%）。
• 更省步数： 它走的冤枉路更少，因为一次探索能解决多个问题。
• 更懂急事： 紧急的问题（如安全警报）被优先处理，等待时间大大缩短。

5. 总结：这对我们意味着什么？

这就好比给机器人装上了**“多线程处理”和“全局视野”**的大脑。

• 以前： 机器人像个只会执行单一指令的士兵，你让它干啥它干啥，不管多急。
• 现在： 机器人像个经验丰富的项目经理，它能同时盯着好几个任务，知道哪个最急，知道怎么走最省力，还能记住刚才看到的东西，避免重复劳动。

虽然现在的技术还达不到完美（比如偶尔还是会看错东西），但这篇论文为未来真正能进入家庭、处理复杂突发状况的机器人奠定了一个非常重要的基础。它告诉我们：未来的机器人不仅要“看得准”，更要“想得全”和“分得清轻重”。

技术摘要

1. 问题定义 (Problem Formulation)

背景与痛点：
传统的具身问答（Embodied Question Answering, EQA）通常被定义为智能体在 3D 环境中主动探索以回答单个孤立的问题。然而，在现实世界的部署中（如家庭助手、救援机器人），人机交互往往是动态且复杂的：

• 并发性 (Concurrency)： 用户可能同时提出多个问题，或在探索过程中不断提出后续问题。
• 异步性 (Asynchrony)： 问题可能在不同时间点到达。
• 紧急度差异 (Urgency)： 不同问题具有不同的优先级（例如，安全警报比一般信息查询更紧急）。
• 现有局限： 现有的 EQA 框架通常按顺序处理问题，缺乏对多任务并发调度、紧急度感知以及知识复用的机制，导致效率低下且响应迟缓。

新任务定义：具身问答调度 (EQsA)
作者提出了 Embodied Questions Answering (EQsA) 这一新任务设定。

• 输入： 一个初始问题集 $Q_{init}$ 和一系列异步到达的后续问题 $Q_{follow}$。
• 目标： 智能体需要在 3D 环境中，通过并发调度和优先级规划，高效地收集信息并回答所有问题。
• 核心挑战： 如何在单线程的物理探索中，通过共享记忆和智能调度，平衡整体探索效率与高紧急度问题的响应延迟。

---

2. 方法论 (Methodology: ConEQsA)

作者提出了 ConEQsA 框架，这是一个基于智能体（Agentic）的并发系统，旨在解决 EQsA 问题。其核心架构包含以下关键组件：

A. 系统架构

ConEQsA 采用分布式微服务架构（基于 Redis 流通信），主要模块包括：

1. 解析器 (Parser)： 利用大语言模型 (LLM) 对问题进行语义解析，提取紧急度 (Urgency) 和作用域 (Scope, 局部/全局)。
2. 完成模块 (Finishing Module)： 在探索前，先查询“组记忆 (Group Memory)"。如果现有证据足以回答问题，则直接回答（无需探索），否则进入队列。
3. 问题池 (Question Pool)： 缓冲所有活跃问题，维护问题间的依赖关系（DAG 图），并根据优先级算法动态更新每个问题的优先级分数。
4. 规划器 (Planner)： 从问题池中选择优先级最高的问题进行针对性探索。
5. 组记忆 (Group Memory)： 存储观察到的图像及其结构化语义记录（如物体类别、位置、属性）。所有模块共享此记忆，实现跨问题的知识复用。
6. 回答模块 (Answering Module)： 结合检索到的记忆证据和视觉语言模型 (VLM) 生成最终答案。

B. 优先级规划与调度机制 (Priority Planning)

这是 ConEQsA 的核心创新。系统不再按 FIFO（先进先出）处理，而是基于加权分数 $P(q_i)$ 进行调度：
$$P(q_i) = w_u \cdot \text{Urgency}(q_i) + w_s \cdot \text{Scope}(q_i) + w_r \cdot \text{Reward}(q_i) + w_d \cdot \text{Dependency}(q_i)$$

• 紧急度 (Urgency)： 基于问题文本推断的紧急程度（$0-1$），通过凸变换放大高紧急度问题的权重。
• 作用域 (Scope)： 优先处理局部 (Local) 问题（通常只需附近观察即可回答），减少不必要的长距离探索。
• 奖励 (Reward)： 估计探索当前问题能覆盖多少其他待解决问题的目标（鼓励“一石多鸟”的探索路径）。
• 依赖 (Dependency)： 基于 LLM 构建的有向无环图 (DAG)，确保前置任务（如先定位物体）完成后才处理后续任务。

C. 针对性探索 (Targeted Exploration)

一旦选定问题，智能体执行问题条件化的前沿探索 (Question-conditioned frontier exploration)：

• 利用 YOLOv11 和 VLM 对当前观察进行语义标注。
• 根据问题相关性对语义地图上的前沿点 (Frontiers) 进行评分。
• 引导智能体向最可能包含答案的区域移动，并在满足停止条件时触发回答。

---

3. 关键贡献 (Key Contributions)

1. 问题定义 (EQsA)： 首次形式化了“具身问答调度”问题，强调在异步、多任务、有紧急度差异的场景下，智能体需具备并发处理与动态规划能力。
2. ConEQsA 框架： 提出了一种包含共享组记忆、优先级感知调度和针对性探索的端到端框架。
3. CAEQs 基准数据集：
   • 基于 HM3D 数据集构建了包含 40 个室内场景、200 个问题的基准测试。
   • 每个场景包含 3 个初始问题和 2 个异步后续问题。
   • 包含人工标注的紧急度标签（低、中、高）和依赖关系。
4. 新评估指标：
   • 直接回答率 (DAR)： 衡量无需探索直接利用记忆回答问题的比例。
   • 归一化紧急度加权延迟 (NUWL)： 核心指标，综合考虑了回答延迟和问题紧急度，用于评估调度策略的有效性。

---

4. 实验结果 (Experimental Results)

在 CAEQs 基准上的实验表明，ConEQsA 显著优于强基线模型（Sequential Explore-EQA 和 Memory-EQA）：

• 效率与响应性 (Efficiency & Responsiveness)：
  • NUWL (归一化紧急度加权延迟)： ConEQsA 得分为 0.204，相比 Memory-EQA (0.474) 降低了 57%，相比 Explore-EQA (0.551) 降低了 63%。这证明其优先级调度能有效优先处理紧急问题。
  • NS (归一化步数)： ConEQsA 为 0.321，显著低于基线，表明通过共享记忆减少了冗余探索。
• 知识复用 (Knowledge Reuse)：
  • DAR (直接回答率)： ConEQsA 达到 9.0%，而基线模型为 0%。这证明了共享组记忆允许智能体利用之前的探索结果直接回答新问题。
• 准确率 (Accuracy)： ConEQsA 的准确率 (0.65) 与当前 SOTA 的 Memory-EQA (0.64) 相当，说明在提升效率的同时未牺牲回答质量。
• 消融实验 (Ablation Study)：
  • 移除任何优先级规划组件（紧急度、作用域、奖励、依赖）都会导致性能下降，特别是 NUWL 和 NS 指标恶化。
  • 完全移除优先级规划（退化为 FIFO）导致 NUWL 增加 13.7%，证明了智能调度的必要性。

---

5. 意义与展望 (Significance & Future Work)

• 现实意义： 该研究将具身智能从“单任务、单轮次”的实验室设定推向了“多任务、异步、紧急度感知”的现实部署场景。
• 核心价值： 强调了在物理交互成本（时间、能耗、磨损）不可忽略的情况下，通过软件层面的智能调度（减少物理步数、复用知识、优先处理紧急任务）来提升系统整体效能。
• 未来方向：
  • 随着 LLM/VLM 推理速度的提升，系统延迟将进一步降低。
  • 未来的工作可扩展至多智能体协作 (Multi-agent) 场景，通过多机器人协同探索进一步解决 EQsA 问题。
  • 目前 ConEQsA 仍受限于底层感知和导航的准确率，未来需随着基础 EQA 能力的提升而进一步优化。

总结： ConEQsA 通过引入并发调度、共享记忆和紧急度感知机制，成功解决了多任务具身问答中的效率与响应性难题，为具身智能在复杂动态环境中的实际应用提供了新的范式。