💻 computer science

IndoorR2X: Indoor Robot-to-Everything Coordination with LLM-Driven Planning

本文提出了 IndoorR2X，这是首个面向室内环境的基于大语言模型的多机器人任务规划基准与仿真框架，通过融合移动机器人与静态物联网（IoT）传感器的感知数据构建全局语义状态，从而有效解决部分可观测性问题并提升多机器人协作的效率与可靠性。

原作者： Fan Yang, Soumya Teotia, Shaunak A. Mehta, Prajit KrisshnaKumar, Quanting Xie, Jun Liu, Yueqi Song, Li Wenkai, Atsunori Moteki, Kanji Uchino, Yonatan Bisk

发布于 2026-03-23

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Fan Yang, Soumya Teotia, Shaunak A. Mehta, Prajit KrisshnaKumar, Quanting Xie, Jun Liu, Yueqi Song, Li Wenkai, Atsunori Moteki, Kanji Uchino, Yonatan Bisk

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 IndoorR2X 的新系统，它的核心思想可以概括为：让机器人团队不再“单打独斗”，而是学会利用家里现有的“智能设备”作为千里眼，从而更聪明、更快速地完成任务。

为了让你轻松理解，我们可以把这个系统想象成一支**“特种救援小队”**在复杂的迷宫里执行任务。

1. 以前的困境：盲人摸象

想象一下，你派了三个机器人进一个巨大的、复杂的房子去打扫卫生、找东西。

以前的做法（R2R）： 这三个机器人就像三个蒙着眼睛的人，只能看到自己鼻子尖前面的一点点地方。它们互相喊话：“我在厨房，没看到扫帚！”“我在卧室，也没看到！”
结果： 它们不得不像无头苍蝇一样到处乱撞，重复走很多路，甚至因为信息不通，两个机器人可能同时去同一个房间找同一个东西，或者因为不知道东西在哪而浪费大量时间。这就叫“部分可观测性”带来的麻烦。

2. IndoorR2X 的妙招：给小队装上“天眼”

这篇论文提出的 IndoorR2X 系统，给这支小队加了一个超级外挂——家里的 IoT（物联网）传感器。

什么是“X”？ 这里的"X"代表除了机器人自己以外的所有东西。比如家里的监控摄像头、智能电视、甚至智能灯泡。
怎么运作？ 想象一下，家里的监控摄像头就像站在高处的“上帝视角”观察员。它们能看到机器人看不到的角落（比如床底下、另一个房间）。
大脑（LLM）： 系统里有一个超级聪明的AI 大脑（大语言模型，LLM）。它就像一个总指挥。
- 摄像头把看到的画面（比如“网球拍在卧室床上”）变成文字报告发给总指挥。
- 机器人把自己看到的也发给总指挥。
- 总指挥把这些信息拼成一张完整的、实时的“世界地图”。

3. 生动的比喻：从“瞎找”到“精准导航”

场景一：找网球拍

没有 IndoorR2X： 机器人 A 在客厅，机器人 B 在厨房。它们都不知道网球拍在哪。于是它们开始漫无目的地在房子里乱跑，撞来撞去，最后才在卧室找到。
有了 IndoorR2X：
- 家里的监控摄像头（IoT）早就拍到了网球拍在卧室。
- AI 总指挥立刻收到消息：“网球拍在卧室！”
- 总指挥直接对机器人 B 说：“别在厨房瞎转了，直接去卧室拿网球拍！”
- 结果： 机器人省去了乱跑的时间，直接直线冲刺。

场景二：协同作战

没有 IndoorR2X： 机器人 A 把笔记本电脑搬到了客厅，机器人 B 不知道，还在卧室到处找电脑，或者以为电脑还在卧室。
有了 IndoorR2X：
- 机器人 A 搬完东西后，AI 总指挥立刻更新地图：“电脑已移动到客厅。”
- 机器人 B 接到新指令：“去客厅接应机器人 A，一起把电脑搬到书房。”
- 结果： 它们配合得天衣无缝，像一支训练有素的军队。

4. 这个系统厉害在哪里？（实验发现）

研究人员在电脑模拟和真实的机器人身上做了大量实验，发现：

省路、省时、省钱： 有了摄像头帮忙，机器人走的冤枉路少了 26% 以上，做的无用动作也少了。这意味着机器人电池用得少，AI 大脑思考的时间也短了（省下了昂贵的“算力费”）。
越聪明越好，但也要防骗：
- 如果用的 AI 大脑不够聪明（小模型），它可能听不懂复杂的指令，任务容易失败。
- 关键点： 系统非常容忍“没看到”（比如摄像头坏了，机器人就自己去找，虽然慢点但能成）；但非常害怕“看错了”（比如摄像头把“灯是关的”误报成“灯是开的”，AI 就会做出错误的决定，导致任务失败）。所以，如果家里的智能设备乱报信，系统会出大问题。
人多了也能管： 即使机器人从 2 个增加到 6 个，只要指挥得当，它们依然能高效工作，不会乱成一锅粥。

5. 总结：未来的智能家居是什么样？

这篇论文描绘了这样一个未来：
未来的家里，机器人不再是孤独的清洁工，而是和家里的摄像头、智能音箱、智能电视紧密合作的团队。

当你说“把桌上的苹果拿给我”时，机器人不需要满屋子乱跑去找苹果。
它直接问家里的摄像头：“苹果在哪？”
摄像头回答：“在厨房。”
机器人直接冲过去，一气呵成。

一句话总结：
IndoorR2X 就是给机器人团队配了一个**“全知全能的后勤部”**，让它们利用家里现成的监控和传感器，把“盲人摸象”变成了“上帝视角”，从而让机器人干活更快、更聪明、更省力。

1. 研究背景与问题定义 (Problem)

核心挑战：部分可观测性 (Partial Observability)
在室内服务机器人团队（Multi-robot teams）执行长周期任务（如清洁、搬运、设备操作）时，单个机器人仅能感知其当前视野和已探索区域。这种部分可观测性导致团队面临以下问题：
- 冗余探索：机器人重复探索同一区域。
- 信念不一致：对物体位置或设备状态（如开关状态）的认知存在冲突。
- 规划脆弱性：在线修订计划时，缺乏全局信息导致任务分配失败。
现有局限
- 现有的多机器人框架通常假设模拟器提供“全知”状态（Oracle access），或者仅关注机器人之间的通信（R2R），忽略了环境中已有的低成本物联网（IoT）传感器（如摄像头、智能家电）。
- 缺乏一个能够严格模拟部分可观测性，并系统评估如何利用异构 IoT 信号辅助大语言模型（LLM）进行多机器人协调的基准。

2. 方法论 (Methodology)

作者提出了 IndoorR2X，这是首个针对室内环境的 机器人对万物 (Robot-to-Everything, R2X) 协调基准和仿真框架。

A. 核心架构：R2X 协调框架

系统由三个核心部分组成，形成一个闭环的感知 - 规划 - 执行循环：

全局语义状态 (Global Semantic State, $W_t$ )
- 由协调中心 (Coordination Hub) 维护。
- 融合了移动机器人的 onboard 感知（摄像头、激光雷达等）和静态 IoT 设备（如 CCTV、智能电视、微波炉等）的观测数据。
- 状态表示为元组： $W_t = (S^R_t, S^O_t, S^A_t)$ ，分别包含机器人状态、物体状态（位置、容器关系、动态属性如开关状态）和区域状态。
- 关键创新：利用视觉语言模型 (VLM, 如 Qwen-VL) 处理 CCTV 视频流，生成带时间戳的文本事件日志，将其与机器人观测融合，构建统一的全局信念。
LLM 驱动的在线规划 (LLM-Driven Planning)
- LLM 作为在线规划器，接收全局状态 $W_t$ 和任务目标 $G$ 。
- 输出一个依赖图 (Dependency Graph/DAG) 形式的并行任务计划 $\Pi$ 。
- 规划器利用全局上下文（如物体已知位置、设备状态）来避免不必要的搜索，直接生成可并行执行的动作序列。
并行执行与监控 (Parallel Execution & Monitoring)
- 执行器：将抽象计划分解为低级动作（导航、抓取、开关等）。
- 异步监控：实时监测物理事件（动作完成、碰撞）和 IoT 更新。
- 重规划机制：一旦检测到任务失败、停滞或环境状态发生显著变化（如 IoT 报告新状态），系统会立即停止当前动作并触发基于最新状态的重规划。

B. 基准设计 (Benchmark Design)

环境：基于 AI2-THOR 引擎，包含 85 个多房间环境（10 个家庭 + 75 个模块化公寓）。
感知限制：严格限制每个机器人仅知晓其视野和已访问区域，禁止任何机器人拥有全局上帝视角。
IoT 配置：模拟室内 CCTV 系统，覆盖约 50% 的房屋面积，提供物体位置和设备状态的先验信息。
任务集：包含 850 个任务，涉及联合导航、物体操作（如丢弃食物、关闭电脑、搬运物品）。

3. 主要贡献 (Key Contributions)

首个 R2X 基准 (Novel R2X Benchmark)
- 引入了 IndoorR2X，严格强制执行部分可观测性，并集成了可配置的 IoT 传感器布局，用于评估真实的团队协调策略。
LLM 驱动的语义融合 (LLM-Driven Semantic Fusion)
- 提出了一种集中式框架，将机器人 onboard 感知与环境 IoT 信号融合为共享的全局语义状态。这使得 LLM 能够在无需 exhaustive physical exploration（穷尽式物理探索）的情况下规划并行任务。
实证与现实验证 (Empirical & Real-World Validation)
- 通过大规模仿真和物理部署（使用 Stretch 机器人），证明了该框架在减少路径长度、动作步数和 LLM Token 消耗方面的显著优势，并展示了其对传感器缺失的鲁棒性。

4. 实验结果 (Results)

实验在 3 个机器人的设置下，使用 GPT-4.1 作为规划器，对比了三种配置：IR (孤立机器人)、R2R (仅机器人间通信)、R2X (机器人 + IoT)。

性能提升：
- 成功率 (Success Rate)：R2X 达到 92%，显著优于 IR (66%)，略优于 R2R (92%，但在效率上更优)。相比之前的 SOTA 方法（如 SMART-LLM, EMOS），在保持高成功率的同时大幅提升了效率。
- 效率指标：
  - 平均路径长度：R2X 比 R2R 减少约 11%，比 SMART-LLM 减少 26%。
  - 平均动作步数：R2X 比 R2R 减少约 7%。
  - LLM Token 消耗：R2X 比 R2R 减少 11%，降低了推理成本和延迟。
模型规模影响：
- 大模型 (GPT-4.1) 表现最佳 (92% 成功率)。
- 中等模型 (Gemma-3-27b) 成功率降至 64%，Token 消耗较低。
- 小模型 (Llama-3.1-8b) 几乎失效 (6% 成功率)，表明高层协调需要强大的推理能力。
鲁棒性分析：
- IoT 缺失 (Omission)：即使 CCTV 完全失效，系统仍能保持 92% 的成功率（代价是路径变长，机器人需主动探索），表现出极高的鲁棒性。
- 语义错误 (Corruption)：如果 IoT 报告错误的状态（如误报设备已关闭），成功率会线性下降。这表明系统对虚假信息敏感，需要验证机制。
- 延迟 (Latency)：IoT 数据延迟增加会导致成功率下降和路径变长（因基于过时状态规划）。
可扩展性：
- 在 2-5 个机器人时，成功率保持稳定 (>90%)。
- 随着机器人数量增加，协调开销（总路径长度）增加，但任务完成时间（Makespan）可能缩短。

5. 意义与结论 (Significance)

范式转变：IndoorR2X 将自动驾驶领域的 V2X (Vehicle-to-Everything) 理念成功迁移至室内服务机器人领域，证明了利用现有基础设施（IoT）可以突破单机器人感知的物理限制。
效率与成本：通过减少冗余探索，不仅提高了任务执行效率，还显著降低了 LLM 的 Token 消耗和推理成本，这对于实际部署至关重要。
设计启示：
- 信息融合优于单纯通信：仅靠机器人间通信不足以解决部分可观测性问题，必须引入外部感知源。
- 数据质量关键：系统对“缺失信息”不敏感，但对“错误信息”极度敏感。未来的智能室内集群需要设计针对 IoT 数据的验证和纠错机制。
现实验证：通过真实的 Stretch 机器人实验，证明了该框架在物理世界中同样有效，能够利用外部摄像头让机器人直接定位目标，完全跳过探索阶段。

总结：IndoorR2X 提供了一个强有力的框架，展示了如何通过 LLM 协调机器人团队与 IoT 环境，在部分可观测的复杂室内环境中实现高效、可靠且低成本的协作。