💻 computer science

From Vocal Instructions to Household Tasks: The Inria TIAGo++ in the euROBIN Service Robots Coopetition

本文介绍了 Inria 团队在首届 euROBIN 服务机器人合作竞赛中，通过开源集成基于大语言模型的指令理解与任务规划流程、全身控制栈以及定制遥操作设备，成功在 TIAGo++ 平台上实现了语音驱动的家庭厨房任务。

原作者： Fabio Amadio, Clemente Donoso, Dionis Totsila, Raphael Lorenzo, Quentin Rouxel, Olivier Rochel, Enrico Mingo Hoffman, Jean-Baptiste Mouret, Serena Ivaldi

发布于 2026-03-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fabio Amadio, Clemente Donoso, Dionis Totsila, Raphael Lorenzo, Quentin Rouxel, Olivier Rochel, Enrico Mingo Hoffman, Jean-Baptiste Mouret, Serena Ivaldi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常酷的故事：法国 Inria 研究团队如何打造了一台“超级管家机器人”，并让它在一场名为"euROBIN"的机器人竞赛中，听懂人类的话，在厨房里完成各种家务活。

想象一下，你家里有一个全能机器人管家，它不仅能听懂你的口头指令（比如“把那个杯子拿给妈妈”），还能自己规划步骤、移动身体、拿起东西，甚至在你需要时通过远程遥控来帮忙。

为了让你更容易理解，我们可以把这篇论文里的技术拆解成几个生动的部分：

1. 机器人的“大脑”与“身体”：TIAGo++ 平台

这台机器人叫 TIAGo++，它长得像个带轮子的机械臂，有两个手（双臂），可以在地上自由移动。

身体控制（全身控制堆栈 WBC）： 想象机器人是一个杂技演员。它不仅要移动轮子，还要同时控制两个手臂和身体躯干，不能让自己摔倒或撞到自己。论文中的“全身控制”就像杂技演员的平衡感，它计算每一个关节该怎么动，确保动作流畅、不互相打架。
远程遥控（Teleoperation）： 就像玩电子游戏一样。如果机器人自己搞不定（比如东西卡住了），操作员可以戴上特制的“手套”（其实是两个低成本的机械臂控制器），像玩游戏一样直接控制机器人。这既是“救命稻草”（出故障时接管），也是“老师傅”（用来录制专家的操作示范，教机器人以后怎么做）。

2. 机器人的“耳朵”与“嘴巴”：听懂人话（LLM）

这是最精彩的部分。以前机器人只能听懂死板的指令（如“拿起 A"），但这次他们用了大语言模型（LLM），就像给机器人装了一个超级聪明的翻译官。

工作流程：
1. 听：机器人听到你说：“帮我把桌上的苹果递给爸爸。”
2. 想：这个“翻译官”（LLM）不仅听懂了字面意思，还能理解潜台词。它会像人类一样思考：“哦，首先我要走到桌子旁，找到苹果，抓住它，然后走到爸爸面前，把苹果递给他。”
3. 写计划： 它不会直接乱动，而是先写出一份JSON 格式的“行动清单”（就像厨师的食谱），把任务拆解成一步步的具体动作。
4. 说：机器人还会大声复述它的计划（“好的，我去拿苹果”），让你知道它在想什么，增加信任感。

3. 机器人的“眼睛”：看清世界

机器人需要知道东西在哪里，人站在哪。

定位标记（AprilTag）： 就像在厨房的柜子上贴了二维码。机器人看到二维码就知道：“哦，这是洗碗机，那是桌子。”这比让机器人自己去猜“这是什么”要简单可靠得多。
找人（人类追踪）： 机器人用摄像头看人，不仅能发现人，还能判断人是不是在看它。如果爸爸正看着机器人，机器人就知道：“好，现在把东西递给他。”如果爸爸在玩手机不看它，机器人可能会等一等。

4. 机器人的“肌肉记忆”：模仿学习

有些动作很难用代码写出来，比如“打开洗碗机”这种复杂的旋转和推拉动作。

教学相长： 操作员通过遥控，像教小孩子一样，亲手演示一遍怎么开洗碗机。机器人把这段动作录下来，记住“手该怎么动”。
举一反三： 下次机器人再遇到洗碗机，它不需要重新思考，而是直接回放刚才录好的动作。这就好比机器人学会了“肌肉记忆”，哪怕洗碗机稍微放歪了一点，它也能调整位置，把动作做对。

5. 比赛中的表现：合作与竞争

这场竞赛叫"coopetition"（合作竞争）。

合作： 所有参赛队伍共享代码，像开源社区一样互相帮助。
竞争： 看谁家的机器人最聪明、最稳。
结果： Inria 团队的机器人表现很棒！
- 听懂指令： 7 次尝试，7 次成功听懂并规划（100% 成功）。
- 移动和拿取： 大部分任务都完成了。虽然有时候因为环境太乱（比如东西堆得太杂），机器人会卡住，需要人类远程帮忙（就像玩游戏时按了暂停键求助），但整体非常可靠。

总结：这不仅仅是代码，是未来的生活

这篇论文的核心在于把复杂的机器人技术“打包”成了一个好用的系统。

它证明了大语言模型真的能让机器人听懂自然语言，不再需要程序员写死每一行代码。
它展示了远程遥控和自动执行可以完美结合：机器人负责大部分工作，人类负责关键时刻的“神来之笔”。
所有的软件和设计都开源了（免费公开），就像把食谱和厨具都分享给了全世界，让其他团队也能在此基础上做出更棒的机器人。

简单来说，Inria 团队造出了一个既听得懂人话、又有肌肉记忆、还能在关键时刻求助的机器人管家，让它离真正走进我们的厨房又近了一步。

以下是基于论文《From Vocal Instructions to Household Tasks: The Inria TIAGo++ in the euROBIN Service Robots Coopetition》的详细技术总结：

1. 研究背景与问题 (Problem)

本文介绍了 Inria 团队在 2024 年 11 月于法国南锡举行的首届 euROBIN“合作竞赛”（Coopetition）中使用的集成机器人系统。

核心挑战：服务机器人需要在非实验室的复杂家庭环境（如厨房）中，通过语音指令理解人类意图，并执行自主导航、物体操作和人际交互任务。
具体难点：
- 鲁棒性：在杂乱环境中进行定位、感知和控制极具挑战性。
- 指令理解：需要利用大语言模型（LLM）将自然语言转化为机器人动作，同时保证推理的可靠性、实时性和对歧义指令的处理能力。
- 系统集成：将硬件（移动机械臂）、底层控制、高层规划及第三方软件无缝集成，以应对真实比赛中的突发状况。
- 容错机制：在自主操作失败时，需要有效的遥操作（Teleoperation）作为 fallback（备用）方案。

2. 方法论与系统架构 (Methodology)

Inria 团队基于修改版的 TIAGo++ 双机械臂移动机器人平台，构建了一个包含感知、规划、控制和遥操作的完整系统。

A. 运动控制 (Motion Control)

全身控制 (WBC)：采用基于优化的全身控制栈（CartesI/O + OpenSoT），将用户级的笛卡尔参考映射为关节空间指令。
任务层级：将左臂、右臂和全向底盘的控制任务以软优先级排列，并在零空间（Null-space）中引入姿态任务以稳定机器人。
实现：基于 ROS Noetic，以 250 Hz 频率运行，通过二次规划（QP）求解，处理关节限位并避免自碰撞。

B. 任务规划与指令理解 (LLM-based Planning)

流程：语音指令 $\rightarrow$ 语音转文本 (Faster-Whisper) $\rightarrow$ LLM 推理 (Llama-3.1-8B-Instruct) $\rightarrow$ 结构化 JSON 计划。
关键技术：
- 使用 Chain-of-Thought (CoT) 进行逐步推理，提高计划的可解释性。
- 利用 llama-cpp 和语法约束采样，强制 LLM 输出符合预定义模式的 JSON，防止幻觉和语法错误，确保 100% 的可解析性。
- 生成的 JSON 计划被转换为有限状态机（FSM）序列。

C. 感知与导航 (Perception & Navigation)

物体姿态估计：使用 AprilTag fiducial 标记。结合 RGB-D 相机（Orbbec Femto Bolt）的点云数据计算标记的 3D 位姿，比仅使用 RGB 图像更准确。
导航：基于 MoveBaseAction，结合机载 LiDAR 进行简单的避障和原地旋转搜索目标标记，无需构建全局地图。
人体跟踪：使用 YOLOv3 检测人体，ViTPose 估计姿态，6DRepNet 估计头部朝向以判断注意力（是否注视机器人），从而选择最近的“注意力集中”的人作为交接对象。

D. 技能学习与演示复现 (Skill Learning)

示教：通过遥操作记录末端执行器轨迹、夹爪动作及物体相对位姿。
复现：在自主执行时，根据检测到的物体位姿，将演示轨迹变换到基座坐标系进行回放。这种方法无需显式编程复杂轨迹（如打开洗碗机），且对物体位姿的微小变化具有鲁棒性。

E. 遥操作 (Teleoperation)

设备：基于两个低成本的 Dynamixel 电机主臂（类似 Aloha 项目）和手柄，用于记录演示或在自主失败时接管控制。
通信：视频流通过 GStreamer 和 H.264 编码，延迟约 30-40ms；控制指令通过 ROS 发送。

3. 关键贡献 (Key Contributions)

开源集成系统：完整开源了从语音指令到家庭任务执行的软件栈和硬件设计，包括 WBC 配置、LLM 规划器、遥操作界面等（详见论文表 I 中的 GitHub 链接）。
LLM 驱动的规划管道：提出了一种结合 CoT 推理和语法约束采样的 LLM 规划方案，确保了从自然语言到机器人可执行 FSM 的可靠转换。
自定义遥操作设备：设计了低成本的双臂遥操作接口，既用于专家演示数据采集，也作为自主系统的应急接管手段。
模块化架构：展示了基于 Docker 容器和 ROS 的模块化部署方案，实现了感知、控制、规划等模块的解耦与高效协同。

4. 实验结果 (Results)

在 euROBIN 竞赛的测试中，该系统表现如下：

指令理解：7/7 成功。LLM 能够准确理解不同口音和措辞的语音指令，并生成正确的任务计划。
导航：17/18 成功。基于 AprilTag 的导航在结构化环境中表现良好，但依赖环境标记限制了其扩展性。
物体操作：1/3 成功（完全自主）。基于标记的物体位姿估计在杂乱场景中鲁棒性不足，限制了完全自主操作的成功率。
综合任务完成：12/15 成功。其中 10/13 通过遥操作完成，2/2 完全自主完成。
延迟表现：LLM 推理在 GPU 上的中位延迟为 2.51 秒，满足非实时但需交互的竞赛要求。

5. 意义与未来展望 (Significance & Future Work)

实际意义：证明了将 LLM 与传统的机器人控制栈（WBC、FSM）结合，可以有效解决家庭服务机器人中“理解 - 规划 - 执行”的闭环问题。
局限性：
- 依赖 AprilTag 标记限制了在真实杂乱家庭环境中的通用性。
- 基于演示复现（Demo-playback）的方法缺乏泛化能力（例如无法适应不同型号的洗碗机）。
- 遥操作虽然有效，但需要高技能操作员，且工作空间受限。
未来方向：
- 引入基于扩散模型（Diffusion）或流匹配（Flow Matching）的策略学习，以替代硬编码的演示复现，提高泛化能力。
- 升级感知模块，采用更先进的无标记物体跟踪技术。
- 将遥操作架构迁移至 C++ 以提升性能，并探索 LLM 在执行过程中的自适应重规划能力。

总结：该论文展示了一个高度集成的服务机器人系统，成功在竞赛环境中实现了从语音指令到复杂家务任务的转化。其核心价值在于开源了完整的软硬件解决方案，并验证了 LLM 作为机器人“大脑”在结构化任务规划中的有效性，同时也指出了当前技术在感知鲁棒性和策略泛化方面的改进空间。