Chain Of Interaction Benchmark (COIN): When Reasoning meets Embodied Interaction
本文提出了 COIN 基准，通过构建包含 50 个日常交互任务的 COIN-50 数据集、采集 1000 个原语演示的低成本移动 AR 遥操作数据，并建立系统性评估指标，揭示了当前具身智能模型在视觉理解与运动执行之间存在显著差距，导致其难以应对需要因果推理的长程交互任务。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
这篇论文介绍了一个名为 COIN（Chain Of INteraction，交互链）的新测试标准。为了让你更容易理解，我们可以把机器人想象成一个刚入职的“超级实习生”，而 COIN 就是专门用来考核这个实习生是否具备**“在复杂环境中边做边想、灵活应变”**能力的终极考试。
以下是用通俗语言和生动比喻对这篇论文的解读：
1. 核心问题：为什么现在的机器人还像个“笨小孩”？
目前的机器人（特别是那些装了大模型的机器人）很擅长做简单的动作，比如“把杯子拿起来”。这就像是一个只会听指令的复读机：你让它拿杯子，它就拿。
但在现实生活中，事情往往没那么简单。
- 场景：你想让机器人去柜子里拿一个苹果。
- 现实困难：柜子是锁着的，钥匙在抽屉里，抽屉被一本书挡住了，书在桌子上，桌子有点滑……
- 机器人的困境：现有的机器人就像是一个只会按剧本演戏的演员。如果剧本里没写“如果抽屉打不开怎么办”，它就会卡死、死循环，或者直接放弃。它缺乏**“交互推理”的能力——即：“做一步，看一眼，想一下，再调整下一步”**的循环能力。
2. 什么是 COIN 基准？（一场全新的“实战演习”）
作者们觉得以前的考试太简单了，就像只考机器人“能不能把积木搭高”，却不管它“能不能在搭积木时避开突然吹来的风”。
于是，他们设计了 COIN，包含三个难度的关卡，就像游戏的新手村、进阶关和 Boss 战：
- COIN-Primitive（基础技能包）：
- 比喻：这是机器人的**“基本功训练”**。比如：开门、关门、拿苹果、推东西。
- 贡献：作者们收集了 1000 多个由人类专家演示的“基本功”视频数据，教机器人怎么动。
- COIN-Composition（组合技能包）：
- 比喻：这是**“变通测试”**。比如：刚才教了“开门”，现在换个颜色的门，或者换个把手，机器人还能开吗？
- 目的：测试机器人是不是真的学会了，还是只是在死记硬背。
- COIN-50（终极交互挑战）：
- 比喻：这是**“荒野求生”**。任务非常长且复杂，比如“从柜子里拿苹果”。机器人必须自己发现：门是锁的 -> 找钥匙 -> 钥匙在抽屉里 -> 抽屉被挡住 -> 先移开书 -> 打开抽屉 -> 拿到钥匙 -> 开门 -> 拿苹果。
- 特点：在这个过程中，机器人必须不断观察环境，如果一步走错了，它得自己想办法补救，而不是死板地执行指令。
3. 他们是怎么收集数据的？（“手机遥控”黑科技）
以前收集机器人数据需要昂贵的机械臂和复杂的传感器，就像拍电影需要大剧组。
- 创新点：作者们开发了一个**“手机 AR 遥控系统”**。
- 比喻：就像你用手机玩《宝可梦 GO》一样，你拿着手机在房间里比划，手机通过摄像头和传感器（AR 技术）就能捕捉你的动作，然后指挥机器人模仿。
- 成本：这套系统成本不到 20 美元（买个二手手机就行），让任何人都能轻松收集机器人数据。这就像把“好莱坞大片”的拍摄门槛降到了“家庭录像”的水平。
4. 测试结果：残酷的“挂科”现场
作者用这个新标准去测试了目前最顶尖的几种机器人模型（包括那些号称“通用人工智能”的大模型），结果非常令人震惊：
- 人类表现：人类在模拟环境中能完成 40% 的任务（现实中是 100%）。
- 机器人表现：最先进的 AI 模型，成功率竟然连 3% 都不到！
为什么机器人这么“笨”？
论文指出了几个致命弱点，我们可以用比喻来理解：
- “眼手分离”症：
- 机器人的“大脑”（视觉理解）很聪明，能看懂图；但它的“手”（执行动作）很笨拙。就像一个理论物理学家，让他去拧螺丝，手抖得根本拧不上。
- “死脑筋”规划：
- 很多机器人是“先想好全部计划，再执行”。一旦执行中遇到意外（比如门打不开），它就不会重新思考，只会机械地重复失败的动作。
- “语言隔阂”：
- 机器人听不懂人类语言背后的深层含义。如果你说“把门拉开”，它可能理解成“把门推开”。语言指令和实际动作之间有一道巨大的鸿沟。
5. 总结与未来
这篇论文的核心思想是：现在的机器人太“书呆子”了，它们缺乏在真实世界中“边做边想、灵活应变”的能力。
- COIN 的作用：它就像一面照妖镜，照出了当前 AI 在复杂交互任务中的短板。
- 未来的方向：我们需要让机器人学会**“思考 - 行动 - 再思考”**的循环，就像人类一样，遇到障碍能灵活变通，而不是死板地撞墙。
一句话总结：
这篇论文给机器人界发了一张“新考卷”，告诉科学家们：别光教机器人怎么“拿杯子”了，得教它们怎么在**“门被锁、抽屉卡住、东西乱跑”的混乱世界里，像个真正的“机灵鬼”**一样解决问题。目前来看，我们的机器人离这个目标还有很长的路要走。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。