🤖 AI

When Should a Failing Robot Ask? Initiating Corrective Human-Robot Dialogue from Audited Sensor Evidence

本文表明，开放式视觉语言模型由于依赖提示词格式而非实际传感器证据，无法在何时请求人类帮助方面做出最优决策，但通过整合多样化的传感器数据并将其行动建立在测量的可靠性和任务成本之上，其诊断准确性和决策能力可以得到显著提升。

原作者： Eshika Pathak, Leela Krishna

发布于 2026-09-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Eshika Pathak, Leela Krishna

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

当一个与人协作的机器人掉落杯子或未能拿起工具时，在任何人开口说话之前，一个关键时刻便降临了。机器必须决定下一步该怎么做：是尝试自行修复问题，是检查自身的内部传感器以寻找线索，还是停下来向人类寻求帮助？这不仅仅是一个礼貌问题，而是一种风险计算。寻求帮助会消耗时间并干扰人类的注意力，但盲目地根据错误的猜测采取行动可能会导致更大的破坏。多年来，研究人员一直假设，如果机器人能看到一次失败，它就能理解失败发生的原因，或者它应该在感到不确定时直接寻求帮助。然而，一项新的研究挑战了这些假设，指出机器人的诊断问题能力完全取决于它使用了哪些传感器，并且目前的各种人工智能模型在何时应该停止并寻求帮助方面表现得异常糟糕。

为了调查这一点，研究人员构建了一个受控环境，使他们能够制造具有已知原因的特定故障。他们编写了一个模拟机械臂程序，执行一个简单的任务：拿起一个物体并将其放置在某处。随后，他们引入了三种不同类型的故障。首先，机器人可能因为物体被遮挡、缺失或光线太暗而无法看到物体。其次，机器人可能试图拿起物体但将其掉落，因为抓握力太弱、物体太重或表面太滑。第三，机器人可能因为目标容器已满或移出了触及范围而无法放置物体。由于研究人员亲自创造了这些故障，他们确切知道每一次错误的具体原因，从而能够测试机器人是否真的能够查明原因。

研究人员首先测试了不同传感器所能提供的信息。他们发现，机器人所能学习的信息存在着明显的鸿沟。当故障涉及看不见物体时，摄像头在诊断问题方面表现出色，几乎每次都能正确识别原因。然而，当故障涉及掉落物体时，摄像头几乎毫无用处。无论图像分析多么先进，摄像头都无法区分抓握力弱、物体过重或表面过滑，因为这些物理作用力对镜头而言是不可见的。相比之下，当研究人员向机器人提供其自身的力数据（即测量夹具挤压的力量以及感受到的重量）时，机器人能够以近乎完美的准确度诊断出掉落的原因。这揭示了一个基本事实：如果关于问题的相关信息不存在于机器人所观察的数据中，那么机器人就无法诊断问题。

研究随后转向了六种不同的开源人工智能模型，这类系统通常用于赋予机器人理解语言和图像的能力。研究人员要求这些模型查看失败尝试时的摄像头画面，并猜测发生了什么。结果令人震惊。这些模型的行为并不像那些了解自己缺失信息的谨慎科学家。相反，它们的行为受提问方式布局的影响。如果“我不知道”这个选项排在最后，模型几乎总是会拒绝回答，声称无法确定原因。如果研究人员将同一个选项移动到列表顶部，模型突然就不再拒绝回答，而是开始进行猜测，且往往带有很高的置信度，即便它们的猜测是错误的。它们的置信水平并不反映现实；一个模型可能对错误答案百分之百确定，或者对正确答案只有百分之五十的把握，两者之间没有任何关联模式。

研究人员还测试了将力数据以简单的文本形式提供给模型是否会有所帮助。对于六个模型中的四个，这一额外信息带来了巨大的差异。突然间，它们能够正确诊断掉落故障，从随机猜测转变为正确率超过一半。这证明了这些模型并非本质上无法理解物理现象，它们只是缺少正确的感觉器数据。然而，即使有了这种能力，这些模型仍然无法在何时应该寻求帮助做出正确的决策。当提问成本很低而独自行动的风险很高时，它们并没有更频繁地提问；同样，当提问成本很高时，它们也没有停止提问。它们的提问策略是僵化的，忽略了干扰人类的成本。

根据这项研究，对于机器人来说最有效的策略并不是依赖模型自身的“感觉”或置信度，因为这种置信度往往具有误导性。相反，决定是否提问应该基于两个可衡量的事实：机器人诊断的实际准确度，以及询问人类的成本。如果机器人的传感器可以可靠地告诉它发生了什么，它就应该行动。如果传感器无法提供答案，或者机器人的诊断很可能出错，它就应该寻求帮助。研究表明，向人类提一个问题可以将机器人的成功率从接近零提升到 80% 以上，但前提是机器人必须在正确的时刻提问。如今，提问的选择往往是一种猜测，但前进的道路是清晰的：机器人需要被训练去了解自身感官的极限以及提问的真实成本，而不是信任一个并不知晓自己无知的机器所展现出的自信。

技术摘要：机器人何时该提问？

问题陈述

当机器人在与人类协作执行任务时发生故障，其首要的沟通决策是根据自身的诊断进行行动、咨询车载传感器，还是中断并询问人类。目前的系统缺乏两个关键能力，以实现最优化的决策：（1）了解其特定传感器能揭示多少关于真实故障原因的信息，以及（2）了解自身诊断的可靠性。现有文献要么假设故障原因可以通过观察进行恢复而无需验证，要么在无法验证的情况下未量化其中的差距。本文解决了故障检测与修复之间的“未检验步骤”问题：即确定机器人何时应基于经过审计的证据发起纠正性对话。

研究方法

1. 带有审计真值的模拟基准测试

作者在 LIBERO 物理模拟器中构建了一个基准测试，其中故障原因通过构造已知。研究聚焦于三类故障家族：

检测故障（家族 B）： 机器人找不到物体（原因包括：遮挡、缺失、命名错误、光照昏暗）。
抓取故障（家族 A）： 物体在提升过程中滑落（原因包括：抓取力过低、质量过大、摩擦力过低）。
放置故障（家族 C）： 物体无法被放置（原因包括：容器关闭、已满或已移动）。

审计协议： 为了确定每个传感器揭示了什么，作者训练了分类器并对其进行了三项严格检查，以防止数据泄露：

洗牌检查（Shuffle Check）： 标签被随机打乱；准确率必须降至随机水平。
迁移检查（Transfer Check）： 模型在留出的摄像机视角和场景外观上进行测试；准确率必须保持稳健。
分离检查（Separation Check）： 训练集和测试集来自不同的模拟运行过程，以避免近乎重复的数据。
通过所有检查的分数被称为“证书（certificate）”，它代表了该传感器模态中可用信息的可靠下界。

2. 模型评估

评估了六个开源视觉语言模型（参数量为 7B–16B）：Qwen2.5-VL, Cosmos-Reason2, Cosmos3-Nano, InternVL3, Pixtral, 和 Llama-3.2-Vision。

输入条件： 模型分别在仅有摄像机帧、力数据（遥测数据）作为文本、以及两者的组合条件下进行测试。
提示词变体： 研究包含了鲁棒性扫描，例如将“无法确定”选项从答案列表的最后一位移动到第一位，并提供少样本示例（few-shot examples）。
置信度测量： 置信度通过陈述评分、Token 概率以及多次运行中的样本频率来衡量。

3. 决策框架

该问题被建模为一个三动作决策：行动（Act）、咨询传感器（Consult Sensor） 或 询问人类（Ask Human）。

成本： 正确修复的成本为 $C_r=1$ ；错误修复的成本为 $C_w=10$ ；询问人类的成本为 $C_a=3$ 。
最优策略： 基于代理人测得的准确率 ( $p$ ) 和给定的成本，通过解析法推导出询问的阈值概率 $p^*$ 。一个理性的代理人在 $p < p^*$ 时进行询问。
评分： 模型根据“参考策略”（给定测得准确率下的最佳固定策略）进行评分，使用“遗憾值（regret）”（实际成本减去参考成本）进行衡量。

关键结果

1. 传感器审计发现

检测故障： 极易通过图像进行诊断。一个分类器达到了 0.910 的准确率，并通过了所有迁移和洗牌检查。
抓取故障： 几乎可以完美地通过力数据进行诊断（准确率 0.986），但几乎无法仅通过图像进行诊断。基于图像的分类器在约 0.55（此特定设置下的随机水平）处达到平台期，无法区分像质量与摩擦力这种在接触前对摄像头不可见的故障原因。
放置故障： 一个分类器在图像上的得分高达 0.998，但在留出的摄像机角度下崩溃至 0.605，这表明它学习的是容器在帧中的位置而非故障原因。这凸显了审计协议的必要性。

2. 模型行为与诊断

提示词敏感性： 模型行为追踪的是提示词布局而非证据。将“无法确定”选项移至前端，导致三个模型家族对拒绝率从 ~78–100% 降至 0–6%。其中一个模型（Qwen）开始无视内容而直接选择列表中的第二个选项。
准确率： 在所有提示词变体下，仅依靠帧的准确率始终处于或低于多数类基准线。陈述的置信度无法提供任何关于正确性的信息（相关性 $\rho \approx 0$ ）。
力数据影响： 当将力数据作为文本提供时，六个模型中的四个实现了高于基准线的诊断准确率（0.45–0.54），而在仅有帧的情况下它们表现不佳。这表明故障往往是由于缺乏传感器数据，而非缺乏推理能力。
Cosmos 模型： 尽管在其他条件下存在力数据，但两个 Cosmos 模型在所有提示词变体下都一致地拒绝诊断抓取故障（拒绝率接近 100%）。

3. 决策性能

询问行为： 模型并未遵循最优策略。它们的询问率很大程度上对询问成本 ( $C_a$ $C_{a}$ ) 不敏感。
- Qwen 无论成本如何都会 100% 进行询问。
- Pixtral 和 Cosmos3-Nano 也几乎总是进行询问。
- Llama 则询问不足，在询问成本较低时产生了高额的遗憾值。
询问的价值： 当模型确实进行询问时，人类的回答（可靠性为 80%）将其最终任务准确率提升至 0.70–0.81，大致匹配人类的可靠性。然而，由于它们进行无差别的询问，因此产生了不必要的成本。
置信度作为信号： 置信度与错误率不相关，这意味着它无法用于触发选择性的询问。

贡献

审计的传感器测量： 一个量化了哪些故障类型可从哪些传感器进行诊断的基准测试，包括一个特定案例（抓取故障），其中力数据是充分的（0.99）而图像是不充分的（<0.55）。
提示词偏差的证据： 证明了开源视觉语言模型的诊断行为遵循提示词布局（选项顺序）而非证据，且在仅依赖帧时，准确率保持在多数类基准线或以下。
最优决策策略： 一个基于测得准确率和显式成本在行动、感知和询问之间做出决策的框架，并提供了一个用于对现成模型进行评分的参考策略。
询问价值的测量： 量化研究表明，虽然单次人类提问可以恢复高可靠性（0.70–0.81），但目前的模型无法根据中断成本来调节其询问率。

意义与主张

本文主张，向人类提问的决策应当“连接到测得的准确率和陈述的成本，而非模型的置信度”。文章认为，目前的模型缺乏知道自己何时处于不确定状态的自我意识。研究表明，大部分感知到的无法诊断故障的原因实际上是缺失了传感器模态（力数据），而非推理能力的缺陷。此外，研究确立了如果没有显式的成本感知训练或外部策略强制执行，模型要么会过于频繁地提问（浪费人类注意力），要么提问过少（产生高昂的修复成本），从而无法优化人机交互循环。作者得出结论，为了让机器人有效地发起对话，决策逻辑必须与模型的内部置信度脱钩，并基于经验测量的传感器能力和任务成本。