Adversarial robustness and confidence miscalibration in emotion-based HRI systems
本文表明，用于机器人的面部表情识别系统虽然在干净数据集上达到了极高的准确率，但在对抗性攻击下却表现出灾难性且在结构上无法校准的置信度失准，这使得它们尽管表现得高度自信，但在物理控制方面本质上是不安全的。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一种旨在帮助人类的机器人，或许是在医院或学校中，它被设计为通过观察面部来理解人类的情感。如果机器人看到一个微笑，它可能会提供一个欢快的问候；如果它看到一个皱眉，它可能会提供安慰。这种读取情绪的能力是现代社交机器人的基石，依赖于经过训练以识别面部表情的计算机程序。为了让这些机器变得安全且有用，其创造者必须相信机器人对脸部的解读是正确的。如果机器人将一张中性面孔误读为愤怒，它可能会做出不必要的谨慎或攻击性反应，从而可能造成伤害或困扰。工程师们核心的问题不仅在于机器人是否能在完美的受控环境下准确识别情绪，而在于当世界变得混乱或有人试图欺骗它时，它是否能够被信任去做出决策。
一个研究团队着手测试这种信任度。他们检查了五个不同的计算机系统，这些系统旨在识别五种基本情绪：愤怒、快乐、悲伤、惊讶和中性状态。这些系统接受了一系列严格的测试，以观察当它们接收到的图像略微模糊、光线昏暗或带有数字噪声时的表现。更重要的是，研究人员使这些系统遭受了一种被称为“对抗性攻击”的特定类型数字诡计。在这种情景下，一个计算机程序会对一张人脸照片进行微小的、几乎不可察觉的修改——这些修改微小到人类肉眼永远无法察觉——但这些修改经过精确计算，足以彻底迷惑机器人。目标是观察机器人是否仍能正确识别情绪，并且至关重要的是，机器人是否知道自己被迷惑了。
结果非常鲜明，揭示了目前这些系统构建方式中的一个严重缺陷。当研究人员引入哪怕是最微小的数字诡计时，机器人的情绪识别能力便会崩溃。原本在洁净条件下正确率达76%的系统，准确率骤降至接近于零。它们开始胡乱猜测，经常将一张笑脸识别为愤怒，或将一张忧伤的面孔识别为惊讶。然而，最令人震惊的发现不是机器人犯了错，而是它们完全没有意识到自己的错误。即使在被诱导看到错误情绪时，它们对错误的答案依然表现得极其自信。事实上，这些计算机程序报告称，它们对错误猜测的把握度接近96%。
这一发现挑战了一种常用的机器人安全策略。工程师通常会编写程序，让机器人在预测置信度过低时忽略该预测，假设低分意味着机器人不确定，应当等待更好的读取结果。研究人员发现，这种安全网在这些数字诡计面前毫无作用。因为即使在出错时，机器人依然保持着高度自信，所以安全闸门从未关闭。机器人带着完全的确定性，根据其错误信念采取了行动。该团队从数学上证明，仅仅通过调整计算机的内部设置使其变得更加谨慎并不能解决问题。这些系统计算置信度的方式，在面对足够强大的诡计时，在结构上无法区分真实的面孔与被欺骗的面孔。
研究人员得出结论，仅依靠单张面部的快照和计算机的置信度分数不足以保证机器人的安全。他们证明了，机器人的情绪识别能力与其基于该情绪进行安全行动的能力是两回事。一个系统可以在实验室里很好地识别面部，但在现实世界中却可能极其脆弱。研究人员认为，为了构建真正安全的机器人，我们需要一个新的验证层。机器人不应在看到脸部后立即行动，系统应该将预测结果与其他证据进行比对，例如该表情持续了多久，或者机器人的其他传感器是否与视觉输入一致。在这些保障措施到位之前，那些依赖读取我们面孔的机器人，比起理解我们，更有可能误解我们，尤其是在面对哪怕是最轻微的欺骗尝试时。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。