💻 computer science

When Robots Rate Their Own Interactions: Engagement Validity and the Strangeness Failure

本文引入了一种“逆向评估”框架，通过该框架，由大语言模型驱动的机器人对人机交互进行自我评估，结果显示，尽管它们能够可靠地评价满意度和愉悦感等参与度维度，但由于缺乏获取内部情感状态的途径，它们在准确评估舒适度或陌生感方面存在系统性失败。

原作者： Victor Lockwood, Hasan Mahmud, Mohammad Javad Khojasteh, Prabu David, Jamison Heard

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Victor Lockwood, Hasan Mahmud, Mohammad Javad Khojasteh, Prabu David, Jamison Heard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在与一个机器人进行对话。通常情况下，在聊天结束后，人类研究员会询问你（人类）这次互动体验如何。他们会问：“你觉得愉快吗？”“感觉奇怪吗？”“你觉得舒服吗？”

这篇论文提出了一个大胆且略带科幻色彩的问题：如果我们要求机器人从它自身的视角来为这次对话打分呢？

研究人员设计了一个实验，让由先进人工智能（大语言模型或 LLM）驱动的机器人填写与人类通常填写的相同的标准调查问卷。他们想看看机器人的“观点”是否符合人类的“现实”。

以下是他们发现的研究结果，使用了一些简单的类比：

1. 设置：作为学生的机器人

把机器人想象成一个正在参加考试的学生。“考试”就是一份关于对话感受的调查问卷。

人类： 知道标准答案（真相）的老师。
机器人： 只能根据大声说出的内容来猜测答案的学生。

研究人员通过两种方式进行了这项测试：

研究 1（练习赛）： 他们提取了 25 段人们与机器人交谈的旧录音，并请五个不同的 AI 模型进行评分。
研究 2（正式考试）： 他们将一个真实的物理机器人（Nao 机器人）放在一个房间里，与四个人进行实时聊天，并让机器人在实时过程中为自己评分。

2. 好消息：机器人擅长“击掌欢呼”

当调查问卷询问关于参与度（你觉得有趣吗？你感兴趣吗？你喜欢这次交谈吗？）时，机器人的表现出奇地好。

类比： 如果你正在和朋友聊天，你们都在欢笑并互相提问，机器人能捕捉到这种能量。它就像一位体育解说员，仅通过听观众的欢呼声，就能判断出比赛的得分情况以及谁在打得精彩。
结果： 机器人在“趣味性”和“兴趣度”上的评分与人类的评分非常吻合。它能分辨出一段对话是否活跃且积极。

3. Bad News：机器人对“诡异感”是“盲目”的

这是该论文最大的发现。当调查问卷询问关于怪异感或不适感（这感觉很奇怪吗？你感到不安吗？）时，机器人完全猜错了。

类比： 想象你正坐在一个机器人房间里。你正在微笑并交谈，因为你很好奇，但内心深处你感到有些不安，因为这个机器人正在询问一些关于你灵魂的古怪问题。
- 你（人类）： “这很有趣，但也挺毛骨悚象的。”
- 机器人： “我们正在进行一场精彩的深度对话！大家都很快乐！”
结果： 机器人的回答出现了系统性的反转。当人类说“这感觉非常奇怪”时，机器人却说“这感觉非常舒适”。它无法区分“好奇的参与”与“不适的怪异”。

4. 为什么会发生这种情况？

论文解释说，机器人就像一个蒙着眼睛的听众。

它能听到词汇（转录文本）。
它能看到所说内容的文本。
但它无法感受到内在的情绪氛围（vibe）。

怪异感是一种内在的感觉。你可以一边愉快地交谈，一边觉得这件事很怪异。机器人只看到了“愉快的交谈”，并据此假设这种感觉也是愉快的。它无法接触到你的心率、肢体语言或房间里无形的紧张感。这就像仅仅通过阅读一条写着“我很好！”的短信，就试图猜测一个人是否紧张一样。

5. 加上“眼睛”会有帮助吗？

研究人员尝试给机器人加上“眼睛”（摄像头）和“情感标签”（AI 猜测人类的情绪）。

结果： 这并没有解决问题。即使有了摄像头，机器人仍然认为那些“怪异”的对话是“舒适”的。论文指出，要真正了解人类是否感到不适，机器人可能需要观察人类难以掩饰的东西，比如加速的心跳或眼神注视的方向，而不仅仅是看他们说了什么。

总结

论文的结论是，要求机器人对其自身的社交互动进行评分是喜忧参半的：

它适用于衡量对话是否充满活力和趣味。
它不适用于衡量对话是否感觉怪异或令人不适。

启示： 如果你正在制造一个需要感知人类是否感到不适的机器人（例如治疗机器人或护理机器人），你不能仅仅让机器人的 AI 去“猜测”。你需要额外的传感器（如心率监测器或眼动追踪器），因为机器人仅凭其“大脑”是无法感受到人类正在经历的那种尴尬感的。

简而言之： 机器人是一个优秀的文字听众，但在捕捉“情绪氛围”方面，它是缺乏感知力的。

技术摘要：当机器人对自身的交互进行评分

问题陈述

目前的人机交互（HRI）评估是单向的：人类使用标准化工具（如 Godspeed、RoSAS、HRI-CUES）对机器人进行评分，而机器人的视角却未被考察。随着社交机器人越来越多地依赖大语言模型（LLM）来实现对话能力，一个关键的差距在于：这些模型是否能够从机器人自身的视角有效地评估交互。虽然相邻研究表明 LLM 可以作为行为研究中人类参与者的代理，但它们往往表现出积极性偏差（positivity bias），并且在个体层面的预测上表现挣扎。此外，此前尚无研究将 LLM 作为交互中的“参与者”（即“倒置评估”范式）而非外部观察者进行研究。核心问题在于，由 LLM 驱动的机器人能否生成关于交互质量的有效自我评估，特别是针对诸如“参与度”（engagement）与内部情感状态（如“怪异感”或不适感）等构念。

研究方法

作者通过两项研究来调查三个研究问题：（1）LLM 生成的评分是否与人类基准真相（ground truth）趋同？（2）LLM 在哪些构念上成功或失败？（3）该范式在实时具身交互中的表现如何？

研究 1：回顾性分析

数据集： HRI-CUES 数据集，包含 25 名老年人与一台由 ChatGPT 3.5 驱动的 Furhat 机器人进行交谈的转录文本。转录文本由瑞典语翻译为英语。
模型： 评估了五种 LLM：GPT-3.5、GPT-4o-mini、GPT-4o、Claude Sonnet 4.5 和 Claude Haiku 4.5。
程序： 向 LLM 提供机器人人格、交互转录文本以及“翻转”后的问卷条目（例如，“我喜欢与机器人交谈”变为“人类似乎很享受与我交谈”）。
工具： HRI-CUES（满意度、愉悦度、兴趣、舒适度/怪异度）、Godspeed 量表和 RoSAS 量表。
控制变量： 研究包含了稳健性控制，如条目随机化、人格变化、温度采样以及合成对话生成，以排除提示词伪影或长度混淆因素。
多模态扩展： 第三阶段测试了在文本输入中加入情感标签和合成面部图像对 Claude Sonnet 模型的影响。

研究 2：实时具身试点

设置： 一台运行 Claude Sonnet 4.5 的 Nao 人形机器人（名为“Noah”）与四名实验室成员进行开放领域对话。
实时评估： 机器人在每一轮对话中捕捉面部图像并转录语音，将两者发送至 API 以生成对话回复及即时的 HRI-CUES 评分。
比较： 参与者在交互期间和结束后提供独立的评分，从而允许对人类与机器人评分之间的回合级差异进行比较。

关键结果

1. 可靠性与参与度效度

LLM 展示了高度的内部一致性和可靠性。

可靠性： 各模型的重测信度（ICC）表现优异（Claude ≥ .99；GPT-4o/4o-mini 为 .94–.95；GPT-3.5 为 .82）。
参与度维度： LLM 在参与度构念上与人类基准真相达到了中等至强度的相关性。愉悦度的相关系数范围为 $r = .46$ 至 $.72 $，**满意度**为$ r = .18 $至$ .65$。能力更高的模型通常表现出更强的效度。
积极性偏差： 观察到了普遍的积极性偏差，LLM 对满意度、兴趣和舒适度的评分高于人类自我报告，尽管愉悦度是唯一一个低于基准值的维度。

2. “怪异感失效”（The "Strangeness Failure"）

最显著的发现是其在舒适度/怪异度维度上的系统性失败。

反向相关： 在所有五个模型中，LLM 对舒适度（反向编码的怪异度）的评分与人类基准真相显示出显著的负相关（ $r = -0.44$ 至 $-0.67$）。
机制： 作者认为 LLM 将“参与度”与“舒适度”混淆了。当参与者表达好奇心、哲学性的探究或对机器人本质的惊讶时，LLM 将其解释为积极的参与信号，而非怪异感或不适感的指标。
持续性： 这种失败在以下情况中持续存在：
- 不同的模型架构（OpenAI vs. Anthropic）。
- 合成控制实验（即使明确标记了情感，关于“怪异度”的条目仍表现出系统性的反向关系）。
- 实时具身部署（研究 2）：机器人将深奥的哲学对话评为高度舒适，而人类则将其评为高度怪异。

3. 多模态与规模泛化

量表兼容性： LLM 能够成功解析并完成 Godspeed 和 RoSAS 量表，且具有高度的一致性。
多模态输入： 加入情感标签或合成面部图像产生了模型特定的偏移（例如，GPT-4o 将情感标签视为参与证据；Claude 则将其视为减少歧义的手段），但并未解决怪异感失效问题。在不适感方面的效度差距依然存在。
实时交互： 在研究 2 中，机器人成功追踪了行为性脱离（例如，当参与者明确表示不想继续交谈时），但未能检测到深度哲学讨论带来的“怪异感”，误将其解读为高质量的交互。

核心贡献

倒置评估框架： 本文建立了一种方法论，让基于 LLM 的机器人能从自身视角完成标准化的 HRI 问卷，超越了传统的仅限人类的评估范式。
LLM 社会感知能力的边界条件： 研究定义了 LLM 在 HRI 中的应用限制。虽然 LLM 对于评估行为参与度维度（愉悦度、满意度）是有效的，但对于依赖于人类对机器人物理存在或本质的主观体验的内部情感状态（如怪异度或不适感）则是无效的。
“怪异感失效”的实证证据： 通过 1,522 次评估、五种模型及实时部署，本文提供了强有力的证据，证明 LLM 会系统性地反转舒适度/怪异度维度，将好奇心和新颖性误认为舒适感。
观察者与参与者框架的区别： 作者证明，虽然 LLM 作为 HRI 场景的外部观察者表现良好，但当其作为参与者时，性能会下降，即为了实现原位、双向评估的能力而牺牲了一定的一致性。

意义与主张

本文声称，仅靠基于 LLM 的自我评估不足以进行全面的 HRI 评估。“怪异感失效”表明，当前的 LLM 缺乏获取内部情感状态所需的途径，而这些状态取决于参与者对机器人的物理存在或本质的主观体验。

作者认为，为了让机器人有效地进行社会适应（在对话、导航或护理中），它们不能仅仅依赖 LLM 的推理。相反，补充性的感知模态——如生理信号（如心率）、注视追踪或近距行为（proxemics）——对于捕捉参与者未通过言语表达的内部状态是必要的。倒置评估范式被视为参与度相关构念的有效补充，但必须辅以非语言数据，以解决在不适感和怪异度方面的盲点。