Mind the Motions: Benchmarking Theory-of-Mind in Everyday Body Language
本文介绍了 Motion2Mind，这是一个旨在评估人工智能系统在解读非语言线索方面的心智理论能力的新颖框架与数据集，其结果表明，当前模型在识别人体语言及准确阐释其背后的心理状态方面均显著落后于人类。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在参加一个派对。你看到有人双臂交叉、脚不停轻点，或避免眼神接触。你无需他们开口说一个字，就能知道他们可能感到寒冷、不耐烦或不自在。你正在解读他们的“心理理论”——你正根据他们的肢体语言，猜测他们脑海中正在发生什么。
这篇题为《留意动作》（Mind the Motions）的论文提出了一个简单却棘手的问题：计算机能做到这一点吗？
研究人员构建了一项名为 MOTION2MIND 的新测试，以评估人工智能能否像人类一样理解肢体语言。以下结合一些日常类比，对他们的研究发现进行拆解。
1. 问题所在：人工智能擅长文字，却拙于“氛围”
将当前的人工智能（例如你使用的智能聊天机器人）想象成一个人：他读遍了图书馆里的每一本书，却从未真正走出家门。他们是理解文字和逻辑谜题的专家。然而，他们从未见过真人坐立不安、叹气或尴尬地微笑。
研究人员发现，尽管这些人工智能模型很聪明，但它们极不擅长解读人类互动中的“无声电影”。它们常常错过明显的线索，或在毫无意义的地方凭空捏造含义。
2. 解决方案：一本新的“肢体语言词典”
为了正确测试人工智能，研究人员不能仅使用那些只问“如果爱丽丝认为鲍勃在厨房，但鲍勃实际上在花园，爱丽丝认为鲍勃在哪里？”的旧测试。（这是一个经典的逻辑谜题，称为“错误信念”任务。）
相反，他们利用电影、情景喜剧和真人秀的片段，构建了一个庞大的真实世界数据集。他们将此视为一本由专家编写的巨型肢体语言词典。
- 词典：他们参考了一本由专家（乔·纳瓦罗）撰写的参考书，其中列出了 407 种具体的身体动作（如“交叉双臂”或“触摸颈部”）及其通常的含义（如“感到不安全”或“试图隐瞒某事”）。
- 测试：他们向人工智能展示简短的 4 秒视频片段，并要求其扮演三种角色：
- 侦探（检测）：“你看到了什么动作？”
- 翻译（知识）：“这个动作通常意味着什么？”
- 心理学家（解释）：“鉴于整个场景，这个人此刻实际上感觉如何？”
3. 结果：“过度解读”的陷阱
结果令人惊讶，也让人工智能的前景有些令人担忧。
- “幻觉”问题：人工智能就像一个过于渴望得到正确答案而开始胡编乱造的学生。如果视频中的人只是静静地坐着，人工智能可能会说：“他们显然正深陷存在主义的恐惧之中。”
- 论文术语：过度解读。人工智能看到一个动作，并强行赋予其心理含义，即使该动作毫无意义或仅仅是随机的抽动。
- 差距：即使是最聪明的人工智能模型（如 GPT-4o），其得分也显著低于人类专家。
- 人类：当被要求猜测肢体动作的含义时，专家的正确率约为 89%。
- 人工智能：最佳的人工智能模型的正确率仅为 45-65%。
- “无效”线索测试：研究人员加入了“陷阱”片段，其中动作可见，但在该语境下并不具有任何特定含义（例如，某人只是因为椅子不舒服而挪动了一下座位）。人工智能几乎总是试图为这些随机动作赋予深层的情感含义，而人类则正确地指出：“这并不代表任何特殊含义。”
4. 这为何重要？
该论文认为，为了让人工智能真正与人类互动（例如作为机器人助手或虚拟朋友），它需要理解的不仅仅是文字。它还需要理解我们身体的“无声语言”。
目前，人工智能就像一个英语说得完美无缺，却完全不知道交叉双臂通常意味着你有所防备的人。它缺失了那种使人类连接得以生效的“氛围检查”。
一句话总结
- 目标：人工智能能读懂肢体语言吗？
- 测试：一项名为 MOTION2MIND 的新基准测试，使用真实视频片段和专家手势词典。
- 裁决：不，目前还不能。 人工智能目前在这方面的表现很差。它经常错过明显的肢体动作，更危险的是，它会为那些毫无意义的随机动作编造深层的情感含义。
- 启示：在机器能够真正“读懂现场”之前，我们还有很长的路要走。在涉及人类肢体语言时，它们仍然过于字面化，且容易凭空捏造。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。