Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models
本文介绍了 MOSAIC，这是一个多模态基准测试，它揭示了当前的视觉语言模型由于在生成连贯的非语言信号和解释他人行为方面存在瓶颈，导致无法将心理理论推理转化为协调的社会行为，而具有显式信念-动作耦合的模型则能够成功实现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
人类之间的联系依赖于一种超越言语的、无声且快速的交换。当我们说话时，我们也在调整视线、调整姿态并改变面部表情，同时试图猜测对方在想什么、在感受什么。这种理解他人思想并利用这种理解来引导自身行为的能力，被称为“心理理论”（theory of mind）。几十年来，科学家们一直在研究这种能力，通常通过让人们回答关于故事的问题，或者观察他们如何应对简单的社交谜题。其目标是观察人工智能是否也能做到这一点。但一直存在一个关键性的差距：知道某人在想什么，与实时根据该知识采取行动是两回事。一个系统可能正确猜到了一个人正在隐瞒秘密，但它能否随后决定移开视线、微笑，或以一种能微妙地鼓励那个人说出秘密的方式移动身体？直到现在，还没有任何测试能够衡量人工智能是否能将心理上的猜测转化为协调的、物理性的社交信号。
来自巴黎-萨克雷大学和索邦大学的研究人员致力于通过一项名为 MOSAIC 的新实验来填补这一空白。他们构建了一个虚拟世界，其中两个数字智能体在一个寻宝游戏中进行互动。在这个场景中，一个智能体（主体）知道隐藏奖励的位置，而另一个智能体（参与者）则不知道。主体的任务是帮助参与者找到宝藏，或者根据每一轮的规则，误导他们选择错误的盒子。这个游戏旨在成为一项严苛的社交智能测试。在十轮互动中，智能体必须通过结合语言、肢体动作、眼神方向和面部表情来进行交流。研究人员通过改变规则来增加难度：有时主体被要求诚实，有时则被要求欺骗。至关重要的是，他们还改变了主体的内部指令，要求一些主体在不考虑他人想法的情况下根据自身欲望行动，而另一些则被要求明确模拟参与者的信念并试图影响他们。
研究人员在这个环境中测试了 1 hope 种不同的人工智能模型，包括 11 个能够看和说的视觉-语言模型，以及一个纯文本模型。他们为每个模型运行了 200 次试验，以收集足够的数据来观察清晰的模式。结果非常悬殊。大多数先进的 AI 系统都无法产生成功所需的协调行为。当被要求进行欺骗时，这些模型无法生成误导性语言与矛盾肢体语言相结合的必要组合。当被要求提供帮助时，它们往往无法通过移动或注视的方式来引导另一个智能体。研究识别出了过程中的两个特定崩溃点。首先，大多数模型无法产生在方向上具有意义的非言语信号；它们的动作和注视往往是随机的，或者指向了错误的方向。其次，即使一个模型产生了清晰的信号，环境中的另一个智能体也未能注意到它或对其做出反应。这些 AI 智能体似乎在说话和移动，但并未进行真正的沟通。
一个模型成为了完全的例外。一个名为 PCM-LLM 的混合系统脱颖而出，该系统拥有一个专门设计的、用于处理信念和意图的结构化模块，它在所有条件下都取得了成功。当被要求帮助时，它能成功引导参与者找到宝藏；当被要求欺骗时，它也能成功误导对方。这种成功表明，其他模型的失败并非由于任务本身的难度，而是因为其架构中缺少了一个环节。标准的模型（即同时处理语言和图像的模型）似乎缺乏一种内部机制，无法将对另一个人的信念直接与物理动作联系起来。研究人员发现，对于大多数模型来说，它们接收到的视觉输入实际上起到了干扰的作用，而非有益的线索。在某些情况下，完全移除视觉图像反而提高了模型发送清晰方向信号的能力，这表明视觉数据干扰了它们的推理，而非支持了推理。
这项研究还探讨了这些模型是否可以通过练习来做得更好。研究人员提取了一个失败的模型，并使用由表现优异的混合系统生成的成功行为案例对其进行训练。虽然这种训练略微改变了该模型的行为，但并未解决根本问题。该模型仍然无法将其语言、眼神和身体协调成一个单一、连贯的社交信号。这表明，仅仅向 AI 展示如何移动是不够的；它需要更深层的架构变革，以理解其行为是为了影响另一个心灵。研究结果表明，目前的 AI 系统尽管能够用文字讨论复杂的社交场景，但尚未学会如何体现这些思想。它们可以谈论心理理论，但尚未学会如何“活”出心理理论。在推断他人想法与以协调的、物理性的方式根据该推断采取行动之间，仍然存在着一个独特且可衡量的技术局限。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。