A Cross-lingual Comparison of Human and Classification Model Entrainment Behavior in Code-switched Speech Settings
本文对中英、印英及西英语码混合对话中人类趋同现象进行了跨语言分析，揭示了尽管词汇趋同具有泛化性，但声学和风格趋同会随语境而异，并证明了当前的分类模型未能优先考虑对人类行为最为显著的特定特征。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下你正在参加一个派对，每个人都在聊天。你可能会注意到，当两个人非常投缘时，他们会开始互相模仿。一个人说话很快，另一个人也会随之加快速度；一个人经常使用“嗯”、“那个”之类的语气词，另一个人也会开始这样做。他们甚至可能开始使用相同的俚语，或者调整自己的语调以听起来更相似。在科学领域，这被称为同步（entrainment）。这就像一场潜意识的舞蹈，人们无意识地模仿彼此的风格，以建立联系、感受被理解，并让对话流畅进行。
科学家们长期以来一直在研究这种“舞蹈”，但主要是在人们只使用一种语言（如英语）的情况下。然而，这个世界充满了混合使用多种语言的人，他们在句子中间会在西班牙语和英语、或者印地语和英语之间来回切换。这被称为语码转换（code-switching）。一个大问题是：这种模仿的舞蹈在人们混合使用语言时是否仍然存在？更具转折意味的是：我们已经构建了精密的计算机程序（人工智能）来检测这种模仿。但这些计算机真的理解人类是如何进行模仿的吗，还是它们只是根据错误的线索在进行猜测？
本论文对这个问题进行了深入探讨。研究人员观察了涉及普通话-英语、印地语-英语和西班牙语-英语混合的真实对话。他们想看看这种“模仿舞蹈”在这些不同的语言对之间是否看起来是一样的。然后，他们测试了一系列计算机模型，以观察人工智能是否关注的是与人类相同的特征。
以下是他们的发现：
人类的舞蹈：大致相同，但带有局部特色
当人类混合使用语言时，他们确实会互相模仿，但模仿的方式取决于所涉及的语言。
- 词汇： 在所有三种语言对中，人们一致地模仿彼此的词汇选择。如果一个人使用了大量的常用词或特定的填充音，另一个人往往也会模仿。无论混合的是哪种语言，这部分“舞蹈”都非常一致。
- 声音与节奏： 这变得有趣起来。在西班牙语-英语和普通话-英语组中，人们在语调或语速方面几乎没有表现出持续的同步。然而，在印地语-英语组中，人们在“轮次层面”（即相邻说话者之间）的模仿实际上要强得多，说话者在语音特征上表现出高度的一致性。研究人员认为，这种差异可能是因为普通话具有独特的声调特性（即音高的变化会改变词义），这使得“声音舞蹈”有所不同；而印地语-英语说话者的对齐方式更接近于西班牙语-英语所呈现的模式。但需要注意的是，即使在印地语-英语中，这种强烈的模仿也没有延伸到更广泛的对话层面；说话者并未在整个对话过程中表现出持续的趋同。
- 切换风格： 语言切换的方式也各不相同。在西班牙语-英语和普通话-英语中，人们会模仿彼此切换语言的频率和方式。但在印地语-英语中，这种模仿要弱得多。作者认为，这可能是因为印地语-英语的说话者切换语言如此自然且频繁，以至于没有足够的“空间”让一个人影响另一个人的风格——就像大家已经在跳同样的舞了，所以模仿的行为并不那么突出。
机器人的舞蹈：擅长猜测，但不擅长理解
研究人员随后询问：我们的计算机模型看到的舞蹈方式与人类一样吗？
- 结果： 计算机在检测人们是否正在互相模仿方面表现得相当出色。它们能以相当高的准确度区分出“有模仿行为”的对话和“无模仿行为”的对话。
- 症结所在： 然而，计算机在做出判断时优先考虑了错误的线索。当研究人员通过“窥视”其内部机制来查看 AI 使用了哪些线索时，他们发现了一种错位。人类是在模仿特定的词汇和切换风格，但计算机往往优先考虑了并非人类行为中最显著的特征，而是专注于其他不太显著的细节，比如声音音高或强度的微小波动。
- 类比： 想象一名保安试图识别小偷。小偷总是戴着一顶鲜红色的帽子（人类的线索）。但保安的摄像头却过度聚焦在小偷的鞋带上（计算机的线索），从而忽略了帽子（计算机的线索）。保安虽然抓住了小偷（模型得到了正确答案），但他使用的是错误的逻辑。
为什么这很重要
论文指出，虽然我们的 AI 可以察觉到某种连接正在发生，但它并不真正理解构建这种连接的“人类方式”。这就像一个学生通过背诵答案解析而不是理解公式来通过数学考试。
作者指出，这对未来是一个问题。如果我们想要构建能够与混合语言使用者进行自然交流的 AI 助手，我们需要让它们理解“真实的舞蹈”，而不仅仅是“虚假的舞蹈”。如果 AI 依赖错误的线索，那么当它遇到新的群体或不同的语言组合时，它可能会失败。本文并不声称已经解决了这个问题，而是提出，如果我们希望计算机成为真正的自然对话伙伴，我们需要教它们去关注人类所关注的事物。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。