Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
本文介绍了首个针对英语、俄语和哈萨克语的语音幻觉检测多语言基准测试，证明了基于文本转录的方法优于直接音频处理方法，同时揭示了合成基准测试在包含真实性相关线索的同时，还包含了混淆性的模型依赖信号。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代计算的静谧轰鸣声中，一种新型错误已经出现，它并非简单的失误，而是一种自信的虚构。训练自庞大人类写作与言语库的大型计算机程序，在生成文本和以人类声音说话方面已变得异常出色。然而，它们有一个令人不安的习惯：有时会陈述完全虚假的内容，以事实般的确定性呈现虚构。这种被称为“幻觉”的现象在书面文本中已有详尽记载，研究人员多年来一直致力于开发捕捉这些谎言的工具。然而，当这些系统大声说话时，风险显著上升。当机器用人类的声音生成新闻报道，或者当系统转录广播内容时，错误可能会产生连锁反应。计算机可能会听错一个词，或者语音合成器可能会扭曲一个名字，这些微小的故障可能会累积成一个听起来真实但完全虚假的故事。对于数字资源较少的语言，问题更为严重，因为用于将文本转换为语音并反向转换的工具通常不够精确。
一支研究团队现在迈出了理解这种针对 spoken word（口头表达）特定危险的重要第一步。他们创建了一个新的测试场，一个包含三种语言的新闻故事的大规模集合：英语、俄语和哈萨克语。该数据集包括超过一万两千个样本，涵盖了从原始文章到事实被微妙或严重扭曲的版本。至关重要的是，研究人员并未止步于文本。他们将这些故事交给计算机，利用不同的语音引擎朗读出来，然后让其他计算机聆听这些录音并将其重新写下来。这一过程模拟了 spoken information（口头信息）在现实世界中的旅程，即声音如何转换为文本并再次转换，在每一步都引入了噪声和潜在的错误。通过对比原始故事与这些经过语音化和转录的版本，团队得以准确观察机器的“声音”是如何改变真相的。
随后，研究人员对各种人工智能模型进行了测试，要求它们充当事实核查员。他们想知道这些模型是否能识别出原始文本、语音生成的书面转录文本或原始音频中的谎言。结果提供了一个清晰、甚至有些令人清醒的图景。在几乎所有情况下，模型在直接阅读文本时的表现最为出色。当模型必须聆听音频或阅读由计算机“耳朵”生成的转录文本时，其检测谎言的能力就会下降。这种下降在哈萨克语中最为严重，因为这是一种数字资源较少的语言，其语音转文本的工具面临的最大挑战。技术本身引入的错误——例如对姓名或地名的轻微误听——往往会干扰检测器，使其难以区分是真正的失误还是蓄意的捏造。
这项研究还探讨了一个关于这些检测器如何运作的更深层问题。由于研究人员使用计算机创建了虚假故事，因此存在一种风险，即检测器可能仅仅是在学习识别计算机生成句子的“风格”，而非实际的谬误。为了测试这一点，团队引入了现实世界的误导信息：一些曾在俄罗斯和哈萨克斯坦流传、后被人类事实核查员拆穿的新闻故事。当他们在这些人类编写的谎言上测试检测器时，模型的表现出奇地好，往往能达到其在计算机生成虚假信息上的表现。这表明检测器确实是在学习寻找真相，而不仅仅是识别风格。然而，对俄语数据的进一步观察揭示了一个细微差别：某些模型对“机器”风格过于敏感，以至于如果真实的报道被计算机改写过，它们也会将其标记为假消息，而另一些模型则保持了更高的辨别力。
最终，这项工作凸显了人类处理信息的方式与机器处理方式之间持久存在的差距。虽然我们可以轻松阅读标题并识破谎言，但当前的这一代机器在面对被说出来的标题并随后被转录时却显得力不从心，尤其是在技术尚在成熟中的低资源语言领域。研究人员发现，从声音到文本的过程是一座脆弱的桥梁，穿行其间的噪声会掩盖真相。他们的研究结果表明，目前最可靠的捕捉语音幻觉的方法仍然是将这些话语作为文本来阅读，而不是尝试直接解读原始声音。随着这些语音技术在我们的日常生活中变得越来越普遍，开发能够应对语音噪声和低资源语言复杂性的稳健工具的需求也变得日益紧迫。这项研究并未提供最终的解决方案，但它提供了一张清晰的地形图，准确地展示了哪里地面坚实，以及哪里开始崩塌。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。