Should We Type or Talk to LLM Agents? A Comprehensive Study of Voice and Keyboard Input Perturbations
本文介绍了 HIVE，这是一个扰动套件，它证明了语音转录错误通过破坏 Token 结构并阻碍推理过程，显著降低了大语言模型的性能，而键盘输入错误则更容易被吸收，从而揭示了保持原始 Token 对于鲁棒性至关重要，且标准的训练或思考预算无法完全缓解语音特有的脆弱性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在和一个超级聪明的机器人聊天，这个机器人能写故事、解数学题，还能编写计算机代码。这个机器人被称为“大语言模型”，简称 LLM。长期以来，我们一直通过键盘向这些机器人输入信息，就像发短信一样。但现在，我们也可以大声对它们说话，就像和朋友聊天一样。一个大问题是：我们“如何”与它们交流重要吗？
当你打字时，你可能会犯一些小错误，比如手指滑了一下按错了字母，或者忘了按空格键。当你说话时，机器人必须倾听你的声音，将其转化为文本，然后阅读。这个过程可能会变得很混乱。你的声音可能会带有“嗯”、“啊”之类的语气词，或者计算机可能会误将一个词变成读音相似的另一个词（比如把“their”听成了“there”）。更糟糕的是，一些智能工具会尝试在将你的话发送给机器人之前进行“清理”，把你的句子改写得更正式。科学家们想知道：这些混乱的输入会让机器人感到困惑吗，还是说机器人足够强大，能够应对这些情况？他们想找出，是打字更好还是说话更好，以及什么样的错误真正会“搞砸”机器人的大脑。
为了回答这个问题，研究人员构建了一个特殊的测试机器，叫做 HIVE（人类输入变化引擎）。把 HIVE 想象成一个巨大的“错误工厂”，它会接收完美的提问，并故意以非常特定的方式将其弄乱。他们创建了两种不同类型的“混乱”：一种看起来像笨手笨脚的打字员（QWERTY 键盘错误），另一种看起来像是语音录制器的杂乱转录文本（语音错误）。然后，他们将这些混乱的问题输入到五个不同的智能机器人中，并观察发生了什么。
以下是他们的发现，这有点令人惊讶：
1. 说话是机器人的“困难模式”
当人们对机器人说话时，机器人比人们打字时更容易感到困惑。但这并不是因为“嗯”、“啊”（填充词）的原因。真正的麻烦在于你的语音是如何被重写的。如果一个工具将你的口语重新组织成一段整洁、教科书式的句子，机器人的表现就会崩溃。事实上，将口语问题压缩成简短、干净的摘要，会导致机器人在处理数学问题时的准确率下降 24.1 个百分点。事实证明，机器人喜欢你句子的原始结构，即使它有点乱。改变你词语的顺序或重写你的话，就像是在重新绘制地图上的道路；机器人会迷路。
2. 打字错误出人意料地容易被忽略
另一方面，当面对打字错误时，机器人表现得异常强悍。如果你按错了键、交换了两个字母或漏掉了空格，机器人通常能理解。研究人员发现，机器人可以处理大量的打字错误而不会开始失败。只有当错误变得非常集中——比如几乎弄乱了每一个单词——机器人才会放弃。这表明，只要核心词汇还在，机器人就非常擅长猜测你的原意。
3. “Token 生存”法则
最大的发现是，为什么一种错误比另一种错误造成的伤害更大。研究人员发现，当问题中的**原始词汇（tokens）**被破坏或替换时，机器人的大脑就会崩溃。
- 增加新的词汇（比如额外的“嗯”或冗长的解释）对机器人来说成本很低；它不会造成太大伤害。
- 破坏原始词汇（通过重写句子或用随机字符替换关键字母）则是高昂的代价。
把这想象成一个拼图。如果你添加了一些不属于拼图的碎片，机器人仍然能看到图案。但如果你拿走了那些构成图案的碎片，机器人就无法解开它。相比之下，“语音”通道往往会破坏问题的原始结构，而“打字”通道通常只是增加了些许噪音，而没有破坏整个画面。
4. 这取决于任务类型
打字和说话之间的差距只会在机器人需要深度思考并从头构建答案（如解决数学题或编写代码）时才会显现。在这种情况下，说话的表现比打字要差得多。然而，如果机器人只需要从列表中选择一个答案（比如做选择题），那么打字还是说话都无所谓；两者的表现是一样的。机器人需要原始问题的清晰结构来进行繁重的推理工作。
5. 你无法仅仅通过“训练”来解决这个问题
研究人员尝试教机器人更好地处理这些混乱的输入。他们尝试了一种叫做“轻量级适配”的技术，就像是给机器人上一堂关于杂乱语音的快速速成课。但这并没有奏效。机器人无法学会忽略由重写语音带来的损伤。他们还发现，这个问题不仅仅是因为机器人以前见过答案（这是一个常见问题，称为“测试集污染”）。即使使用机器人从未见过的全新数学题，语音通道的表现依然较差。
6. “思考”有助于打字，但不助于说话
在测试的其中一个机器人中，它有一个特殊的“思考”模式，即在回答之前会停顿思考。这种“思考预算”对于修复打型的错误效果惊人。它几乎完全恢复了机器人理解混乱打字问题的能力。但它对处理语音问题几乎没有任何帮助。如果语音被重写或压缩了，机器人的“思考”也救不了它。这证实了语音输入的损伤太深了；机器人处理的是错误的拼图碎片，此时即便思考得更努力也无济于事。
底线结论
如果你想从智能 AI 那里获得最好的结果，打字仍然是更稳妥的选择，尤其是在处理数学或编程等困难任务时。如果你必须说话，不要依赖工具来“清理”你的语音或为你重写内容。机器人其实更喜欢你原始的、略显凌乱的声音，而不是经过润色、重写的版本。如果你正在开发将语音转化为文本的工具，最重要的建议是：不要重构用户所说的话。只需去掉“嗯”、“啊”之类的词，保持其余部分原封不动即可。只要你不破坏拼图，机器人完全可以应对这些混乱。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。