MultiHaluDet: Multilingual Hallucination Detection via LLM Hidden State Probing
MultiHaluDet 是一种新颖的语言无关三阶段框架，它通过混合注意力架构探测完整隐藏状态轨迹，以检测冻结大语言模型中的多语言幻觉，在无需语言特定微调的情况下，于高、中、低资源语言中均实现了最先进的性能及稳健的跨语言泛化能力。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你拥有一个非常聪明、精通多种语言的机器人（即大型语言模型，或 LLM），它热爱讲故事并回答问题。有时，这个机器人会表现得信心满满，却完全编造事实。这些编造的事实被称为幻觉。
本文介绍了一种名为MULTIHALUDET（多语言幻觉检测）的新工具。请将其想象为一位不通过谷歌搜索来核实答案的“事实核查员”，而是一位倾听机器人“心跳”的测谎仪。
以下是其工作原理的简化拆解：
1. 问题所在：为何旧方法会失效
以往捕捉谎言的方法，就像是问机器人：“你确定吗？”
- 自信陷阱：如果机器人说“我有 100% 的把握”，旧方法便认为它在说真话。但本文指出，机器人可能会“自信地犯错”。这就像一位油嘴滑舌、极具说服力的骗子。
- 单一检查陷阱：其他方法仅检查机器人“大脑”的某一部分（某一层）或它说出的最后一个词。本文认为，谎言往往隐藏在思维过程的旅程中，而不仅仅是终点。
2. 解决方案：倾听“脑电波”
MULTIHALUDET 并不询问机器人它在想什么，而是在其思考过程中探测机器人内部的“隐藏状态”。
- 类比：想象机器人正在写一个故事。
- 旧方法：阅读最后一句，看其是否通顺。
- MULTIHALUDET：观察机器人书写每一个字母时的手部动作，感受每一步的压力、速度和犹豫。它寻找书写过程中预示谎言的“震颤”，即使最后一句看起来完美无缺。
3. 工作原理（四个阶段）
该系统就像一个四步侦探事务所：
- 扫描（特征提取）：机器人回答一个问题。系统冻结机器人（不改变其大脑），并记录其内部思维从大脑第一层移动到最后一层的“视频”。
- 变焦镜头（多尺度注意力）：系统不仅查看整个视频或仅看某一帧。它使用“变焦镜头”同时观察宏观全景和微观细节。它寻找机器人思维演变过程中的突然转变或异常模式。
- 团队会议（集成元学习器）：系统并非由一名侦探做出判断，而是使用一组不同的专家（如基于树的侦探、基于数学的侦探和基于神经网络的侦探）。他们共同投票决定机器人是否在撒谎。
- 安全网（折叠外堆叠）：为了确保团队不会通过死记硬背答案来作弊，它们以一种在训练期间从未见过测试题的方式进行练习。这确保了它们真正学会了识别谎言，而不仅仅是记忆事实。
4. 多语言超能力
大多数测谎仪仅在英语中表现良好。MULTIHALUDET 的特殊之处在于，它能在法语、孟加拉语和阿姆哈拉语（一种数字资源极少的语言）中工作，而无需针对每种语言重新训练。
- 结果：它在法语中的表现几乎与在英语中一样好。在孟加拉语和阿姆哈拉语中，尽管机器人在这些语言上不够“流利”，其表现依然出色，远超以往任何方法。这证明，无论机器人使用何种语言，其谎言的“震颤”在机器人内部看起来都是相似的。
5. 结果
本文在两组大型问题集（HaluEval 和 TriviaQA）上测试了该方法。
- 得分：虽然以往最好的方法正确率约为 95%，但 MULTIHALUDET 达到了98.5%。
- 鲁棒性：它在两种不同类型的机器人大脑（Mistral-7B 和 LLaMA2-7B）上表现同样出色，证明其并非仅对特定模型运气好。
6. 局限（不足之处）
本文诚实地指出了它无法做到的事情：
- 仅限白盒：你需要能够看到机器人的“大脑”内部才能使用此方法。你无法将其用于封闭、保密的机器人（如 GPT-4），因为你无法看到其内部的“心跳”。
- 繁重的工作量：它需要机器人进行完整的“前向传播”（完整思考整个答案）并记录所有数据，这比仅仅询问“你确定吗？”消耗更多的计算机内存。
总结
MULTIHALUDET 是人工智能的高科技听诊器。它不信任 AI说什么，而是倾听 AI如何思考。通过分析机器人在多种语言中内部思维的微妙、复杂模式，它能够以惊人的准确度识别机器人何时在编造事实。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。