Neuro-Symbolic Verification of LLM Outputs for Data-Sensitive Domains (extended preprint)
本文提出了一种混合神经符号验证架构，将形式逻辑推理与神经语义分析相结合，以有效检测幻觉并确保大语言模型生成内容在高危、数据敏感领域的可靠性，该架构在真实世界的医疗器械评估系统中经证实可将报告创建时间减少30%并实现高检测率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位才华横溢但偶尔会走神的助手（人工智能），它非常擅长撰写报告，但有时会编造事实或遗漏重要细节。现在，设想这位助手从事着高风险的工作，例如检查医疗设备的安全性或起草法律文件。如果它犯错，可能会导致金钱损失、触犯法律或伤害他人。
本文介绍了一种新的“监督系统”，旨在在报告发出之前捕捉这些错误。作者将其称为神经符号验证系统。以下是其工作原理，分解为简单的概念和类比：
核心问题：“走神”的助手
大型语言模型（LLMs）就像才华横溢的作家，可以谈论任何话题。然而，它们有时会“产生幻觉”——自信地陈述虚假或编造的内容。在普通聊天中，这令人烦恼；但在医疗或法律领域，这则十分危险。此外，由于严格的隐私法规，这些公司通常无法将私有数据发送到云端（如 Google 或 Microsoft 服务器）。它们需要将所有数据保留在自己的计算机上。
解决方案：双头监督系统
与其依赖 AI 自行检查工作（这就像让学生给自己考试打分），作者构建了一个拥有两个不同“大脑”并协同工作的系统：
- “逻辑大脑”（符号式）： 这部分就像一位严格的会计师或规则检查员。它处理硬性事实：日期、序列号和具体要求。它使用形式逻辑（类似数学的规则）来判定：“是的，这个序列号存在”，或者“不，你忘了包含日期”。它是 100% 确定的，从不猜测。
- “直觉大脑”（神经式）： 这部分就像一位经验丰富的编辑，负责审阅含义。它查看句子，判断其在上下文中是否通顺。它利用“语义相似度”（衡量两个概念在意义上接近程度的方法）来捕捉 AI 写出的那些听起来正确但实际上是谎言的内容。
它们如何协同工作：“工厂车间”
该系统采用称为Actor 模型的方法构建，就像一个高度组织化的工厂。想象一个工厂车间，不同的工人（Actor）处理不同的任务。
- 如果一名工人（例如负责检查句子“含义”的工人）卡住或崩溃，其他工人（负责检查“序列号”的工人）会继续工作。它们不会全部同时崩溃。
- 这种设置允许系统在本地计算机上运行（保持数据隐私），同时仍能快速处理复杂的并行任务。
现实世界测试：HAIMEDA
作者在名为HAIMEDA的真实场景中测试了该系统，该系统帮助专家撰写关于受损医疗设备的报告。
- 设置： 一名专家证人（在法庭上宣誓说真话的人）使用该系统撰写报告。
- 过程：
- 撰写前： “逻辑大脑”检查输入。如果专家忘记上传损坏设备的照片，系统会阻止 AI 撰写，并提示：“等等，你需要先上传这张照片。”
- 撰写后： AI 生成草稿。“直觉大脑”阅读草稿，查看故事是否与事实相符。“逻辑大脑”检查设备编号是否正确。
- 反馈： 如果 AI 编造了细节，系统会标记它，并要求人类专家进行修正。
结果
论文声称该系统效果显著：
- 捕捉谎言： 它捕捉到了超过**83%关于特定项目（如序列号）的编造事实，以及72%**关于编造故事（如虚假的损坏描述）的内容。
- 速度： 它帮助专家撰写报告的速度提高了30%，因为 AI 承担了起草的繁重工作，而系统在人类发现错误之前就捕捉到了它们。
- 隐私： 由于所有内容都在其自有计算机上运行，没有敏感的患者或公司数据被发送到互联网。
结论
论文认为，你不能仅仅信任 AI 在严肃工作中完美无缺。相反，你需要一个混合系统：一部分检查硬性数学和规则，另一部分检查含义和上下文。通过将这两者结合，你获得了一个比单独使用其中任何一个都更强大的安全网，从而使 AI 能够在那些不容许出错的领域安全使用。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。