💻 computer science

ChainTrust-LLM: Secure and Auditable Hallucination Mitigation in Medical LLMs Using Blockchain and Expert Feedback

本文介绍了 ChainTrust-LLM，这是一个将专家反馈与基于有向无环图（DAG）的区块链账本相结合的新型框架，旨在检测并缓解医疗大语言模型中的幻觉问题，在确保安全、可审计交互且保持极低延迟的同时，实现了错误率 64.8% 的降低。

原作者： Muhammad Ismail Mohamand

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammad Ismail Mohamand

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个你可以与一位超级聪明的机器人图书管理员交谈的世界，它读过每一本医学教科书。这个被称为“大语言模型”（LLM）的机器人非常擅长聊天、回答问题，甚至能帮助医生向患者解释事物。但问题在于：有时这个机器人会表现得过于自信，从而编造事实。它可能会告诉你某种药物可以治愈它无法治愈的疾病，或者某个症状意味着它并不代表的含义。在医学领域，这些编造的事实被称为“幻觉”（hallucinations），它们是危险的，因为可能导致错误的决策。

为了解决这个问题，科学家们正试图构建一个系统，充当一名严格的编辑。他们希望有一种方法来检查机器人的工作，保留每一次更正的永久记录，并确保机器人能从错误中学习而不遗忘。这就是“信任”概念引入的地方。如果机器人答对了问题，我们对它的信任度就会增加；如果它答错了，我们的信任度就会降低。但要追踪所有这些信任度，并确保没有人能偷偷修改记录，是一个巨大的挑战。这就是为什么研究人员正在考虑将人类专家与一种特殊的数字账本——“区块链”结合起来，区块链就像一个公开的笔记本，一旦在上面写了东西，就无法被删除或更改。

这正是“ChainTrust-LLM”这篇论文所讲述的内容。由 Muhammad Ismail Mohmand 及其团队领导的研究人员想要解决医学幻觉问题，特别是针对甲状腺功能减退症（一种甲状腺问题）。他们注意到，当机器人谈论疲劳、体重增加或月经周期异常等症状时，经常会弄错细节。为了解决这个问题，他们构建了一个名为 ChainTrust-LLM 的新框架。把它想象成一个高科技安全网，能够安全地记录机器人的错误和更正，创造出一条可审计的轨迹，以提高未来的表现。

以下是他们的系统是如何运作的，我们用一个简单的故事来说明：想象这个医疗机器人是一个正在参加考试的学生。每当它回答一个问题时，三位真正的医生（专家）都会检查答案。如果学生答对了，他们会给出“赞成”；如果答错了，他们会给出“反对”，并写下正确的答案。但 ChainTrust-LLM 并不是把这些笔记仅仅存在一堆乱七八糟的纸堆里，而是将每一次评分和更正都记录在一个使用区块链技术的“数字日记”中。这本“日记”是不可更改的，这意味着一旦错误被记录下来，它就会永远留在那里作为证据。

该系统还有一个关于时间的特殊规则。如果机器人在今天答对了问题，它的“信任分数”就会上升。但如果它很长时间没有接受检查，这个信任分数就会慢慢消退，就像电池电量耗尽一样。这确保了系统保持新鲜感，不会依赖于陈旧的、可能已经过时的数据。当机器人犯错时，系统会使用一个“风险检测器”，根据答案与真相之间的差异来识别谎言，然后安全地记录整个事件。

团队在三个著名的医疗机器人上测试了这个想法：GPT-4、MedPaLM 和 Claude。他们针对甲状腺功能减退症的症状、治疗和实验室检查提出了 300 个不同的问题。在使用 ChainTrust-LLM 之前，这些机器人的错误率相当高。例如，GPT-4 出现幻觉（编造事实）的频率为 23.1%。在应用了新系统后，这个数字大幅下降至 8.5%，降幅约为 63%。对于其他机器人，改进效果同样显著，错误率最高下降了 64.8%。

不仅机器人的错误减少了，系统在了解自己何时正确或错误方面也变得更加出色。“信任校准准确度”（即机器人的信心与现实匹配的程度）从 GPT-4 的约 75% 跳升到了 91% 以上。检查答案的专家们之间的意见也更加一致，其一致性得分从 0.65 上升到了 0.87。这意味着该系统不仅是在修复错误，还在创造一种可靠的、共享的真理理解。

这项研究最酷的部分之一是它的运行速度。即使在进行所有的额外检查和区块链记录时，系统也只增加了极小的延迟。平均而言，记录一笔交易仅需 211 毫秒（不到四分之一秒）。这表明此类系统实际上可以在不降低速度的情况下在医院中使用。

论文得出结论，ChainTrust-LLM 是让医疗 AI 变得更安全的一种强大且安全的方式。通过结合人类专家、基于时间的信任系统以及不可更改的区块链记录，他们创建了一个能够显著减少危险医学谎言的框架。虽然这项研究专门针对甲状腺功能减退症的症状（如疲劳和体重增加），但该方法为使 AI 在其他医学领域也变得值得信赖提供了一条路径。它不是一个能瞬间解决一切问题的魔杖，但它是迈向我们可以信任数字医疗助手之未来中非常有前景的一步。

技术摘要：ChainTrust-LLM

1. 问题陈述

大型语言模型（LLM），如 GPT-4、Med-PaLM 和 Claude，已在临床文本生成、诊断辅助和患者教育方面展示出巨大潜力。然而，其在现实医疗环境中的集成受到**幻觉（hallucination）**现象的阻碍——即生成事实错误、虚假或具有误导性的输出，且表现出极高的置信度。在医学领域，这些错误会对患者安全和临床可靠性构成严重风险。

现有的缓解技术，包括检索增强生成（RAG）、结构化知识注入和基于人类反馈的强化学习（RLHF），往往缺乏透明度、可追溯性和特定领域的鲁棒性。此外，现有文献通常将幻觉视为一个普遍问题，而非针对特定疾病的影响进行处理。本文识别出了一个关键差距，即在检测和缓解与甲状腺功能减退症（hypothyroidism）相关的幻觉方面，特别是针对疲劳、体重增加和月经健康紊乱等微妙且易混淆的症状。这些领域的错误信息可能导致误诊或漏诊治疗，但目前很少有系统能针对此类特定领域的症状检测提供安全的审计能力。

2. 方法论：ChainTrust-LLM 框架

作者提出了 ChainTrust-LLM，这是一个整合了人机协同信任校准（human-in-the-loop trust calibration）与基于区块链的可审计性的创新框架，旨在检测并缓解幻觉。该系统围绕四个核心模块构建：

2.1 数据集构建

开发了一个包含 300 个精选医学提示词的疾病特定数据集，分为三类：症状（侧重于疲劳、体重增加和月经健康）、药物/治疗以及实验室检测/诊断。基准真相（ground truths）利用权威来源（NIDDK, CDC, ATA, MedlinePlus, DailyMed）建立，并由三位资深内分泌专家进行验证。该数据集包括二元幻觉标签、严重程度评分和可信度评分。

2.2 系统架构

该框架通过以下流水线处理输入：

提示词编码模块（Prompt Encoder Module）： 利用领域微调的语言编码器（如 BioBERT 或 ClinicalBERT）将临床查询转化为结构化的语义嵌入。Softmax 分类器将提示词路由到特定领域（症状、药物或实验室），以相应地调整幻觉阈值。
幻觉检测模块（Hallucination Detection Module）： 实现了一个二元风险分类器 $R(x)$ ，用于识别幻觉响应。它采用语义矛盾评分（ $C_i = 1 - \text{Sim}(y_i, y^*_i)$ ）来衡量 LLM 输出与经过验证的参考答案之间的事实相似度。特征包括语言重叠、否定检测以及临床实体匹配（ICD-10、药物提及）。
信任评分模型（Trust Scoring Model）： 引入了一种时间加权信任更新机制，能够根据专家反馈进行自适应调整。信任评分 $T(y, t)$ 根据新的专家反馈 $f_t(y)$ 和先前的信任评分 $T_{prev}(y)$ 进行更新，并由记忆参数 $\alpha$ 平衡。至关重要的是，该模型结合了指数信任衰减（ $e^{-\lambda \Delta t}$ ），在缺乏近期反馈的情况下降低信任评分，从而确保领域特定的可靠性评估。
区块链审计层（Blockchain Auditing Layer）： 为确保追踪的防篡改性，所有“响应-反馈”对均被哈希处理并存储在私有、许可制的基于 DAG 的区块链上（在基于 geth 的许可制以太坊网络上实现）。每个区块条目包含信任评分、反馈标签和时间戳，通过加密哈希指针链接，以保证完整性和可追溯性。

2.3 安全性与形式化

论文将幻觉检测对抗扰动的鲁棒性进行了形式化定义，并使用基于 DAG 的哈希指针定义了信任链的完整性。访问控制通过许可专家用户的数字签名进行强制执行，并使用 Nonce（随机数）防止重放攻击。

3. 核心贡献

本文概述了三个主要贡献：

人机协同信任校准： 一个专门针对甲状腺功能减退症相关响应的幻觉检测框架，利用迭代的专家反馈来更新信任评分。
区块链审计反馈环： 一种安全的日志记录机制，确保了幻觉修正和信任评估的可追溯性和不可篡改性。
时间加权信任衰减模型： 一种评估 LLM 响应随时间变化的可靠性的新颖方法，考虑了在缺乏持续专家验证时信任度的衰减。

4. 实验结果

该框架使用 300 个提示词数据集对 GPT-4、Med-PaLM 和 Claude 进行了评估。关键性能指标包括：

幻觉率降低： ChainTrust-LLM 显著降低了所有模型的幻觉率：
- GPT-4： 从 23.1% 降至 8.5%（降低了 63.2%）。
- Med-PaLM： 从 28.7% 降至 10.1%（降低了 64.8%）。
- Claude： 从 31.9% 降至 12.4%（降低了 61.1%）。
信任校准准确度 (TCA)： 模型信任预测与专家评分的一致性大幅提升：
- GPT-4: 75.4% $\rightarrow$ 91.2%
- Med-PaLM: 70.3% $\rightarrow$ 89.5%
- Claude: 67.8% $\rightarrow$ 87.1%
评分者间一致性： Fleiss' Kappa ( $\kappa$ ) 从基准平均值 0.65 提高到 0.87，表明专家对修正后输出的共识度很高。
特定症状检测： 检测特定症状幻觉的准确率显著提高：
- 疲劳：68% $\rightarrow$ 92%
- 体重增加：64% $\rightarrow$ 89%
- 月经健康：61% $\rightarrow$ 87%
分类器性能： 幻觉风险分类器实现了 0.934 的 AUC，展示了高灵敏度和高特异性。
区块链开销： 系统保持了低延迟，平均交易延迟为 211 毫秒，且 Gas 成本极低，支持实时日志记录功能。

5. 重要性与主张

作者声称 ChainTrust-LLM 为部署医疗语言支持模型提供了一个鲁棒、可解释且安全的解决方案。与以往的后验检测器不同，该框架作为一个实时的、基于反馈的缓解环路运行。通过将形式化信任建模与区块链透明度相结合，该系统解决了高风险医疗领域对可审计性的迫切需求。

研究强调，虽然通用的幻觉检测是一个活跃领域，但针对甲状腺功能减退症症状等尚未得到充分探索的临床领域进行专门关注至关重要。集成时间衰减信任模型和不可篡改的审计追踪，提供了一种机制，以确保即使在医学知识演进或反馈模式变化的情况下，LLM 仍能保持可靠。作者总结道，该框架是迈向可信医疗 AI 的重要一步，未来计划将其扩展到其他症状，并利用联邦学习实现更广泛的应用。