🤖 machine learning

Teaching LLMs to Recommend and Defer in Underrepresented Epilepsy Care

本文介绍了 MANANA，这是一个非参数化提示学习框架，通过从非结构化笔记中学习局部处方模式，并利用贝叶斯提示平均来生成具有不确定性感知能力的推迟信号，从而增强了基于大语言模型的乌干达儿科癫痫抗 seizures 药物推荐，进而实现了更高的准确率并实现了面向专家审查的选择性预测。

原作者： Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shreyas Rajesh, Kartik Sharma, Tonmoy Monsoor, Mehmet Yigit Turali, Richard Idro, Juliana Kayaga, Robert Sebunya, Tracy Tushabe Namata, Jessica Nichole Pasqua, Vwani Roychowdhury, Rajarshi Mazumder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名在乌干达繁忙诊所工作的全科医生。你有一位癫痫患者，你需要决定开什么药。问题在于，你通常依赖的“专家”建议（来自大型医学教科书或是在富裕国家训练出的 AI）往往并不符合你的实际情况。也许某种昂贵的药物无法获得，或者当地的治疗方式有所不同。你需要的是一个理解你所在特定社区，而不仅仅是理解教科书的 AI 助手。

这篇论文介绍了 MANANA，一种新的方法，旨在教导大语言模型（LLM）成为这种得力的本地助手，专门用于资源匮乏环境下的癫痫护理。

以下是其工作原理，分为几个简单的概念：

1. 问题所在：“游客型”医生

标准的 AI 模型就像是游客。它们读过所有的医学书籍（基于来自美国或英国等富裕国家的数据进行训练），但它们并不了解当地的规则。

如果你向一个“游客型”AI 请求处方，它可能会建议一种太贵或根本在乌干达买不到的药物。
它会犯错，因为它正在将“西方规则”应用于“乌干达现实”。
研究发现，虽然这些 AI 能猜对一些事情，但它们的错误是系统性的——它们在自信地犯错，因为它们并不了解当地背景。

2. 解决方案：MANANA（“学徒制”系统）

与其尝试重新训练 AI 的“大脑”（这既沉重、昂贵又难以审计），作者创建了 MANANA。把 MANANA 想象成一个聪明的学徒，它通过记录错误和教训的“实地笔记”来进行学习。

MANANA 运作起来就像一个三人团队：

预测者（学徒）： 查看患者的病历，并提出三种可能的用药方案。
检查员（批评家）： 根据真实医生实际开出的处方来检查学徒的建议。如果两者不匹配，检查员会写下一条笔记，解释为什么错了（例如：“不要在这里建议药物 X；它缺货”）。
架构师（老师）： 查看所有的检查员笔记。如果同一种错误在不同的患者身上反复出现，架构师就会在“实地笔记”（记忆）中写下一条永久性的规则，以防止再次发生。

神奇之处在于： AI 并没有改变其内部的大脑代码。相反，它只是更新了它的“实地笔记”。这使得审计变得容易（医生可以阅读笔记以了解 AI 学到了什么），也便于适应不同的诊所。

3. 两种学习方式

研究人员测试了两个版本的这个学徒：

MANANA-Single（单体版）： 团队编写一份长长的规则清单（例如：“始终先检查药物 A”）。
MANANA-Multi（多体版）： 团队创建了一组“专家智能体”。一个智能体专注于药物可用性，另一个专注于副作用，还有一个专注于病史。它们协同工作来解决难题。

4. 知道何时说“我不知道”（安全阀）

在医学领域，AI 在不确定时进行猜测是危险的。论文引入了一个名为**贝叶斯提示词平均化（Baryesian Prompt Averaging, BPA）**的功能。

你可以把这看作是 AI 在进行自我信心检查。

随着 AI 的学习，它会经历“实地笔记”的不同“阶段”。
BPA 查看所有这些阶段，并询问：“我们对这个答案有多大的把握？”
高置信度： 如果 AI 非常确定（例如 99% 确定），它会将处方交给医生使用。
低置信度： 如果 AI 感到犹豫，它会拉响红旗并说：“我对这个不太确定；请将此患者转诊给专家。”

这至关重要，因为在专家资源匮乏的地方，你不希望浪费专家的时间处理简单的病例。你希望他们只处理那些困难且具有不确定性的病例。

5. 结果

团队在乌干达两家不同医院的真实患者记录上测试了该系统。

优于基础模型： MANANA 在预测正确药物方面比标准 AI 提示词或传统的计算机模型表现得好得多。
“多体版”胜出： 拥有专家智能体小组的版本（MANANA-Multi）表现最好。
安全网发挥了作用： 当系统被允许“推迟处理”（即放弃处理）它不确定的病例时，它所处理病例的准确率大幅飙升。
- 它能以 95% 的准确率处理最自信的 50% 的病例。
- 它能以 99% 的准确率处理最自信的 25% 的病例。

总结类比

想象你正在试图导航一座你从未去过的城市。

标准 AI 就像是一个仅针对纽约市训练的 GPS。它会告诉你“向左转进入地铁站”，但在你的城市里，根本没有地铁。
MANANA 就像是一个带着空白笔记本的当地向导。每当 GPS 指错路时，向导就会写下：“这里没有地铁，请向右转。”经过几天后，向导就拥有了一张完美的、定制化的、属于你所在城市的地图。
BPA（信心检查） 则是向导在说：“我知道去市场的路线非常熟练，但我不太确定去山的路线。让我们请教一下当地专家关于山的部分。”

论文得出结论，这种方法允许 AI 在不需要昂贵重新训练的情况下，从有限的本地数据中学习，使其成为帮助专家资源匮乏地区的医生的实用工具。

技术摘要：教导大语言模型在代表性不足的癫痫护理中进行推荐与推迟决策

问题陈述
专家级癫痫专业知识在低收入和中等收入国家（LMICs）极其匮乏，在这些地区，全科临床医生在诊断资源有限（如缺乏脑电图或影像学检查）且药物供应受限的情况下，负责管理长期的治疗过程。虽然大语言模型（LLMs）提供了决策支持的潜力，但目前的医学人工智能基准测试主要由高收入环境下的结构化电子健康记录（EHRs）所主导。因此，标准的大语言模型无法适应当地的处方实践、药物断货情况以及随访规范。此外，现有系统缺乏量化不确定性的机制，从而无法实现向稀缺专家进行战略性决策推迟（deferral）。核心挑战在于开发一种系统，该系统能够从非结构化临床笔记中学习当地的处方逻辑，而无需进行参数权重更新（这在计算上非常昂贵且难以审计），并且能够提供置信度评分以实现选择性预测。

方法论：MANANA 框架
作者引入了 MANANA，这是一个非参数化的提示学习（prompt-learning）框架，旨在利用少量的患者级训练集（本研究中为 50 名患者）使大语言模型适应当地临床环境。MANANA 在不更新模型权重的情况下运行，而是通过学习一个显式的、可审计的记忆状态来约束未来的预测。

多智能体学习环路：
- 预测器（Predictor）： 一个 LLM 智能体，在给定患者病史和当前记忆状态的情况下，提出三种候选抗癫痫药物（ASM）方案。
- 检查器（Inspector）： 一个将预测方案与实际医生处方进行对比的智能体。它生成结构化报告和“候选学习内容”（基于特定病例笔记的简明教训）。
- 架构师（Architect）： 一个负责聚合来自追加式缓冲区（append-only buffer）中候选学习证据的智能体。它仅在不同诊疗访问中检测到重复模式时才更新记忆状态，从而确保鲁棒性并防止噪声干扰。
记忆变体：
- MANANA-Single： 学习一个单一的共享修正规则列表（例如，“如果药物 X 不可用，则切换至药物 Y”）。
- MANANA-Multi： 实例化了一个“专家智能体”群体，每个智能体负责提取特定的临床信号。架构师可以根据重复出现的证据来创建、编辑或修剪这些智能体，从而维持一个有界的、可检查的专家提示集。
贝叶斯提示平均（BPA）：
为了解决不确定性问题，作者提出了一个针对学习到的提示轨迹进行建模的 BPA 贝叶斯模型平均程序。系统不是使用单一的最终提示，而是将记忆状态序列（ $m_1, \dots, m_T$ ）视为一组估计器的集成。
- 后验加权： 利用留出验证集，BPA 计算每个记忆状态的边际似然。在验证数据上表现更好的状态会被分配更高的权重。
- 推迟信号： 加权平均后的预测结果产生了一个处方概率分布。这使得系统能够识别高置信度案例（可自动处理）和低置信度案例（推迟给专家），从而有效地将稀缺的专家注意力引导至最需要的地方。

核心贡献

MANANA 框架： 一个非参数化的、基于误差驱动的提示学习系统，它能从非结构化笔记中学习当地的处方决策，而无需临床医生编写规则或对推理痕迹进行专家审查。它通过单智能体和多智能体变体进行实例化。
在低资源环境下的表现： 研究表明，经过在两个独立收集的乌干达儿科癫痫队列上训练后，MANANA 在处理少量数据集时仍能取得强劲性能，优于经典的机器学习模型、直接的 LLM 提示以及最先进的提示优化基准（如 TextGrad、DSPy）。
不确定性感知推迟： 引入 BPA 将学习到的提示轨迹转化为处方概率。这实现了具有临床意义的选择性预测，允许系统处理高置信度案例（高精确度），并将不确定案例推迟给专家进行审查，从而实现有效的工作量分流。

实验结果
研究使用了来自乌干达转诊中心的两个队列：用于训练/验证的队列 A（332 名患者，1,040 次就诊）和用于独立迁移测试的队列 B（367 名患者，1,509 次就诊）。任务是根据纵向非结构化笔记预测 ASM 方案（单药或联合用药）。

准确率： MANANA-Multi 取得了最高的 Exact Match@3 (EM@3) 分数。在队列 A（单药治疗，第 3 次就诊）中，其达到了 97.0%，优于最佳提示优化基准（TextGrad 为 87.3%）和直接提示（59.3%）。在队列 B（迁移测试）中，MANANA-Multi 在单药治疗（第 3 次就诊）中达到 93.2%，在联合用药（第 3 次就诊）中达到 69.8%，显著优于经典基准，并展示了对不同文档格式和临床医生的鲁棒性。
不确定性与推迟： BPA 提高了 Top-1 准确率，并与简单的多数投票相比，在正确预测与错误预测之间创造了更大的置信度差距。
- 在留出队列 B 上，系统在置信度前 25% 的案例中实现了 99% 的精确度，在置信度前 50% 的案例中实现了 95% 的精确度。
- 这使得诊所可以将底部的 50% 案例推迟给专家，同时在自动处理的一半案例中保持 95% 的准确率，从而实现工作量分流。

意义与主张
论文声称 MANANA 提供了一条通往局部适配临床 LLM 系统的路径，这类系统可以在无需承担重新训练模型权重负担的情况下，从有限的、特定场域的数据中进行学习。通过将观察到的处方错误转化为可审计的提示记忆，该系统捕捉到了标准医学知识库可能遗漏的局部处方规则（例如药物可用性限制）。

至关重要的是，作者强调，通过贝叶斯提示平均生成的推迟信号解决了关键的部署需求：确保稀缺的专家注意力被保留给模型最不确定的案例。研究认为，这种方法弥合了高层医学知识与低资源临床环境实际情况之间的鸿沟，为长期护理管理提供了一种可部署的解决方案，在专家知识不可及的情况下提供支持。

局限性
作者指出，目前的推迟阈值是根据留出数据进行回顾性选择的，在现实世界的诊所中需要进行前瞻性调整。此外，该系统优化的是与处理医生方案的一致性（这反映了当地的资源约束），而非证明该方案对于实现无发作（seizure freedom）在临床上是最优的。未来的工作需要在验证学习到的记忆是否符合临床结局方面进行深入研究，并整合直接的发作预测功能。