💻 computer science

MedLLM: An Open Medical Language Model at the Sub-Billion Scale

本文介绍了 MedLLM，这是一个通过完全开放的三阶段流水线训练而成的 0.1B 参数规模开放医学语言模型，该研究揭示了亚十亿参数规模的模型在医学能力方面表现出一种独特的解离现象——即在基于上下文的任务中表现出色，但在知识召回方面表现挣扎，而这归因于容量限制而非适配问题。

原作者： Maxx Richard Rahman, Asim Ahmed, Mihan Mohagheghzadeh, Wolfgang Maass

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Maxx Richard Rahman, Asim Ahmed, Mihan Mohagheghzadeh, Wolfgang Maass

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

巨型图书馆里的小脑瓜

想象一个计算机被教导像人类一样阅读和写作的世界。这些被称为大型语言模型（LLMs）。把它们想象成超级聪明的学生，读遍了几乎整个互联网上的所有内容。通常，为了让这些学生精通某项特定工作——比如成为一名医生——你必须让他们变得庞大。规模越大，他们能记住的事实就越多。但问题在于：这些巨大的医学系学生通常被锁在秘密实验室里，或者因为体积过于庞大且昂贵，只有大型公司才能运行它们。

这留下了一个巨大的疑问：如果我们尝试培养一个“微型”医学系学生呢？一个足够小，可以装进普通电脑甚至笔记本电脑里的学生？科学家们一直在思考，这样一个规模如此小的模型是否真的能理解医学，还是会因为太“笨”而无法理解复杂的医学术衷。他们还想知道：如果你把一个医学大脑缩小，它是会忘掉一切，还是仅仅忘记某些东西而保留其他能力？这篇论文深入探讨了这个微小且尚未被开发的领域，旨在观察一个小型医学 AI 究竟能做到什么程度。

认识 MedLLM：口袋大小的医学系学生

这项研究背后的研究人员构建了 MedLLM，这是一个极其微小的医学语言模型——仅有 0.1 十亿（1 亿）参数。为了让你有个直观的概念，他们用来对比的其他著名医学 AI 模型拥有 70 亿参数甚至更多。这意味着 MedLLM 比它们的竞争对手小了约 70 倍。这就像是在拿一个口袋计算器与一台庞大的超级计算机做比较。

但“小”不仅仅关乎尺寸，更关乎如何教导它。团队并没有只是把随机的医学书籍塞给模型。相反，他们创建了一种特殊的训练方法，称为 MedFineWeb。想象一下，你拥有一个包含整个互联网的巨大图书馆，但你需要找到那些看起来和听起来都像是医学问答的页面。他们没有雇佣一名图书管理员去阅读每一页，而是使用了一个“参考指南”。他们选取了几千个真实的医学考试题目，并告诉计算机：“寻找听起来与这些问题相似的网络文本。”随后，计算机便抓取了最相关的网页，从而为 MedLLM 打造了一本定制的教科书。通过这种方式，这个微型模型学习了医学的风格和词汇，而无需依赖一个庞大且经过预先筛选的医学期刊库。

大惊喜：关键不在于规模，而在于任务

论文中最令人兴奋的部分是测试 MedLLM 时发生的事情。研究人员原本预计由于模型规模如此之小，它在各项任务上都会表现糟糕。然而，他们发现了一些奇特而美妙的现象：MedLLM 的失败并不是均匀分布的。

把医学知识想象成两种不同的游戏：

“上下文”游戏： 你被给予一段短文（患者的故事），并被要求仅根据这段故事来回答问题。
“记忆”游戏： 你被问到一个问题，你必须在没有任何帮助的情况下，从自己的脑海中提取答案。

这就是微型模型令所有人惊喜的地方：

在“上下文”游戏中： MedLLM 是个明星！当它被给予一段患者故事进行阅读时，它回答问题的水平几乎可以媲美那些 70 亿参数的巨型模型。事实上，它甚至击败了通常被视为金标准的指令微调版 70 亿参数模型。这表明，如果面前有正确的信息，即使是一个微型大脑也可以非常聪明。
在“记忆”游戏中： 这是微型模型撞墙的地方。当被要求回忆自身记忆中的事实（例如在没有故事辅助的情况下回答复杂的医学考试题）时，它显得力不从心。它的得分始终处于榜单底端，在最难的 USMLE（美国执业医师资格考试）风格题目中，表现仅比随机猜测好一点点。

论文指出，对于如此规模的模型，瓶颈不在于它是如何被训练的，也不在于它对医学语言的学习程度，而仅仅在于容量。这就像一个微型背包：如果你把有用的工具递到它手里（上下文），它可以装很多东西；但它物理上无法在内部携带一本厚重的百科全书（记忆）。

微型模型学到了什么（以及没学到什么）

研究人员还观察了模型在训练过程中的进步情况。他们发现，随着向 MedLLM 输入更多的医学文本，它对医学语言结构的理解变得更好（其“困惑度/perplexity”得分下降，意味着它听起来更自然）。然而，这并没有自动让它在回答困难的记忆类问题时变得更好。

这引出了一个迷人的发现：训练模型听起来像医生，并不等于教会它“成为”医生。 模型完美地学会了这种语言表达，但它并没有神奇地获得大模型所拥有的那种庞大的医学事实数据库。论文认为，在如此微小的规模下，瓶颈在于模型的尺寸，而非训练方法。如果你想让一个微型 AI 成为医学专家，你可能不应该依赖它去记忆事实。相反，你应该给它一张“小抄”（上下文）供它在回答时阅读。

最终结论

论文得出结论，MedLLM 是一个成功的开源实验，它证明了小型医学模型是可能的，但它们的工作方式与大型模型不同。它们擅长使用你提供给它们的信息，但不擅长自主记忆。

研究人员还测试了一种名为 DPO（直接偏好优化）的技术，这就像一位老师纠正学生的答案以增强其自信心。他们发现，这种技术让 MedLLM 在区分正确与错误答案方面表现得更好，但它并没有赋予模型新的事实。它只是磨练了模型现有的技能。

简而言之，MedLLM 向我们展示了，如果我们想要为日常电脑构建小型、易于获取的医学 AI，我们不应该再试图让它们背诵整座图书馆。相反，我们应该将它们设计成优秀的“阅读者”，能够瞬间理解并利用摆在眼前的资料。这篇论文并不声称解决了所有的医学 AI 问题，但它开启了一扇新门：一个微小的、开放的、且具有惊人能力的医学系学生，供我们所有人学习和改进。

技术摘要：MedLLM —— 一个亚十亿参数规模的开放式医学语言模型

问题陈述

医学领域的大型语言模型（LLM）已趋于统一的规模：广泛使用的系统参数量都在 70 亿（7B）或更多。这一趋势使得亚十亿规模（参数量 <1B）的领域处于未被表征的状态。目前的医学 LLM 要么是闭源且未公开训练细节的（如 GPT-4、Med-PaLM-2），要么是开源但规模庞大的（7B–540B），这限制了访问性、可复现性以及对训练过程进行审计的能力。

理解当模型容量减少一个数量级时，哪些医学能力能够存续，存在着关键的空白。将通用模型适配到医学领域具有挑战性，因为存在从网页文本到医学文本的分布不匹配，这需要处理长尾术语、结构化推理和高精度要求。前人的工作通过在生物医学语料库上进行持续预训练和指令微调来解决这一问题，但所有此类努力都是在 7B 参数或更高规模下进行的。目前尚不清楚这些适配方案是否能迁移到更小的模型，或者容量的减少是否会导致特定的医学能力在其他能力之前发生坍缩。

方法论

模型架构：MedLLM

MedLLM 是一个拥有 0.1 十亿（100M）参数 的仅解码器（decoder-only）Transformer。其核心架构选择包括：

分词与嵌入（Tokenization & Embedding）： 使用 SentencePiece 词表（ $V=32,000$ ）和嵌入维度 $d=512$ 。鉴于较高的词表与宽度比（ $V/d = 62.5$ ），作者将输入嵌入与输出投影进行了权重共享（tied）。这消除了一个独立的 $V \times d$ 矩阵（节省了 14% 的总参数），并起到正则化作用。
Transformer 层： 使用 20 层 Transformer 堆叠，并将 RMSNorm 置于残差分支内部（即在注意力机制和 FFN 之后），而非采用 Pre-norm。这使残差流保持在受控的规模，提高了深而窄的模型在训练中的稳定性。
注意力机制（Attention）： 使用 8 个注意力头，结合旋转位置嵌入（RoPE）和 QK 归一化，以限制注意力对数概率（logit）的大小，防止小模型中常见的训练不稳定现象。
前馈网络（FFN）： 采用 SwiGLU，扩展因子为 4（ $d_{ff} = 2048$ ）。这将其 62.7% 的参数分配给了前馈子层，优先考虑深度和组合变换而非宽度。

数据流水线：MedFineWeb

为了在不依赖手动策划的医学来源（这些来源通常稀缺且偏向摘要式写作风格）的情况下完成模型适配，作者引入了 MedFineWeb。这是一个通过参考引导选择法从通用网页数据中筛选出的医学纯文本语料库：

候选池： 将通用网页数据（RedPajama-V2, C4, OpenWebText, Wikipedia）切分为约 1,000 词的块。
参考集： 三个医学问答数据集（MedMCQA, MedQA, PubMedQA）作为语义参考。其提示词（prompts）和回答（responses）均被向量化。
选择过程： 每个候选块通过计算其与参考集的语义相似度（通过 FAISS 进行余弦相似度计算）进行评分。选择每个参考集中前 50% 的候选块，进行合并并去重。
结果： 最终形成一个 3B token 的语料库，它捕捉了医学风格和主题，但并未直接复制基准测试的问题或答案。

训练流水线

训练遵循一个完全开放的三阶段流水线：

通用预训练： 模型在约 29.5B token 的通用网页数据（ $D_{gen}$ ）上进行预训练，使用因果语言建模，并采用课程长度调度（128 $\to$ 256 $\to$ 512 tokens）和 z-loss 正则化项来稳定输出对数概率。
领域微调（DFT）： 在 MedFineWeb 上进行 25,000 步的持续预训练，以将分布从通用网页文本转向医学文本。
偏好对齐： 针对每个基准测试的两个步骤：
- 监督微调（SFT）： 使用标签预测目标在基准测试训练集上进行微调。
- 直接偏好优化（DPO）： 使模型倾向于选择正确答案而非错误答案，而无需单独的奖励模型。KL 惩罚强度通过 $\beta=0.1$ 进行缩放，以放大偏好间隔。

核心贡献

MedLLM： 首个 0.1B 参数规模的开源医学语言模型，提供了一个比现有开源医学 LLM 小一个数量级的可复现基准。
MedFineWeb： 一种新型医学预训练语料库，通过嵌入相似度技术从通用网页数据构建而成。它不需要经过人工策划的医学来源，且只需少量目标领域的问答示例即可适配到任何领域。
任务结构化解离（Task-Structured Dissociation）： 发现模型在压缩状态下，医学能力的下降并非均匀发生。相反，它按任务类型发生分裂：模型在基于上下文的问答（context-grounded QA）方面能达到与 7B 模型竞争的准确率，但在知识检索（knowledge-recall）类问答方面受限于容量。

实验结果

预训练评估

甚至在进行特定任务微调之前，MedLLM 模型（通过 Top-token 选择进行零样本评估）就实现了最高的平均准确率（35.1%），超过了包括 Zephyr-7B- $\beta$ （32.4%）和经过医学适配的 7B 模型（PMC-LLaMA-7B: 30.6%）在内的所有基准模型。尽管规模仅为 7B 模型的 1/70，它在侧重检索的任务（MMLU 和 MedMCQA）上仍表现优于更大的模型。

微调评估

经过 SFT 和 DPO 后，结果显示出基于任务类型的明显差异：

知识检索类基准（MedMCQA, MMLU）： MedLLM (DPO) 显著超过了所有 7B 及 7B 以下规模的基准模型。在 MedMCQA 上，它达到了 34.9%（相比之下，Zephyr-7B- $\beta$ 为 33.0%，PMC-LLaMA-7B 为 26.6%）。在 MMLU 上，它达到了 32.4%。
基于上下文的问答（PubMedQA）： MedLLM 达到了 58.2%，超过了指令微调后的 7B 基准（Zephyr-7B- $\beta$ : 43.0%），但仍低于持续预训练基准（PMC-LLaMA-7B: 72.9%）。
复杂临床病例分析（MedQA）： 模型表现挣扎，仅达到 28.1%（接近四选一的 25% 底线），显著落后于指令微调后的 7B 模型。

训练动态分析

困惑度（Perplexity）与准确率： 在领域微调期间，医学文本的验证集困惑度减半（27.3 $\to$ 13.6），但基准测试准确率却保持平稳。这表明在 0.1B 规模下，模型能快速学习医学“形式”（语言分布），但无法获取进行检索类任务所需的“可检索事实”。
DPO 的效果： DPO 仅略微提升了准确率（例如在 MedMCQA 上提升了 1.0 个百分点），但将正确答案与错误答案之间的对数概率间隔放大了 5.2 倍。这表明在该规模下，DPO 更多是精炼了现有的辨别能力，而非注入了新的知识。

意义与主张

论文声称，亚十亿规模领域并非仅仅是大型模型的降级版本，而是展现出一种独特的行为：医学能力最好是从检索和提供的上下文中获取，而非依赖参数化记忆。

容量 vs. 适配： 结果证明，在检索类任务中，约束因素是模型容量而非适配方法；而在检索失败的任务（如 MedQA）中，容量限制是绝对性的。
任务特异性解离： 这种“分裂”在 7B 规模下被掩盖了（因为两者能力都存在），只有在容量匮乏时才会显现。
可复现性： 通过发布 MedLLM 和 MedFineWeb，作者提供了一条在适度硬件上训练、审计和部署医学模型的路径，挑战了执行特定医学任务必须依赖大规模参数量的必要性。

作者总结道，在亚十亿规模下，模型的知识广度受到本质上的限制，其性能高度依赖于所提供的上下文质量，而非内化的参数化知识。