TEDDY: A Pediatric Foundation Model for Risk Forewarning from ICD-Coded Diagnostic Histories
该论文介绍了 TEDDY，这是一个在儿科 ICD-10 数据上训练的仅含 184 万参数的紧凑型解码器 Transformer 模型，它在预测疾病发作和就诊时间方面显著优于更大、更复杂的模型，证明了儿科诊断史可以有效地支持用于罕见及长周期风险预测的生成式基础模型，且无需大规模人群数据集。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图预测一个故事的未来，但故事中的角色正在成长、改变声音，并且每天都在学习新事物。这就是儿科医学面临的挑战：儿童不仅仅是一个缩小的成年人。随着他们从新生儿发育为青少年，他们的身体、疾病以及患病方式都会发生快速变化。长期以来，医生和计算机程序大多通过成年人的故事来学习，这在应用于儿童时往往会导致错误的判断。这就像是试图用一张城市的地图来导航森林；规则不同，地标也不匹配。
为了做出更好的预测，科学家们正在构建“基础模型”。可以将这些模型想象成超级聪明的计算机，它们阅读数百万份医疗记录，以学习健康与疾病的模式。通常，这些模型非常庞大，就像知识的巨型图书馆，并且是在成年人的数据上进行训练的。但如果我们能构建一个更小、更专业化的模型，能够理解童年时期那种独特且快节奏的故事呢？这就是这篇论文试图解决的核心问题：计算机能否仅仅通过阅读一个孩子的过往就诊记录，就识别出其未来疾病的早期征兆，甚至包括那些尚未发生的罕见病？
见见 TEDDY（青少年疾病时间事件解码器，Temporal Event Decoder for Disease in Youth）。你可以把 TEDDY 想象成一位注意力极其集中、且拥有完美记忆力的儿科医生，它记得它见过的每一个孩子。TEDDY 不仅仅是观察一个孩子当前的症状，它还会像读小说一样阅读他们的整个医疗史，密切关注事件发生的顺序以及事件之间的时间间隔。它的任务是猜测接下来可能会发生什么：这个孩子会患上哮喘吗？他们可能会患上某种罕见的遗传性疾病吗？而且至关重要的是，何时会发生？
研究团队在德克萨斯儿童医院 160 万名儿童 的大规模医疗记录集上训练了 TEDDY。他们向模型输入了约 7300 万个 诊断代码（用于表示疾病的标准医学简写）以学习其中的模式。TEDDY 的规模对于拥有如此强大能力的计算机大脑来说非常之小，仅有 184 万个 “参数”（使其变得聪明的内部旋钮和拨盘）。为了让你有个直观的概念，它比你可能听说过的那些巨大的语言模型要小得多，后者的参数通常多达数十亿个。
那么，TEDDY 有什么发现呢？
它是一个出色的预测者，即使是对罕见疾病也是如此
TEDDY 非常擅长它的工作。在针对 797 种不同疾病 进行测试时，它正确地将那些将来会患上特定疾病的孩子排在较高位置的概率为 72%（这是一个被称为 AUC 的评分）。这意义重大，因为大多数计算机模型在处理罕见疾病时表现不佳，往往会感到困惑或放弃。但 TEDDY 实际上在预测最罕见的疾病时表现得更好。对于那 225 种最罕见的疾病（即发病率低于每 10,000 人中 5 人的疾病），该模型依然保持了信心和准确性，其预测结果远优于随机猜测。
它能提前数年预见未来
最令人兴奋的发现之一是 TEDDY 能提前多久进行观察。该模型可以在医生正式记录下诊断结果的 两年多 之前，就发现疾病的“预警信号”。虽然预测在诊断发生前夕最为强烈，但这种信号在数年前便是可检测到的。这表明，一个孩子的医疗记录中蕴含着关于其未来健康的线索，早在疾病完全显现之前。
它击败了竞争对手
研究人员不仅构建了 TEDDY，还让它参加了一场比赛。他们将它与旧类型的 AI（如 RNN 和 LSTM）以及一个比 TEDDY 大 1,000 倍 的大规模通用语言模型进行了对比。
- 对于预测哮喘，TEDDY 的得分是 79.3%，而最好的竞争对手（一个巨型语言模型）仅得 62.7%。
- 对于预测 ADHD（多动症），TEDDY 得分为 84.7%，击败了得分 71.7% 的次优模型。
这证明了你并不需要一个庞大的、耗资数十亿美元的计算机来理解儿童健康。一个专门为儿童构建、基于他们独特故事进行训练的模型，其效果要比一个为成年人设计的巨型模型好得多。
它是如何避免“作弊”的
科学家们非常小心，以确保 TEDDY 没有在“作弊”。在医疗记录中，医生可能会在同一天记录多个诊断。一个狡猾的 AI 可能会利用第一个诊断来猜测第二个，这并不公平。TEDDY 的设计使其在看到当天任何诊断之前就做出预测，从而迫使它只能依赖于孩子过去的病史。他们还确保只将患病儿童与同龄、同性别的其他患病儿童进行比较，这样模型就不会仅仅根据孩子是男孩还是女孩来进行猜测。
它还不完美（目前而言）
TEDDY 在猜测“可能发生什么”方面表现出色，但在精确预测“具体何时发生”方面稍逊一筹。它可以估算距离下次就诊的时间，平均误差仅为 3 天，这已经令人印象深刻。然而，在面对就诊间隔非常长的案例时，它有时会表现挣扎，高估了孩子在返回就诊前的等待时间。研究人员承认这是他们目前设计的局限性，因为他们使用了一个简单的数学规则来预测时间。
核心结论
这篇论文表明，我们可以构建出专门针对儿童的、紧凑且强大的 AI 工具，其性能超越了大规模、以成年人为中心的模型。通过将一个孩子的医疗史视为一个独特的、不断展开的故事，TEDDY 可以提前数年发现常见疾病和罕见疾病的风险。虽然它还不是一个能完美预知一切的“水晶球”，但它是一个强大的新工具，可以帮助医生及早发现疾病，尤其是那些往往需要多年才能被确诊的罕见病。作者建议，下一步是在不同的医院测试该模型，并加入更多类型的数据（如生长图表和实验室检查结果），以使预测更加精准。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。