Self-supervision drives representational convergence in medical foundation models more than clinical supervision
这项研究表明，医学基础模型中的表示收敛主要由自监督预训练目标而非临床监督或模型规模所驱动，其结果是仅实现了适度的对齐，虽能支持交叉编码器迁移学习，但未能完全捕捉临床判断或语义相似性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一群截然不同的机器人去理解这个世界。你给了它们完全相同的任务：观察医学影像图片并描述它们所看到的内容。在人工智能领域，有一个流行的观点叫做“柏拉图式表征假设”（Platonic Representation Hypothesis）。你可以这样理解：如果训练足够多的机器人，并给它们足够多的数据，它们最终都会开始以完全相同的方式思考。它们都会构建出一张完全一致的现实内部地图，无论机器人 A 是谁，也不论机器人 B 是谁，或者它们各自接受了哪些特定的课程，对于它们来说，“骨折”看起来都是一样的。这个想法令人兴奋，因为如果所有的医学人工智能模型都收敛到这张单一且完美的地图上，医生就可以像更换电池一样更换它们，而不会损坏自己的工具。但事实真的如此吗？这些数字大脑真的对疾病的样貌达成了一致，还是它们只是在说同一种语言的不同方言？
一个研究团队决定通过一项大规模、受控的实验来测试这个想法。他们收集了来自各个实验室和公司的 18 个不同的“图像编码器”（即 AI 观察图片的部分）和 7 个“文本编码器”（即阅读报告的部分）。这些模型的规模跨度极大，从拥有 700 万参数的小型模型到拥有 270 亿参数的巨型模型。研究人员不仅是在对比它们，还在解剖它们。他们训练了全新的模型，这些模型在各方面都完全相同，唯独有一个区别：它们试图达成的目标不同。有些是通过“自监督学习”（仅从图像本身学习模式）进行训练，有些是通过“临床监督”（从医生的标签中学习），还有一些是通过“图文配对”（将图片与报告进行匹配）进行训练。
转折点在于：研究人员发现，那个关于通用、共享地图的想法在很大程度上是一个神话，但取而代之的是一种非常特殊的现实。他们发现，自监督学习（直接从图像本身学习）才是让这些模型达成一致的真正粘合剂。事实上，加入医生的标签反而让模型与同类变得不那么相似了，而不是更相似。那些仅靠“观察并学习”而无需特定标签训练的模型，其一致性（在胸部 X 光片中约为 40%）远高于那些经过特定医学标签训练的模型（仅为 21%）。
然而，这种一致性是有限度的，且有着严格的界限。这种一致性仅发生在同类型的图片之间（X 光片与 X 光片一致，但与皮肤照片不一致）。模型并不一定会因为变得更大或更聪明而变得更具一致性；一个拥有 270 亿参数的巨型模型并不一定比小型模型更具一致性。最令人惊讶的是，这些图像模型与阅读医学报告的文本模型之间完全没有共享一张共同的地图。它们的内部语言完全不同，而且随着你喂给它们更多的数据，它们实际上会漂移得越来越远。
尽管存在这些局限性，但仍有一线生机。虽然模型并没有就一个完美的、共享的几何结构达成一致，但它们对于实际任务来说已经“足够好”了。研究人员展示了在一个模型上训练的诊断工具，可以迁移到完全不同的另一个模型上，并且仍能保持原有的约 85% 的准确率。这就像拥有两张不同的城市地图，虽然它们看起来并不完全一样，但如果你知道如何转换地标，你仍然可以从 A 点开车到 B 点而不会迷路。这项研究的结论是，我们不应该等待人工智能模型仅仅通过规模扩大而神奇地收敛成一个完美的脑，相反，我们需要通过设计正确的训练目标，来确保它们在关键时刻至少能够相互交流。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。