GPT Fusion: Integrating Convolutional Neural Networks with GPT-5.5 for Melanoma Diagnosis
本文介绍了“GPT Fusion”，这是一种混合诊断框架，其中 GPT-5.5 作为推理引擎来整合来自专门化 CNN 模型的预测，在黑色素瘤诊断的准确性和可解释性方面显著优于独立的基于图像的 LLM 以及单个 CNN。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在试图破解一个谜团，但你的团队里有两个截然不同的侦探。第一位侦探是“模式大师”。这位侦探多年来一直盯着数百万张皮肤斑点的照片，学习如何识别无害黑痣与危险癌症之间最细微、最微妙的区别。他们在观察图像本身方面极其迅速且准确，但他们无法解释为什么他们认为某个斑点很危险，也无法就患者的情况与你进行交谈。第二位侦探是“超级思考者”。这位侦探是一位出色的谈话者，他能阅读报告，理解复杂的医学规则，并用通俗易懂的语言清晰地解释事物。然而，如果你只递给他一张没有任何注释的照片，他可能会感到困惑或做出错误的猜测，因为他并没有背下世界上每一处皮肤斑点的样子。
长期以来，科学家们一直在研究哪种侦探在捕捉皮肤癌（特别是被称为黑色素瘤这种可怕类型）方面表现得更好。模式大师（在科学界被称为卷积神经网络，简称 CNN）一直是观察图像的金标准。但最近，一种新型的“超级思考者”（称为大语言模型，简称 LLM）出现了，它承诺仅通过观察医学图像就能理解其中的含义。一个大问题是：超级思考者能否独立完成这项工作，还是最好让模式大师承担重活，然后由超级思考者阅读模式大师的笔记，从而做出最终判断？这正是一个研究小组致力于解决的谜题。
核心理念：“GPT 融合”协作模式
由 Katie Frederickson 及其同事领导的研究人员决定，不再要求超级思考者直接观察照片。相反，他们创建了一种被称为 GPT 融合（GPT Fusion） 的新策略。你可以把它想象成一场法庭审判。在这场审判中，模式大师是负责检查证据（皮肤照片）并撰写详细报告的专家证人。而超级思考者（具体指名为 GPT-5.5 的模型）则充当法官。法官并不看照片；相反，法官阅读专家报告，权衡证据，然后做出最终裁决。
为了测试这一点，他们利用一个著名的皮肤图像集——Derm7pt 数据集（其中包含 1,000 多张具有已知诊断结果的皮肤斑点图片）组织了一场四方竞赛。参赛者包括：
- 仅图像超级思考者： 直接观察照片的 GPT-5.5。
- 模式大师 (ResNet-50)： 一种在另一组皮肤图像上训练过的专门化 AI，用于识别多种类型的斑点。
- 黑色素瘤专家 (SIIM-90 Ensemble)： 一个专门设计用于寻找黑色素瘤的高精度 AI 团队。
- GPT 融合团队： 模式大师和黑色素瘤专家都撰写了报告，由 GPT-5.5 阅读这些报告并做出最终决定。
他们的发现：倾听的力量
结果证明，协作模式取得了压倒性胜利。当超级思考者尝试直接观察照片时，它表现得很吃力。对于黑色素瘤，它的诊断正确率仅为 63.3%。然而，当超级思考者扮演法官角色，倾听来自模式大师的专家报告时，其准确率飙升至 86.9%。
“GPT 融合”团队不仅击败了仅看图像的超级思考者，还在某些关键领域超越了专业模型。
- 识别黑色素瘤： 融合团队正确识别黑色素瘤的比例（灵敏度）为 85.2%，这优于仅看图像的模型，并且非常接近顶尖专家。
- 识别所有癌症： 这是融合团队真正闪耀的地方。当任务是寻找任何类型的危险癌症（而不只是黑色素瘤）时，融合团队实现了 83.9% 的灵敏度，击败了专门的黑色素瘤专家（后者为 76.2%）。这表明，通过结合模式大师的“广博知识”与黑色素瘤专家的“敏锐专注”，超级思考者可以对哪些斑点真正危险做出更明智的判断。
- “前三名”猜测： 在现实生活中，医生通常会在确认诊断前列出他们的前三个猜测。融合团队在前三个猜测中给出正确答案的概率高达 89.0%，这是所有参赛者中的最高分。
为什么这很重要
论文指出，超级思考者（LLM）并不一定是盯着照片并猜测其内容的最佳人选。相反，它的超能力在于推理。它更擅长接收来自专门化 AI 工具的硬性数据，理解背景信息，并将这些信息综合成清晰、可靠的诊断。
研究人员发现，专门化的 AI 模型（模式大师）在各自的特定工作中表现出色，但有时缺乏全局观。而超级思考者在担任法官时，可以弥补这些差距。例如，黑色素瘤专家擅长发现黑色素瘤，但对其他类型的癌症了解不多；模式大师了解许多种类的癌症，但在黑色素瘤方面的表现不够犀利。当 GPT-5.5 阅读两份报告时，它可以利用黑色素瘤专家的优势来处理黑色素瘤，并利用模式大师的优势来处理其他癌症，从而创造出比任何单一专家单独工作都更准确的诊断。
总结
这项研究并非声称 AI 已经永久解决了皮肤癌问题，但它确实提出了一个非常具有前景的新方向。它表明，医学 AI 的未来可能不在于构建一个能做所有事情的巨型机器人。相反，未来的方向可能是构建一位“指挥家”（超级思考者），去统筹一支由专门化音乐家（CNNs）组成的团队，从而谱写出一场完美的诊断交响乐。通过让擅长数学的 AI 处理数学，让擅长思考的 AI 处理思考，我们或许能获得不仅更准确，而且更容易被医生和患者理解的诊断结果。作者指出，这种方法为开发那些不仅仅是给出答案的“黑箱”系统，而是能够解释其得出结论原因的透明合作伙伴的 AI 系统提供了一条路径。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。