Development of a Multimodal Large Language Model for Early Warning and Diagnosis of Dry Eye Disease
本研究提出了 DED-MLLM，这是一种基于 Qwen2-VL 的指令微调多模态大语言模型，它整合了临床数据、问卷调查和眼科影像，实现了针对中国及国际诊断标准在干眼症早期预警与诊断方面的高准确度。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，有一双眼睛感到干涩、在阳光下灼热，或者在试图阅读屏幕时变得模糊。这就是干眼症，一种常见且往往令人沮丧的疾病，其特征是眼表缺乏足够的水分或维持健康所需的正确油脂。这不仅仅是一件微不足道的小事，它可能会损害视力并让日常生活变得困难。然而，诊断它却很棘手。医生不能仅仅依靠单一的测试。相反，他们必须拼凑出一个由许多不同线索组成的拼图：患者如何描述他们的疼痛、他们的病史、他们的生活习惯（比如他们在电脑前待了多久），以及医生在显微镜下观察到的眼表情况。多年来，人工智能一直擅长观察图片或读取数字，但在同时处理这两者并模拟人类医生细致推理方面，它一直表现得较为吃力。
来自中国各医院和研究机构的一个研究小组开发了一种新型计算机程序，旨在解决这个确切的问题。他们创建了一个系统，该系统充当数字专家的角色，能够同时阅读患者填写的调查问卷、理解其病史并检查高分辨率的眼部照片。这个被称为“多模态大语言模型”的系统经过训练，能够识别出预示干眼症的复杂模式。通过结合这些不同类型的信息，该模型旨在及早发现疾病，甚至在病情变得严重之前，并以极高的准确度确认诊断。研究人员在数百名患者身上测试了这个工具，发现它能够有效地区分健康眼睛与患有干眼症的眼睛，即使在针对使用不同设备的医疗机构的数据进行测试时，依然表现出色。
研究始于收集来自四家医院的大量真实世界数据。团队招募了874名参与者，并将其分为两组。第一组由来自北京的一家医院的743名患者组成，用于教计算机识别该疾病。第二组由来自其他三个城市、共计131名患者组成的群体构成，被单独留出来，用于测试计算机是否能将其学到的知识应用于新的、未见过的场景。每位参与者都接受了彻底的检查。他们填写了关于症状的详细调查问卷，例如眼睛感到干涩的频率或视力波动的程度。他们还提供了病史信息，包括年龄、其他健康状况以及日常习惯（如使用电子屏幕的时间）。
除了这些书面回答外，医生还拍摄了详细的患者眼部照片。这些图像展示了眼表、眼睑中的微小油脂腺以及血管。在某些情况下，医生会使用特殊的染料来突出眼表上的受损区域。研究人员将所有这些信息——调查问卷答案、病史以及眼部图像——输入到他们的新型计算机模型中。该模型建立在现有的强大人工智能技术基础之上，但经过了专门调优，使其能够理解医学术语和图像。设计的一个关键部分是一种将医疗记录中的结构化数字（如调查问卷的分数）转化为自然语言的方法，以便计算机能与图像一起进行处理。这使得模型能够看到“患者描述眼睛灼热”与“照片中可见的红肿”之间的联系。
研究人员要求模型执行两项主要任务。第一项是“早期预警”，即系统尝试仅根据患者的调查问卷答案和生活习惯来预测干眼症的风险，而无需进行眼部成像。第二项是“诊断”，即模型利用包括眼部图像在内的所有可用信息来确定患者是否确实患有该病。团队将该模型与医生使用的两套不同规则进行了对比测试：一套是国际指南，另一套是针对中国的特定指南。这些规则明确定义了什么样的症状和体征组合才算作该疾病。
结果显示，该模型非常有效。当仅使用问卷数据来预测干眼症风险时，根据中国指南，模型的准确率达到了96%，根据国际指南，准确率约为82%。它在捕捉已发病病例方面表现尤为出色，极少漏诊。当模型结合眼部图像和调查问卷答案进行最终诊断时，其准确性进一步提高。根据国际规则，它正确识别了超过92%的病例；根据中国规则，则超过了93%。该模型在正确识别非患者方面也表现出色，避免了误报。
为了理解模型是如何做出决策的，研究人员观察了它最依赖哪些信息。他们发现，来自调查问卷和医疗记录的结构化数据是最重要的因素。当他们移除这些信息并要求模型仅依赖眼部图像时，其性能显著下降。这表明，对于干眼症而言，患者对自己症状的描述及其病史是最强的指标。然而，图像仍然具有价值。模型利用图像来证实其猜想，并指出具体的物理体征，例如阻塞的油脂腺或眼表上的微小损伤点。计算机学会了将注意力集中在人类医生会检查的眼部精确区域，从而突出显示红肿和眼睑腺的纹理。
团队还在另外三家医院的独立患者组上测试了该模型，以观察它在不同现实环境下的适用性。这些医院使用不同的相机和设备来拍摄眼部照片。尽管存在这些差异，模型依然保持了极高的准确度。它成功诊断了新组中的患者，证明了它能够适应数据采集方式的变化。这表明该工具可以在广泛的诊所中使用，而不仅仅局限于其最初创建的那个诊所。研究人员注意到，该模型在识别老年人（该病最常见的群体）方面表现尤为出色，尽管他们也承认数据中包含的极轻微病例较少。
研究结论认为，这种新方法为改进干眼症的检测和诊断提供了一种充满希望的方式。通过将“患者的声音”与“医生的视觉证据”相结合，该模型比单一方法能提供更完整的患者健康图景。研究人员强调，虽然该工具功能强大，但其设计初衷是辅助医生，而非取代医生。它提供了一种稳健、可扩展的方式来进行疾病筛查并支持临床决策，有望帮助及早发现该病，减轻慢性眼部不适患者的负担。这项工作证明，当人工智能被训练去理解医生日常使用的数字和图像时，它可以成为护理眼部健康的可靠伙伴。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。