MammoWise: Multi-Model Local RAG Pipeline for Mammography Report Generation

本文提出了名为 MammoWise 的本地化多模型 RAG 流水线，旨在利用开源视觉语言模型（如 MedGemma、LLaVA-Med 和 Qwen2.5-VL）结合零样本、少样本及检索增强生成技术，高效生成高质量的乳腺 X 光摄影报告并实现 BI-RADS 分类与关键发现识别，同时通过 QLoRA 微调显著提升了分类准确性与隐私安全性。

要点

这篇论文介绍了一个名为 MammoWise 的新工具，它的目标是帮助医生在乳腺 X 光检查（ mammography）中更高效、更准确地写报告。

想象一下，乳腺 X 光检查就像是一个**“高难度的视觉侦探游戏”**。放射科医生需要仔细查看四张不同角度的乳房照片，找出微小的异常（比如肿块、钙化点），然后把这些视觉线索翻译成标准的医疗报告。这工作量大、压力大，而且很容易因为疲劳或经验不同而出现差异。

MammoWise 就像是为医生配备的一套**“智能 AI 助手工具箱”**，它利用开源的“多模态大模型”（既能看图又能读文字的 AI）来辅助完成这项工作。

以下是用通俗语言和比喻对这篇论文核心内容的解读：

1. 核心痛点：为什么我们需要 MammoWise？

目前的 AI 写报告主要有两个问题：

• 要么太“贵”且“不安全”：很多好用的 AI 是闭源的，必须把病人的照片传到云端（像把机密文件发给陌生人），这涉及隐私泄露风险，而且费用高昂。
• 要么太“死板”：开源的 AI 虽然可以本地运行（保护隐私），但它们就像刚毕业的实习生，虽然聪明但不懂医疗规矩。如果不加指导，它们可能会胡编乱造（幻觉），或者写出的报告不像医生写的。

MammoWise 的解决方案：它不是一个单一的“超级 AI"，而是一个**“万能适配器”**。它能把各种开源的 AI 模型（如 MedGemma, LLaVA-Med 等）变成专业的乳腺报告生成器，而且完全在本地运行，保护隐私。

2. MammoWise 的三大“超能力”

为了让这些“实习生”变成“专家”，MammoWise 提供了三种升级手段：

A. 提示词工程 (Prompting) —— “给实习生发操作手册”

• 零样本 (Zero-shot)：直接告诉 AI：“你是一个资深放射科医生，请根据这张图写报告。”
• 少样本 (Few-shot)：给 AI 看几个“优秀作业”的范例（比如：这张图长这样，报告应该这么写）。这就像给实习生看几份满分试卷，让他模仿。
• 思维链 (Chain-of-Thought)：让 AI 像医生一样一步步思考：“先看密度，再看有没有肿块，最后判断风险等级。”
• 效果：这能让 AI 写出结构很像人写的报告，但在判断具体疾病（如 BI-RADS 分级）时，偶尔还是会出错。

B. 检索增强生成 (RAG) —— “给实习生开小灶，查资料库”

• 比喻：如果 AI 遇到一个复杂的病例，它不知道怎么办怎么办？MammoWise 会立刻去它的**“病例图书馆”**（向量数据库）里，找 5 张和当前病人最相似的旧病例。
• 作用：AI 会参考这些相似病例是怎么写的、怎么判断的，然后再写新报告。这就像医生在写疑难杂症报告前，去翻翻以前的类似病例记录。
• 效果：这让报告的内容更准确、更符合临床习惯，减少了“瞎编”的情况。

C. 轻量级微调 (QLoRA Fine-tuning) —— “给实习生进行特训”

• 比喻：如果光靠“看手册”和“查资料”还不够，AI 在判断某些具体指标（比如钙化点、肿块）时还是不够准。这时候，MammoWise 会对 AI 进行**“特训”**。
• 做法：它不需要把整个 AI 的大脑重造一遍（那样太费电），而是只调整 AI 大脑中很小的一部分参数（就像只给实习生强化训练几个特定的知识点）。
• 效果：这是提升准确率最有效的方法。经过特训后，AI 在判断“是否有钙化”、“肿块大小”等具体指标时，准确率大幅提升，甚至超过了某些现有的顶尖模型。

3. 实验结果：谁表现最好？

研究人员在两个真实的乳腺 X 光数据集上测试了这套系统：

• 写报告（文字生成）：只要给点提示（Few-shot）或者查点资料（RAG），AI 写的报告就很像样，医生读起来很顺畅。
• 做判断（分类任务）：
  • 如果只靠“提示”，AI 的判断经常飘忽不定，像掷骰子。
  • 如果加上“查资料（RAG）”，判断会稳一些。
  • 如果加上“特训（微调）”，AI 就变成了**“专家级”**，在判断乳腺癌风险等级（BI-RADS）、乳腺密度和钙化点时，准确率非常高（例如钙化点判断准确率高达 93% 以上）。

4. 总结：这对我们意味着什么？

MammoWise 就像是一个**“可插拔的 AI 工作站”**。

• 它不需要昂贵的云端服务，保护了病人隐私。
• 它不绑定某一种特定的 AI 模型，你可以随时换用更好的开源模型。
• 它提供了一套完整的流程：从“简单提示”到“查资料”再到“特训”，医生可以根据需求选择让 AI 做到什么程度。

一句话总结：
MammoWise 证明了，通过巧妙的组合（本地运行 + 提示词 + 查资料 + 针对性特训），我们可以用开源的 AI 模型，低成本、安全地构建出能像资深放射科医生一样写报告、做判断的辅助系统，让乳腺筛查更精准、更高效。

技术摘要

MammoWise 论文技术总结

1. 研究背景与问题定义

背景：
乳腺筛查摄影（Mammography）是一项高吞吐量、时间敏感且文档繁重的工作。放射科医生需要将细微的视觉发现转化为一致的 BI-RADS 评估、乳腺密度分类以及结构化的叙事报告。虽然视觉语言模型（VLM）在图像转文本方面展现出潜力，但现有方案存在以下痛点：

• 隐私与成本： 许多高性能演示依赖闭源、云托管的模型，导致患者隐私泄露风险、高昂的运营成本以及结果难以复现。
• 适应性差： 开源 VLM 通常未针对乳腺摄影进行专门优化，直接使用时容易产生临床不合理的细节或幻觉。
• 碎片化： 现有的多模态系统往往针对特定任务（如仅检测病变或仅分类）设计，缺乏一个统一的、可复用的本地化管道来同时支持报告生成和多任务分类，且难以在提示工程（Prompting）、检索增强生成（RAG）和微调（Fine-tuning）之间进行系统性对比。

核心问题：
如何构建一个本地化、可复现、多模型支持的管道，利用开源 VLM 高效生成符合临床规范的乳腺摄影报告，并准确执行多任务分类（如 BI-RADS、密度、病变检测），同时平衡提示工程、RAG 和参数高效微调的效果？

2. 方法论 (Methodology)

本文提出了 MammoWise，一个模块化的本地多模型管道。其核心架构包含以下关键组件：

2.1 数据准备与预处理

• 数据集： 使用了两个公开数据集：
  • VinDr-Mammo： 5000 名越南患者的 20,000 张图像（每位患者 4 张：左右乳的 CC 和 MLO 视图）。
  • DMID： 510 张来自印度的图像，包含对应的文本报告。
• 图像融合： 将每位患者的 4 张视图（左右 CC 和 MLO）合并为一张对称排列的复合图像（上方为 CC，下方为 MLO），模拟放射科医生的阅片习惯。
• 标签构建： 生成对应的 JSON 格式报告，包含乳腺密度（ACR A-D）、BI-RADS 评分（取四视图中的最高值）、异常发现（肿块、钙化、不对称等）及可疑程度。
• RAG 索引： 将图像 - 报告对转换为多模态嵌入（使用 OpenCLIP），存储在 ChromaDB 向量数据库中，用于检索相似案例。

2.2 模型选择

系统支持任何 Ollama 托管的 VLM，实验选用了三个开源模型：

1. MedGemma (4B)： 基于 Google Gemma 3，针对医学数据（放射、病理、皮肤科）微调。
2. LLaVA-Med (7B)： 基于 LLaVA 架构，在生物医学数据集上微调。
3. Qwen2.5-VL (7B)： 通用多模态模型，具备强大的图文推理能力。

2.3 三种适应策略

MammoWise 统一实现了三种不同的模型适应策略：

1. 提示工程 (Prompting)：
   • Zero-shot： 仅给出角色设定和输出格式指令。
   • Few-shot： 在提示中加入 5 个图像 - 报告示例。
   • Chain-of-Thought (CoT)： 引导模型模拟放射科医生的推理步骤（先判断密度，再找异常，最后定级）。
2. 检索增强生成 (RAG)：
   • 在生成前，将输入图像嵌入向量空间，从 ChromaDB 中检索 5 个最相似的图像 - 报告对。
   • 将这些检索到的案例作为上下文（Few-shot examples）动态插入提示词中，以提供特定病例的参考语境。
3. 参数高效微调 (PEFT - QLoRA)：
   • 针对 MedGemma 模型，在 VinDr-Mammo 数据集上进行微调。
   • 类别平衡： 原始数据存在严重的 BI-RADS 类别不平衡（1 类和 2 类居多）。通过下采样多数类（1、2 类）和过采样少数类（3、4、5 类，使用翻转、缩放等数据增强）构建了 2200 张图像的平衡训练集。
   • 训练配置： 使用 QLoRA（量化低秩适应），冻结基座权重，仅训练适配器参数。支持两种输出模式：多任务生成（一次性输出完整 JSON）和单任务生成（每次只输出一个字段）。

2.4 评估指标

• 分类任务： BI-RADS（5 类）、乳腺密度（4 类）、可疑程度（3 类）以及二元分类（肿块、钙化、不对称）。指标包括宏平均准确率、精确率、召回率、F1 分数和特异性。
• 生成任务： 使用 BERTScore 和 ROUGE-L 评估生成的文本报告与真实报告在语义和词汇上的相似度。

3. 关键贡献 (Key Contributions)

1. MammoWise 管道： 首个将开源 VLM 转化为本地化、可配置的乳腺摄影报告生成器和多任务分类器的统一框架，支持提示、RAG 和微调的无缝切换。
2. 多模态 RAG 工作流： 提出了一种基于图像 - 文本向量数据库的 RAG 机制，为特定病例提供上下文，旨在减少幻觉并提高解释性。
3. 系统性对比研究： 在两个数据集和三个模型上，系统评估了提示工程、RAG 和 QLoRA 微调对报告质量和分类精度的影响。
4. 实证发现： 证明了参数高效微调（QLoRA）能显著提升结构化分类的可靠性，而提示和 RAG 更适合报告草稿生成。

4. 实验结果 (Results)

4.1 报告生成质量

• 文本相似度： 在 VinDr-Mammo 上，RAG 通常能进一步提升叙事文本的相似度（BERTScore 和 ROUGE-L 均有提升），表明检索到的上下文有助于模型锚定临床术语。
• 数据集差异： 在 DMID 数据集上，RAG 的效果不稳定。由于 DMID 报告本身较短且与图像紧密配对，检索可能引入不相关的上下文，导致“发现（Findings）”部分的文本相似度反而下降。这表明 RAG 的效果高度依赖于检索质量与目标分布的匹配度。

4.2 结构化标签分类性能

• 提示 vs. RAG： 仅靠提示（Prompting）的分类性能波动较大。RAG 通常能带来小幅提升（例如 VinDr-Mammo 上 BI-RADS 准确率从 0.29 提升至 0.32），但在某些任务（如不对称检测）上可能因上下文干扰而下降。
• 微调的巨大优势： QLoRA 微调带来了最显著的性能提升。
  • BI-RADS 分类： 从最佳提示的 ~0.25 提升至单任务微调的 0.7545。
  • 乳腺密度： 从 ~0.74 提升至 0.8840。
  • 钙化检测： 从 ~0.66 提升至 0.9341。
  • 肿块检测： 从 ~0.54 提升至 0.8740。
• 多任务 vs. 单任务： 对于 BI-RADS 和密度，单任务微调（一次只预测一个字段）往往比多任务微调（一次性输出所有字段）表现更好，说明解耦任务有助于减少输出耦合带来的误差。

4.3 与 SOTA 对比

在 VinDr-Mammo 数据集上，MammoWise 微调后的 MedGemma 模型在 BI-RADS 分类（0.7545 vs 0.5325）、乳腺密度（0.884 vs 0.806）和肿块检测（0.874 vs 0.8）上均优于或持平于现有的专用模型（如 PubMedCLIP, LLaVA-Mammo, MammoCLIP）。

5. 意义与结论 (Significance & Conclusion)

主要结论：

1. 分工明确： 提示工程（尤其是 Few-shot 和 RAG）足以生成高质量的临床风格报告草稿，但在依赖高可靠性的结构化分类任务上表现不稳定。
2. 微调的必要性： 对于需要高准确率的临床标签（如 BI-RADS、病变检测），轻量级的参数高效微调（QLoRA）是不可或缺的，它能将性能从“可用”提升至“可靠”。
3. 本地化部署价值： MammoWise 证明了在本地硬件上运行开源 VLM 是可行的，且能通过微调达到甚至超越部分专用 SOTA 模型的性能，同时解决了数据隐私和成本问题。

局限性与未来工作：

• 未探索更高级的提示策略（如 Tree-of-Thought）。
• 仅测试了三个开源模型。
• 微调使用了重平衡的数据子集，可能导致在真实世界分布下的校准偏差。
• 目前仅针对单次检查图像，未来需扩展至纵向随访数据和更丰富的多模态临床数据。

总结：
MammoWise 为乳腺摄影报告的自动化提供了一个实用、可扩展的蓝图。它通过解耦模型选择与适应策略，使研究人员和临床开发者能够在一个统一的框架内探索从提示到微调的各种技术路径，推动了本地化、隐私保护的 AI 辅助诊断在乳腺癌筛查中的实际应用。