MMRareBench: A Rare-Disease Multimodal and Multi-Image Medical Benchmark

MMRareBench：罕见病多模态与多图像医学基准

1. 问题背景 (Problem)

• 罕见病的临床挑战：罕见病具有长尾分布、表型重叠严重且缺乏疾病特异性先验知识的特点。医生无法依赖教科书式的记忆模式，必须严格基于当前病例的具体证据（文本、实验室数据、多模态图像）进行判断。
• 现有基准的局限性：
  • 现有的多模态大语言模型（MLLMs）评估主要集中在常见病或单图像场景。
  • 现有的罕见病基准（如 RareBench）主要关注文本诊断，缺乏对多模态融合（文本 + 图像 + 表格）和多图像分析（跨模态对齐、时间序列追踪）能力的系统性评估。
  • 许多现有数据集存在“答案泄露”风险（即诊断结论直接出现在输入上下文中），导致模型性能被高估。
• 核心缺口：目前缺乏一个能够模拟真实罕见病临床工作流，同时评估模型在数据稀缺条件下整合多模态、多图像证据能力的基准。

2. 方法论 (Methodology)

2.1 数据构建与清洗

• 数据来源：从 PMC 收集了 2005-2025 年间发布的 14,700 份病例报告，最终筛选出 1,756 个 问答对，涵盖 403 种 罕见病。
• 标准化对齐：所有病例均与 Orphanet 罕见病命名法（ORPHA 代码）进行对齐，确保疾病分类的标准化。
• 多模态数据：每个样本平均包含 4.5 张 医学图像，涵盖放射学、病理学等多种模态。
• 防泄露机制 (Leakage Control)：
  • 构建了三层掩码视图（Masked Views）：移除元数据和摘要；将主要诊断及其别名替换为 [DIAGNOSIS_MASKED]；将图片和表格标题替换为 [CAPTION_MASKED]。
  • 引入 leakage_audit 记录，严格审计并剔除任何可能通过上下文直接推断出答案的样本。

2.2 任务定义：四大临床工作流轨道
基准包含四个与临床决策点对齐的任务轨道：

1. T1 诊断 (Diagnosis)：在移除明确诊断提及的掩码病例和关联图像中，预测主要诊断。测试在信息稀缺下的假设形成能力。
2. T2 治疗规划 (Treatment Planning)：基于已知诊断和完整病例，生成分阶段的治疗计划（强调安全性、不确定性下的延期、监测等）。测试将诊断转化为可操作临床决策的能力。
3. T3 跨图像证据对齐 (Cross-Image Evidence Alignment)：给定至少两张不同模态的图像和文本，描述每张图像的关键发现，并显式对齐证据（识别发现间的关系并预测关系类型）。测试罕见病中至关重要的跨模态关联与消歧能力。
4. T4 检查建议 (Examination Suggestion)：在截断的时间点，基于现有证据推荐下一步优先进行的检查项目。测试提出高收益鉴别诊断方案的能力。

2.3 评估协议
采用两级评估协议：

• L1 模型评分 (Model-graded Rubric Scoring)：使用 Qwen3-VL-235B 作为裁判，针对每个轨道设计特定的评分标准（Rubrics）。采用严格校准原则（默认不扣分，仅当完全满足标准时给分），涵盖诊断匹配度、治疗具体性、安全性、跨模态整合等维度。
• L2 确定性验证 (Deterministic Verification)：针对 T1 诊断任务，计算预测答案与标准答案之间的 Token 级 F1 分数（考虑别名映射）。

3. 核心贡献 (Key Contributions)

1. 首个罕见病多模态多图像基准：MMRareBench 是首个基于真实世界病例报告、与 Orphanet 对齐、涵盖多模态和多图像输入的罕见病基准。
2. 工作流对齐的评估框架：定义了四个临床任务轨道（诊断、治疗、证据对齐、检查建议），并针对罕见病数据稀缺特性设计了结构化目标和轨道特定的评分标准。
3. 系统性能力差距发现：通过对 23 个 MLLM 的基准测试，揭示了医疗领域模型在罕见病工作流中的系统性缺陷，特别是“容量稀释效应”（Capacity Dilution Effect）。

4. 实验结果 (Results)

研究评估了 23 个 MLLM（包括闭源、开源及 9 个医疗领域专用模型），主要发现如下：

• 整体性能瓶颈：

  • 治疗规划 (T2) 是所有模型中最困难的轨道，即使是表现最好的模型（GPT-5）得分也仅为 49.2（满分 100）。这反映了罕见病缺乏标准协议且需高度风险判断的难点。
  • 诊断 (T1) 相对表现较好，但跨图像任务表现极差。

• 领域专业化差距 (Domain Specialization Gap)：

  • 诊断能力：医疗专用模型在诊断任务上接近通用模型（差距仅约 6 分），因为诊断类似于模式识别。
  • 多图像能力崩塌：在 T3（跨图像证据对齐） 上，医疗专用模型表现显著落后于通用模型。最佳医疗模型比最佳开源通用模型低 29 分，比最佳闭源模型低 43.5 分。
  • 容量稀释效应：医疗微调虽然能缩小诊断误差，但可能以牺牲组合式多图像证据整合能力为代价。模型过度专注于常见病的模式记忆，导致处理罕见病所需的复杂跨模态推理能力退化。

• 模型规模与一致性：

  • 在医疗模型家族内部，参数量越大性能越好，但无法弥补跨图像证据对齐的差距。
  • 没有任何单一模型能在所有轨道上同时排名第一，表明当前架构尚未完全整合罕见病临床评估所需的全部能力。

5. 研究意义 (Significance)

• 重新定义评估标准：MMRareBench 证明了仅靠诊断准确率不足以评估医疗 AI 在罕见病场景下的能力，必须引入多模态证据整合和跨图像推理的评估。
• 揭示微调风险：研究指出，针对特定医疗领域的微调可能存在“容量稀释”风险，即牺牲了通用推理和复杂证据整合能力。这为未来医疗大模型的训练策略提供了重要警示。
• 推动临床落地：该基准为罕见病诊断辅助系统提供了可复现的测试床，强调了在数据稀缺条件下，AI 系统必须具备像人类专家一样严格基于证据（Evidence-grounded）进行推理的能力，而非依赖记忆。
• 开源贡献：基准数据、代码及评估工具将公开，促进社区在罕见病多模态医疗 AI 领域的进一步研究。

---

总结：MMRareBench 填补了罕见病多模态评估的空白，揭示了当前医疗大模型在处理复杂、多图像、数据稀缺的罕见病病例时存在的严重能力断层，特别是治疗规划和跨图像证据对齐方面的不足，为下一代医疗 AI 的发展指明了方向。