Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients

这是一份关于论文《Is Clinical Text Enough? A Multimodal Study on Mortality Prediction in Heart Failure Patients》（临床文本是否足够？心力衰竭患者死亡率预测的多模态研究）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心挑战：心力衰竭（HF）患者的短期（出院后 3 个月内）死亡率预测在临床上极具挑战性。
• 现有局限：
  • 传统方法主要依赖结构化电子健康记录（EHR）数据（如人口统计学、实验室指标），但往往忽略了非结构化临床文本中的关键预后信号。
  • 现有的基于文本的方法通常使用全局文档嵌入（如 CLS 向量），忽略了实体级别的信息（如具体的疾病、治疗、症状等），而这些细粒度信息对预后至关重要。
  • 大多数研究基于英文 MIMIC 数据集，缺乏针对法语临床数据（术语、笔记结构不同）的特定研究。
  • 大型语言模型（LLM）在临床决策支持中的应用尚不明确，特别是在处理多模态输入（文本 + 结构化数据）时的表现缺乏系统评估。
• 研究目标：评估基于 Transformer 的模型在法语心力衰竭队列中的表现，比较纯文本、纯结构化数据、多模态融合以及基于 LLM 的提示工程（Prompting）方法在死亡率预测任务中的有效性。

2. 数据集与资源 (Data and Resources)

• 数据来源：法国巴黎圣约瑟夫医院（Hôpital Saint Joseph）心内科的回顾性数据。
• 数据规模：2,254 次住院记录，其中约 11% 为阳性样本（出院后 3 个月内死亡），存在显著的类别不平衡。
• 数据类型：
  • 结构化数据：入院时的 115 个变量（人口学、临床、生物、治疗），经特征选择后保留 41 个关键变量（如年龄、BNP、肌酐、LVEF、用药等）。
  • 非结构化文本：医生撰写的法语自由文本临床笔记。
• 实体标注：
  • 采用启发式规则（基于 UMLS、BDPM 等词典）进行预标注，识别 23 种临床实体类型（如病理、治疗、解剖、剂量等）。
  • 通过专家和非专家的人工修正，构建了高质量的监督学习数据集，并训练了基于 BERT 的命名实体识别（NER）模型。

3. 方法论 (Methodology)

研究将任务定义为二分类问题（3 个月内死亡 vs 存活），并对比了四类方法：

A. 纯文本方法 (Text-Only)

• 基线：仅使用预训练法语生物医学模型（CamemBERT-bio, DrBERT）的 [CLS] 令牌嵌入。
• 实体增强：提取临床笔记中的命名实体，计算每个实体类型的平均嵌入向量。
• 融合策略：
  • 简单融合：平均融合、求和融合、拼接（Concatenation）。
  • 可学习融合：加权融合（Learnable weights）、门控融合（Gated Fusion，动态调节实体嵌入的影响）。
  • 分类器：逻辑回归。

B. 纯结构化方法 (Structured-Only)

• 参考模型：基于 115 个原始变量，使用 LASSO 回归进行特征选择，保留 41 个变量，训练带正则化的逻辑回归。
• 基线模型：直接在 41 个精选变量上训练逻辑回归。

C. 多模态融合方法 (Multimodal Fusion)

• 输入：文本嵌入（CLS 或 CLS+ 实体）+ 结构化变量。
• 融合策略：
  • 简单融合：直接拼接后接逻辑回归；或晚期融合（Late Fusion，对文本和结构化模型的预测概率进行平均或堆叠）。
  • 可学习交互：
    • 门控融合（Gated Fusion）：在拼接前调节实体嵌入。
    • 双交叉注意力（Dual Cross Attention）：允许文本和结构化表示相互关注。
    • 门控双交叉注意力（Gated Dual-XAttn）：结合门控机制与双向注意力。

D. 基于 LLM 的生成式方法 (Generative LLM)

• 模型：Mistral-7B, Qwen2.5-7B, MedGemma-4B。
• 提示策略：
  • 输入模态：纯文本、纯结构化数据（表格）、多模态（文本 + 表格）。
  • 解码策略：贪婪解码（Greedy）与约束解码（Constrained，强制输出 0 或 1）。
  • 额外实验：将结构化表格转换为文本描述（Textified）输入 LLM。

4. 关键结果 (Key Results)

A. 文本与实体级别信息

• 实体增强有效：在纯文本模型中，引入实体级别的表示（Entity-level embeddings）显著优于仅使用 [CLS] 嵌入。
• 最佳文本模型：CamemBERT-bio 表现优于 DrBERT。门控融合（Gated Fusion） 策略在 CamemBERT-bio 上取得了最高的 F1 分数（39.5%），表明动态加权实体贡献对预测至关重要。

B. 结构化数据表现

• 结构化数据模型表现强劲，AUC 达到 0.79（基线模型），优于纯文本模型。
• 简单的逻辑回归模型在特征选择后，表现优于更复杂的 LASSO 流程，且系数符合临床常识（如年龄、尿素氮升高与死亡风险正相关，β受体阻滞剂与风险负相关）。

C. 多模态融合（核心发现）

• 最佳性能：监督式多模态融合取得了整体最佳性能。
  • CamemBERT-bio + 门控融合 + 精选结构化变量：F1 = 48.5%, AUC = 81.46%。
  • DrBERT + 门控双交叉注意力：F1 = 46.9%, AUC = 79.65%。
• 显著性：多模态晚期融合（Late Fusion）显著优于最佳单模态模型（结构化或文本）。
• 结论：结合细粒度实体信息与结构化变量，通过可学习的注意力或门控机制进行融合，是预测短期死亡率的最可靠方案。

D. LLM 的表现

• 表现不佳：LLM 在所有模态下的 F1 分数均较低（普遍低于 26%），远逊于监督式 Transformer 模型。
• 模态差异：LLM 在纯文本提示下表现相对最好，但在结构化数据或多模态输入下表现极差。
• 一致性问题：
  • 指令遵循：不同模型对输出格式的遵循度差异巨大。Qwen 常生成额外解释，Mistral 在结构化数据输入下倾向于列出变量而非给出结论。
  • 解码策略：约束解码（强制输出 0/1）导致模型倾向于单一类别（如 Qwen 几乎全预测为 1，Mistral 全预测为 0），缺乏真正的预测能力。
  • 文本化结构化数据：将表格转为文本后，Mistral 的 F1 从 0 提升至 19.42，说明部分模型难以直接处理表格数据，但整体预测增益依然有限。

5. 主要贡献 (Key Contributions)

1. 实体感知的文本表示：证明了在临床文本中，结合实体级别嵌入（Entity-level embeddings）比仅使用全局文档嵌入（CLS）能显著提升预测性能。
2. 多模态融合策略对比：系统评估了多种融合策略，发现可学习的交互机制（如门控、交叉注意力）优于简单的拼接或平均，且实体信息在多模态融合中起关键作用。
3. 法语特定数据集：构建并标注了首个针对法语心力衰竭患者的多模态临床数据集，填补了非英语医疗 NLP 研究的空白。
4. LLM 临床预测的局限性评估：揭示了当前指令微调的 LLM 在直接进行二元临床预测（特别是基于结构化数据）时的不稳定性、指令遵循困难及预测性能低下，表明其目前尚不适合直接用于此类高风险的辅助决策。

6. 意义与结论 (Significance & Conclusion)

• 临床价值：研究证实，仅靠临床文本不足以进行可靠的短期死亡率预测，必须结合结构化数据。
• 技术路线：对于临床决策支持系统（CDSS），“实体感知的多模态 Transformer" 是目前最可靠的解决方案，优于直接使用大语言模型。
• LLM 定位：虽然 LLM 在理解文本语义方面表现出色，但在需要精确数值推理和结构化数据处理的临床预测任务中，其表现尚未达到实用标准，且存在幻觉和指令遵循不稳定的风险。
• 未来方向：需要在多中心数据上进行外部验证，并解决多模态模型的可解释性问题，以推动临床落地。

总结：该论文通过严谨的实验表明，在心力衰竭死亡率预测任务中，融合结构化数据与细粒度实体信息的监督式多模态模型是当前的最优解，而直接利用 LLM 进行端到端预测仍面临巨大挑战。