🤖 machine learning

Handling and Interpreting Missing Modalities in Patient Clinical Trajectories via Autoregressive Sequence Modeling

该论文通过将临床诊断重构为自回归序列建模任务，提出了一种利用缺失感知对比预训练和因果解码器来处理医疗数据中缺失模态、提升模型性能并增强可解释性的新框架。

原作者： Andrew Wang, Ellie Pavlick, Ritambhara Singh

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Andrew Wang, Ellie Pavlick, Ritambhara Singh

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个医疗人工智能（AI）中非常棘手的问题：当病人的数据不完整时，AI 该怎么办？

想象一下，医生在诊断病人时，手里通常有一堆信息：验血报告、X 光片、病历本、甚至病人的年龄和性别。但在现实世界中，这些信息往往缺失：可能忘了抽血，可能 X 光片还没拍出来，或者病历没写全。

传统的医疗 AI 就像是一个死板的“填表机器”。如果表格缺了一行，它要么强行猜一个数字填进去（这很危险，可能猜错），要么直接把这张表扔掉（这很浪费）。而且，它通常是一次性把所有信息堆在一起看，无法像医生那样，随着新信息的到来，一步步更新自己的判断。

这篇论文提出了一套全新的**“智能侦探”**方案，主要包含三个核心步骤：

1. 核心思想：把看病变成“读故事”

传统的 AI 是把所有数据揉成一团（像把一堆拼图碎片直接倒进搅拌机）。
这篇论文认为，病人的病情发展是一个随时间变化的故事。

比喻：想象你在看一部侦探剧。侦探（AI）不会等到最后一集才破案，而是随着每一集（每一个新的医疗事件，如“早上 8 点体温升高”、“下午 2 点做了 CT"）的播出，不断更新他的推理。
做法：他们利用大型语言模型（LLM）的技术，把病人的医疗记录变成一个个按时间顺序排列的“句子”。AI 像读小说一样，读一条更新一条，动态地调整对病情的判断。

2. 关键创新：教 AI 学会“面对空白”

这是论文最精彩的部分。当故事里缺了一章（比如缺了 X 光片）时，普通的 AI 会懵圈。

比喻：想象你在玩一个“看图说话”的游戏。如果图片里少了一块，普通 AI 可能会胡乱画一块补上（幻觉），或者因为缺块而拒绝说话。
做法：作者设计了一种特殊的**“预训练课程”**（对比学习）。
- 他们故意在训练时把一些信息“藏起来”（比如遮住 X 光片）。
- 然后给 AI 一个特殊的**“占位符”**（就像在故事里留个空括号 ______），告诉 AI：“这里本来应该有 X 光片，但现在没有，你要注意这个空位。”
- 通过这种训练，AI 学会了：即使没有 X 光片，它也能通过其他信息（如验血报告、病历）在脑海中构建出大致的画面，并且知道“这里缺了东西”，而不是瞎猜。
- 这就好比教侦探：即使没有指纹证据，你也要学会根据现场的其他线索（脚印、时间）来推理，并且清楚自己缺了关键证据，不会盲目下结论。

3. 安全与透明：不仅要看结果，还要看“思考过程”

很多 AI 只告诉你“病人有 80% 概率会去世”，但没说为什么。如果它是因为病人“姓张”就判断会去世（这是种族或性别偏见），那就太可怕了。

比喻：传统的 AI 像个黑盒子，你扔进去数据，它吐出结果，你不知道它怎么想的。
做法：因为这篇论文用的是“读故事”的模型，我们可以回放它的思考过程。
- 研究人员发现：如果没有使用他们那个特殊的“预训练课程”，当缺了重要数据（如时间序列数据）时，AI 就会**“偷懒”，开始过度依赖病人的人口统计信息**（如年龄、性别）。这就好比侦探发现线索断了，就放弃推理，直接说“这人年纪大了，肯定活不久”，这是非常危险的偏见。
- 而使用了他们方法的 AI，即使缺了数据，依然会专注于剩下的医疗线索（如心率、血压），保持推理的公正性和准确性。

总结：这对我们意味着什么？

这篇论文就像给医疗 AI 装上了**“防错机制”和“透明眼镜”**：

更聪明：它不再害怕数据缺失，能像人类医生一样，在信息不全的情况下依然保持冷静推理。
更安全：它不会因为缺数据就胡乱猜测，或者因为病人的性别、种族而带有偏见。
更透明：医生可以像看侦探的推理笔记一样，看到 AI 是依据哪条线索做出的判断，从而决定是采纳还是推翻 AI 的建议。

简单来说，他们让医疗 AI 从一个**“死记硬背的填表员”，进化成了一个“懂得在信息不全时依然保持理智、且愿意展示思考过程的智能助手”**。这对于未来让 AI 真正走进医院、辅助医生救死扶伤至关重要。

1. 研究背景与问题 (Problem)

在开发医疗多模态机器学习模型时，面临两个核心挑战：

数据缺失与稀疏性：临床数据集（如 MIMIC-IV, eICU）本质上是时序的，且模态（如生命体征、实验室检查、影像、文本笔记）的存在具有高度的不规则性和稀疏性。现有的多模态模型通常采用静态架构（"Bag-of-features"），将所有数据拼接成单一向量，无法捕捉临床诊断的动态更新过程。
缺失模态的处理困境：现有处理缺失模态的方法主要分为两类：
- 插补/推断：试图生成缺失的数据，但这可能导致“幻觉”临床信号，引入错误信息。
- 零填充/丢弃样本：使用零向量填充或丢弃缺失模态的样本，这会破坏潜在空间的几何结构，导致模型在推理时表现不稳定，甚至产生安全隐患（如过度依赖人口统计学特征）。
可解释性缺失：静态模型难以让医生审计驱动决策的证据序列，缺乏透明性。

核心问题：如何在存在大量缺失模态的情况下，构建一个既能捕捉临床时序动态、又能保持高鲁棒性（处理缺失数据）且具备可解释性的多模态诊断模型？

2. 方法论 (Methodology)

作者提出了一种缺失模态感知（Missingness-Aware）的两阶段框架，将临床诊断重新定义为自回归序列建模任务。

2.1 缺失模态感知的对比预训练 (Missingness-Aware Contrastive Pre-training)

为了在潜在空间中整合稀疏的多模态数据，作者提出了一种名为**“掩码全局对齐”（Masked Global Alignment）**的对比学习目标。

可学习的缺失 Token：引入一组可学习的占位符 Token $\{t_i\}$ 来显式表示缺失的模态，而不是使用零填充。
掩码全局对齐损失 (Unified Masked Centroid Alignment Loss)：
- 正样本对：对于某个模态 $i$ ，其正样本目标是该患者剩余所有可用模态的聚合中心（Complementary Centroid）。
- 负样本对：来自其他患者的模态表示。
- 机制：如果患者只有单一模态，则使用全局中心作为正样本；如果其他患者缺失该模态，则回退使用其全局表示作为负样本。
- 目的：强制模型将同一患者的不同模态（即使部分缺失）映射到潜在空间中紧密耦合的区域，使模型学会利用“缺失 Token"与现有模态对齐，从而构建模态无关的鲁棒表示。
训练策略：在预训练阶段随机丢弃模态（Modality Dropout），模拟真实世界的数据缺失情况。

2.2 自回归序列建模 (Autoregressive Sequence Modeling)

利用大型语言模型（LLM）的因果解码器架构来建模患者的临床轨迹。

数据序列化：将患者的多模态临床事件（如实验室结果、诊断、影像报告）按时间顺序排列。
预测 Token 注入：在每个临床事件后插入特殊的 [PREDICT] Token，强制模型在每个时间步输出更新后的信念状态（Belief State）和预测结果。
架构：
- 编码器：使用特定模态的编码器（如 ClinicalBERT 处理文本，CNN 处理影像，LSTM 处理时序数据）将原始数据映射为嵌入向量。
- 投影层：将模态嵌入投影到 LLM 的隐藏层维度。
- 微调：使用预训练的对比嵌入微调多种 LLM 解码器（如 Llama-3, Mistral, DeepSeek 等），采用 LoRA 进行参数高效微调。

2.3 机制性解释分析 (Mechanistic Interpretation)

通过分析 Transformer 最后一层的自注意力矩阵（Self-Attention Matrices），追踪模型在缺失模态情况下的推理路径，观察注意力是否发生异常转移（如过度关注人口统计学特征）。

3. 关键贡献 (Key Contributions)

新型混合对比损失函数：提出了“掩码全局对齐”损失，显式学习缺失模态 Token，将不完整的多模态患者状态对齐到全局潜在表示中，显著提升了模型在高度缺失数据上的表现。
时序建模优于静态基线：证明了基于 Transformer 的自回归序列模型在 MIMIC-IV 和 eICU 数据集上，在死亡率预测、表型分析和住院时长预测任务中，性能均优于静态 MLP 和 LSTM 基线。
安全与可解释性洞察：通过机制分析发现，未经对比预训练的模型在缺失模态时会发生“注意力崩溃”，错误地过度依赖人口统计学特征（Demographics）作为代理变量。而对比预训练能有效缓解这一问题，使模型在缺失数据下仍能保持基于临床生理轨迹的合理推理，提升了医疗 AI 的安全性和公平性。

4. 实验结果 (Results)

实验在 MIMIC-IV（高缺失率，约 86% 的住院记录仅包含 5 种模态中的 1 种）和 eICU（相对完整，约 50% 包含所有 6 种模态）数据集上进行。

预训练效果：
- 跨模态检索：对比预训练显著提升了跨模态检索能力（例如，用 X 光片检索对应的临床笔记），MIMIC-IV 的 R@1 从随机基线的 0.14% 提升至 5.18%（提升 37 倍）。
- 潜在空间对齐：t-SNE 可视化显示，不同模态的嵌入在潜在空间中高度融合，轮廓系数（Silhouette Score）极低，表明模态间对齐良好。
下游任务性能：
- MIMIC-IV（高缺失场景）：对比预训练 + 序列建模带来了巨大的性能飞跃。例如，DeepSeek-LLM-7B 在死亡率预测上的 AUROC 从随机初始化的 0.5720 提升至 0.8409。
- eICU（低缺失场景）：序列模型本身优于静态模型。但在数据较完整时，从头训练（Scratch）的序列模型有时略优于对比预训练模型（存在“天花板效应”），但在缺失模态测试中，对比预训练模型表现出更强的鲁棒性。
可解释性与安全性：
- 消融实验：当移除关键模态（如放射科笔记或时间序列数据）时：
  - 非对比模型：预测轨迹发生剧烈偏差，注意力机制崩溃，完全转向依赖人口统计学特征（如年龄、性别），导致错误的临床判断。
  - 对比预训练模型：预测轨迹保持稳定，注意力合理分布在剩余的临床历史数据上，证明了其潜在空间对缺失数据的几何鲁棒性。

5. 意义与影响 (Significance)

重新定义临床 AI 范式：将静态分类问题转化为动态的自回归序列建模问题，更符合临床医生根据新证据不断更新诊断信念的实际工作流。
解决缺失数据的安全隐患：揭示了传统模型在数据缺失时可能产生的“隐性偏见”（过度依赖人口统计学），并提出了一种通过对比学习构建鲁棒潜在空间的有效解决方案，这对于医疗 AI 的**安全部署（Safe Deployment）**至关重要。
提升透明度：利用序列模型的注意力机制，可以直观地审计模型在每一步决策中关注了哪些证据，增强了医生对 AI 系统的信任。
未来方向：该框架为处理高维、稀疏、异步的医疗数据提供了通用范式，未来可结合更高效的架构（如状态空间模型 SSM）以处理更长周期的患者轨迹。

总结：该论文不仅通过引入对比预训练和自回归建模显著提升了多模态医疗模型的性能，更重要的是，它从机制层面揭示了缺失数据对模型推理的潜在危害，并提供了一种可解释、安全且鲁棒的解决方案，推动了可信医疗 AI 的发展。