技术摘要：AURORA——面向医疗基础模型几何表示学习的上下文正交化

1. 问题陈述

近期的医疗基础模型通过在多样化的生物医学模态（包括结构化电子健康记录（EHR）、影像和生理信号）上进行大规模自监督学习（SSL），实现了强大的预测性能。然而，这些模型通常仅优化单一的主导目标：将患者信息压缩为统一的潜在表示，以最大化下游预测准确率。

本文指出了该范式的一个关键局限：潜在纠缠。在当前模型中，不同的临床概念——如生理严重程度、干预强度、观测结构（例如测量频率）以及机构工作流程——经常被压缩到共享的嵌入方向中。尽管这些纠缠的表示可能产生较高的 AUROC 分数，但它们存在以下缺陷：

• 语义不透明性：潜在空间难以从几何角度进行解释。
• 不稳定性：表示在上下文变化（例如医院工作流程或测量方案的改变）下表现不稳定。
• 缺乏解耦：单个向量可能同时编码疾病严重程度和操作强度，使得区分生理状态与观测伪影变得困难。

现有的 SSL 目标（重建、对比学习、自蒸馏）没有提供明确的机制来保留上下文证据的关系组织，或强制这些因素之间的几何可分性。

2. 方法论：AURORA 框架

作者提出了AURORA（通过正交关系对齐实现的自适应不确定性感知表示），该框架将医疗表示学习重新定义为潜在语义几何问题，而非纯粹的预测压缩问题。

核心假设

具有临床意义的表示不仅应保留预测信息，还应维持上下文证据的关系组织。不同的语义因子应在潜在空间中占据几何可分（正交）的方向。

表示分解

AURORA 不是学习单一的统一嵌入 $z$，而是将潜在表示分解为语义结构化、正交的子空间：
$$z = z^{(phys)} + z^{(int)} + z^{(obs)} + z^{(ctx)}$$
其中：

• $z^{(phys)}$：捕捉生理状态。
• $z^{(int)}$：捕捉干预结构。
• $z^{(obs)}$：捕捉观测和测量行为。
• $z^{(ctx)}$：捕捉剩余的上下文信息。

学习目标

该框架完全基于自监督，直接从 EHR 数据内的模式推导关系结构，无需专家标注。它优化两个主要目标：

1. 上下文对齐（$L_{align}$）：
   对于每个语义因子 $k$，模型基于上下文相似性（例如共享的干预模式或相似的实验室获取结构）构建患者邻域。它在相应的子空间内最小化上下文相似患者表示之间的距离：
   $$L^{(k)}_{align} = \mathbb{E}_{i,j} \left[ R_k(x_i, x_j) \| z^{(k)}_i - z^{(k)}_j \|^2_2 \right]$$
   此处，$R_k(x_i, x_j)$ 是一个关系对齐算子，用于测量因子 $k$ 下的上下文相似性。

2. 正交化正则化（$L_{orth}$）：
   为了防止不同因子坍缩到相同的潜在方向，模型惩罚不同语义子空间之间的重叠：
   $$L_{orth} = \sum_{k \neq l} \| (z^{(k)})^\top z^{(l)} \|_F^2$$
   这鼓励不同因子的潜在向量在几何上保持正交。

总损失：
$$L_{AURORA} = \sum_{k} L^{(k)}_{align} + \lambda L_{orth}$$
其中 $\lambda > 0$ 控制语义对齐与上下文解耦之间的权衡。

3. 主要贡献

• 几何重释：本文提出将潜在流形本身的组织视为主要建模目标，而非预测压缩的副产品。
• 上下文正交性原则：引入了一种机制，将临床上不同的因子（严重程度、干预、观测）显式分离到正交子空间中，解决了标准 SSL 中固有的纠缠问题。
• 自监督解耦：该框架无需人工标签即可实现语义解耦，仅依赖 EHR 数据中固有的关系结构。
• 可扩展性：该方法兼容基于 Transformer 的编码器、多模态架构以及大规模分布式预训练系统。

4. 实验结果

作者将 AURORA 与三类基线模型进行了评估：掩码自编码（MAE）、对比 SSL 和 DINO 风格的自蒸馏。所有模型均使用相同的 Transformer 骨干网络和参数预算，并在大规模 EHR 语料库上进行预训练。

下游临床预测

• 性能：AURORA 在死亡率预测、脓毒症检测、再入院预测和患者检索任务中，始终优于所有基线模型。
• 检索：在检索任务（Recall@10）中观察到了最显著的增益，这表明上下文正交化在潜在空间中产生了语义更纯净的邻域。
• 鲁棒性：在机构分布偏移（干预频率、实验室开单和人口统计学的变化）下，AURORA 表现出显著更高的鲁棒性（AUROC 0.879），优于基线模型（例如 MAE 为 0.781）。

解耦与几何

• 解耦质量：AURORA 实现了最低的互信息（MI）重叠（0.181）和最高的正交性得分（0.854），表明语义因子得到了成功分离。
• 邻域纯度：与基线模型相比，该模型产生了显著更高的邻域纯度（0.843）和更低的上下文熵（0.61），证实了局部流形区域是由具有临床意义的语义组织的，而非混合的相关性。

5. 意义与主张

本文认为，当前医疗基础模型的主要局限不在于规模不足（参数或数据），而在于潜在表示空间内的结构不足。

• 超越预测压缩：作者主张，仅优化预测性能会导致语义不透明且不稳定的表示。通过根据上下文语义显式构建潜在空间，AURORA 为基础模型设计提供了一条互补的方向。
• 几何容量作为扩展轴：这项工作表明，“几何容量”——即潜在空间本身的语义组织——构成了医疗模型扩展的额外维度，有可能在不增加架构规模的情况下提高鲁棒性和可解释性。
• 临床可解释性：结果表明，解耦的表示不仅仅是更具可解释性，而且从根本上更稳健、更具预测性，因为它们允许模型区分生理严重程度与操作伪影（例如测量密度）。

作者得出结论：潜在几何不仅仅是一种中间表示，其本身就是一个具有临床意义的对象；显式构建这一空间为构建更可靠的医疗基础模型提供了一条路径。