Spherical Mixture Integration for Latent Embedding Alignment across Multi-Source Feature Spaces

技术摘要：用于潜在嵌入对齐的球面混合集成（SMILE）

1. 问题陈述

本文解决了整合多机构电子健康记录（Multi-EHR）数据以支持预测建模和真实世界证据生成的挑战。虽然跨机构聚合数据增强了模型的稳健性，但仍存在显著障碍：

• 异构特征空间：各机构采用不同的编码标准、本地文档实践，且对共享本体（如 ICD-9、RxNorm、LOINC）的映射不完整。
• 粒度与碎片化：原始 EHR 代码往往过于细粒度且具有机构特异性，导致同一临床概念的表示碎片化。
• 表示层面的不兼容性：问题不仅在于数据缺失，更在于特征空间的不匹配。简单地混合特征或将分析限制在共享特征上，会丢弃有价值的信息或引入测量误差。
• 隐私约束：直接共享患者级数据通常不可行。机构必须依赖隐私保护的摘要（如嵌入向量、共现统计）来促进整合。

核心统计挑战被表述为一个耦合潜在变量问题：从底层临床概念的异构、噪声且部分重叠的视图中恢复共同的潜在表示，同时在不具备完全观测映射的情况下识别同义词集合（多对一映射）。

2. 方法论：SMILE 框架

作者提出了SMILE（用于潜在嵌入对齐的球面混合集成），这是一个概率框架，联合解决表示对齐和同义词恢复问题。该方法基于源自异构源的单位范数嵌入进行操作。

生成模型组件：

1. 多源潜在因子模型：
   • 每个特征 $i$ 拥有一个共享的、单位范数的潜在表示 $V_i \in \mathbb{R}^r$。
   • 来自源 $l$ 的观测嵌入 $U^{(l)}_i$ 被建模为 $U^{(l)}_i = W_l V_i + E^{(l)}_i$，其中 $W_l$ 是源特定的载荷矩阵，$E^{(l)}_i$ 是次高斯噪声。这将异构视图投影到一个共享的低维空间中。
2. 用于同义词组的球面混合：
   • 为了恢复潜在的同义词组，共享表示 $\{V_i\}$ 被建模为单位超球面上 $K$ 个 von Mises-Fisher (vMF) 分布的混合：$V_i \sim f_r(x; \mu_{z_i}, \kappa)$。
   • 此处，$z_i$ 表示潜在聚类成员（同义词组），$\mu_k$ 是聚类 $k$ 的单位范数平均方向，$\kappa$ 是集中度参数。这允许同义特征围绕共享中心波动，而不是坍缩到单一点。
3. 辅助关系监督：
   • 模型通过两个逻辑回归模型引入稀疏观测的辅助知识图谱信息，以监督潜在几何结构：
     • 相似性模型：将相似性标签（例如，“对乙酰氨基酚”与“布洛芬”）链接到聚类均值 $\mu$。
     • 相关性模型：将功能相关性标签（例如，“2 型糖尿病”与“二甲双胍”）直接链接到潜在表示 $V$。
   • 这些模型提供弱监督，允许整合稀疏且含噪的相似性信号，而无需完全观测的配对数据。

估计与算法：

• 复合拟似然：由于完全指定的联合似然不切实际，SMILE 最小化四个分量损失的加权和：
  1. 用于多源因子对齐的维度归一化平方损失。
  2. 用于 vMF 混合的负对数似然（强制围绕均值集中）。
  3. 用于相似性配对的负对数似然。
  4. 用于相关性配对的负对数似然。
• 优化：复合目标通过交替分块过程（算法 1）求解。它首先仅使用对齐和相关性分量初始化特征嵌入，然后通过期望最大化（EM）算法迭代更新概念级参数（均值和聚类分配），并细化特征级参数。

3. 主要贡献

• 统一框架：SMILE 是首个在单一统计目标中联合池化同义词恢复和对齐证据的框架，将其视为单一估计问题，而非顺序步骤。
• 处理异构性：它适应异构的嵌入维度、部分特征重叠以及多对一映射，而无需数据插补。
• 理论保证：本文建立了首个针对 EHR 数据中常见的“高聚类数、小聚类规模、多视图”体制的恢复保证。
  • 非渐近误差界：证明了潜在嵌入 $\{V\}$ 和聚类平均方向 $\{\mu\}$ 的有界误差。
  • 一致性：证明了随着词汇量增加，同义词聚类恢复的一致性。
  • 多通道集成：该理论量化了统计增益如何随源数量、重叠程度以及辅助关系信息的可用性而扩展。
• 算法实现：一种计算上可行的复合似然估计量，利用 vMF 结构和辅助关系配对。

4. 结果

模拟研究：

• SMILE 与多视图集成基线（SVD、AJIVE、SLIDE）结合 k-means 或层次聚类进行了比较。
• 性能：在不同源数量（$L$）、集中度参数（$\kappa$）和聚类数量（$K$）下，SMILE 在潜在嵌入恢复、聚类均值估计和聚类（以调整互信息 AMI 衡量）方面始终取得最高精度。
• 稳健性：即使在高分辨率聚类设置（$K=100$，每个聚类平均 10 个代码）和稀疏关系监督下，SMILE 仍保持优越性能。
• 关系监督：随着关系监督量的增加，性能得到提升，与理论速率一致。

现实世界应用（多机构 EHR）：

• 数据：整合了来自麻省总医院布里格姆（MGB）和退伍军人事务部（VA）的 EHR 数据，包括 PheCodes、RxNorm、LOINC 和 VA 特定的本地代码。
• 嵌入质量：SMILE 在相关性预测方面取得了显著改进（与最强基线 SLIDE 相比，AUC 从 0.7762 提高到 0.9455），证明了其捕捉低秩分解所遗漏的跨聚类几何关系的能力。此外，它在疾病相关特征选择方面与 GPT-4 语义相关性得分的相关性最高。
• 聚类和标准化：SMILE 在同义词代码聚类方面显著优于所有基线：
  • PheCode：AMI 从约 0.24 提高到约 0.40（约 67% 的提升）。
  • RxNorm：AMI 从约 0.09 提高到约 0.17（约 82% 的提升）。
  • 实验室代码：AMI 从约 0.07 提高到约 0.16（约 122% 的提升）。
  • VA 本地实验室代码：AMI 从约 0.06 提高到约 0.17（约 185% 的提升），突显了其在将机构特定代码映射到标准化本体方面的效用。

5. 意义与主张

本文主张 SMILE 为跨机构、多模态患者表示提供了可扩展的基础设施。其意义在于：

• 直接对齐：它在共享潜在表示中直接对齐机构特定代码，在表示层面缓解编码差异，而不是将标准化视为事后映射问题。
• 隐私保护：它仅使用隐私保护的摘要表示（嵌入向量和稀疏关系配对）即可实现集成分析，无需暴露个体级记录。
• 可扩展性：由于其在嵌入层面运行，该框架可以自然地结合临床笔记中的叙述性概念（例如症状短语）与结构化代码，迈向完全自动化、基于表示的 EHR 标准化。
• 统计严谨性：它提供了一种原则性的概率替代方案，以取代临时的同义词处理和启发式代码聚合，并在复杂的高维设置中提供恢复的理论保证。