技术摘要：基于队列的主动模态获取（CAMA）

问题定义

现实世界中的多模态机器学习通常在特定约束下运行，即某些数据模态缺失、获取成本高昂或具有侵入性。尽管现有的范式（如主动学习 AL、主动特征获取 AFA 和主动模态获取 AMA）侧重于优化单个样本的获取（通常在训练期间或测试时的样本层面），但它们往往未能解决队列级资源分配这一特定挑战。

在许多实际场景中（如医疗保健），预算是针对特定资源的（例如，固定数量的 MRI 扫描次数或用于蛋白质组学检测的拨款），而非按患者灵活分配的资金。本文解决的核心问题是：给定一个包含 $N$ 个样本的队列，其中仅部分模态初始可用，且有一个固定预算 $\beta$ 用于获取一种特定的、昂贵的缺失模态，应选择哪些样本子集，以最大化整个队列的全局性能指标（例如 AUROC、AUPRC）？

这种被称为**基于队列的主动模态获取（CAMA）**的设定，通过将决策层级从单个样本转移到队列层面，与 prior 工作区分开来，旨在优化队列的全局判别性能，而不仅仅是单个预测的准确性。

方法论

1. 问题形式化

作者将 CAMA 形式化为一个优化问题。设 $D = \{(x_i, y_i)\}_{i=1}^N$ 为一个数据集，其中每个样本 $i$ 拥有 $P$ 个模态，但仅观察到子集 $P^{avail}_i$。目标是选择一个子集 $S \subseteq \{1, \dots, N\}$，满足 $|S| = \beta$，以获取缺失模态。

• 分数： 该框架区分了以下分数：
  • $s^{avail}_i$：使用可用模态计算的分数。
  • $s^{acquired}_i$：使用可用模态 + 已获取模态计算的分数（即“神谕”分数）。
  • $\{s^{imp}_{i,k}\}_{k=1}^K$：一组 $K$ 个插补分数，利用生成模型对 $s^{acquired}_i$ 进行估计。
• 目标： 最大化全局指标 $Metric(y, s(S))$，其中$s(S)$是$S$ 中样本更新后的分数向量。

2. 获取函数（AF）策略

由于精确求解该优化问题在计算上是不可行的，作者提出了启发式获取函数（AF）对样本进行排序。这些策略分为以下几类：

• 神谕策略（Oracle Strategies）： 假设完全知晓真实标签和 $s^{acquired}_i$ 的理论上限。它们贪婪地选择能带来全局指标最大边际增益的样本。
• 上界启发式（Upper-Bound Heuristics）： 标签无关的策略，假设知晓 $s^{acquired}_i$ 但不知晓 $y_i$。它们依赖于真实不确定性降低、排名变化或概率分布间的 KL 散度等指标。
• 基于插补的策略（Proposed）： 利用生成模型 $f_{imp}$ 在不实际获取数据的情况下估计反事实分数 $\{s^{imp}_{i,k}\}$。策略包括：
  • 期望 KL 散度： 优先选择插补分布与基线分布差异最大的样本。
  • 期望排名变化： 优先选择在队列排名中预期发生显著变化的样本。
  • 期望不确定性降低： 优先选择不确定性预期降低最多的样本。
  • 期望概率： 优先选择平均插补概率较高的样本。
• 基线： 仅使用获取前信息（如基线不确定性）的策略或随机选择。

3. 模型架构

所提出的架构结合了判别式晚期融合模型与生成式插补模块（图 2）：

• 判别式组件： 一个带有模态特定编码器（例如，ViT 用于图像，BERT 用于文本）和融合分类器的晚期融合模型 $f$。它产生 $s^{avail}_i$。
• 生成式组件： 一个生成模型 $f_{imp}$（实现为扩散 Transformer 或 Beta 条件变分自编码器），旨在近似缺失模态的条件分布 $p(z^{(k)} | \{z^{(m)}\}_{m \in P^{avail}_i})$。
• 训练： 模型通过二元交叉熵（判别式）和生成式损失（变分界或去噪目标）的组合损失进行端到端训练。关键在于，在训练期间，生成输出与分类器解耦；分类器仅通过注意力掩码在可用模态上进行训练以防止数据泄露，而生成模块则学习重构潜在嵌入。

主要贡献

1. CAMA 设定： 形式化了一种新颖的测试时、队列级获取设定，解决了在单一固定模态和全局预算约束下对样本进行优先排序的问题。
2. AF 的理论框架： 基于标准评估指标（AUROC、AUPRC）推导获取函数，包括定义上界启发式和基于插补的策略。
3. 新颖架构： 一种混合架构，将判别式晚期融合与生成式插补相结合（具体借鉴了 IMDer [64] 的概念），以实现在测试时的反事实推理。
4. 全面评估： 在多样化数据集（UK Biobank、MIMIC-Symile、MIMIC-HAIM、MOSEI）上进行了广泛的实证验证，涉及多达 15 种模态和 100,000 个样本。

实验结果

作者在四个数据集上评估了其方法，重点关注二分类任务。

• 性能： 基于插补的 KL 散度策略在大多数数据集和指标上，始终优于所有非神谕基线（包括基于不确定性的方法和随机选择）。
• 与启发式的比较： 虽然“真实”（神谕知识）启发式提供了上界，但基于插补的 KL 散度策略往往接近，甚至在某些特定情况（如 MOSEI）下超过了相应标签无关的上界启发式的性能。
• 可扩展性： 该方法在 UK Biobank 数据集（约 10 万个样本，15 种模态）上展示了可扩展性，成功指导了系统性红斑狼疮（SLE）预测的蛋白质组学数据获取。
• 消融研究： 关键架构决策，如层归一化、标签平滑以及在训练期间将生成模块与分类器解耦，被证明对稳定性和性能至关重要。
• 效率： 虽然 DDPM 提供了强大的性能，但 Beta 条件 VAE 提供了一种更快的推理替代方案，尽管在性能上有所权衡。

意义与主张

本文主张，CAMA 为资源受限环境下的模态获取优化提供了一种有效方法，特别是在需要将单一昂贵模态分配给大型队列的场景中。

• 现实世界相关性： 作者强调 UK Biobank 蛋白质组学项目是一个典型例子，其中固定预算要求对患者进行战略性选择以进行昂贵的测试。他们的方法为这类决策提供了数据驱动的框架。
• 资源效率： 通过优先获取那些缺失模态能带来最高全局增益（而不仅仅是局部不确定性降低）的样本，该方法最大化了有限资源的效用。
• 局限性： 作者承认，目前的工作侧重于单一指定模态和固定成本，排除了联合选择模态和样本或处理异质成本等更复杂的问题。他们还指出，其评估使用了合成缺失模式（UKB 除外），且尚未包含专门的公平性分析。

总之，这项工作表明，基于插补的获取函数，特别是那些利用期望 KL 散度的函数，可以有效地指导队列级资源分配，从而弥合理论获取策略与实际预算受限的多模态学习应用之间的差距。