Conformal Calibration for Multi-Modal Regression with Missing Modalities

技术摘要：面向多模态回归中缺失模态的符合性校准（Conformal Calibration）

问题陈述
多模态回归系统整合了诸如表格数据、文本和图像等多样化的输入源，但在生成可靠的不确定性估计方面面临显著挑战。虽然融合这些来源通常能提高点预测的准确性，但标准的符合性预测方法通常依赖于单一的全局分位数来构建预测区间。这种全局方法在不同的输入数据分布区间内进行平均，未能考虑到当模态之间存在一致、冲突或在测试时特定模态缺失时，区间可靠性的系统性差异。因此，单一的边际覆盖率保证可能会掩盖困难子集（例如高分歧或数据缺失情况）中的覆盖不足问题，并在简单案例中造成效率低下。本文旨在解决开发一个能够根据观察到的模态模式和来源分歧度来调整区间宽度的校准层，同时保持严格的有限样本覆盖率保证的需求。

方法论
所提方法引入了一个模态感知符合性校准层，该层围绕一个固定的基础预测器和一组针对各来源的辅助预测器运行。其核心机制由分歧得分（disagreement score）和模态可用性驱动，包含两种互补策略：

1. 分歧得分构建：
   对于每个样本 $x$，各来源预测器 $g_k$ 根据其各自的来源块 $x^{(k)}$ 生成预测值 $\hat{y}_k$。分歧得分 $d(x)$ 定义为这些各来源预测值的标准差：
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   其中 $A(x)$ 是可用来源的集合。如果只有一个来源可用，则 $d(x)=0$。

2. 分歧缩放校准（连续法）：
   该方法根据分歧得分连续地重新分配区间宽度。将缩放函数 $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ 应用于符合性分位数回归（CQR）得分。参数 $\gamma$ 在调优拆分集上选定，并在校准前固定。

   • 机制： 非符合性得分被归一化为：$s_i = \max\{e_i, 0\} / a_\gamma(X_i)$。
   • 效果： 高分歧会导致较大的缩放因子，从而扩大区间；低分歧则缩小区间。
   • 保证： 在满足缩放规则在校准前已固定的条件下，该方法保留了标准的边际拆分符合性（split-conformal）覆盖率保证（$1-\alpha$）。

3. Mondrian（分层）校准（离散法）：
   该方法通过预定义的层级（由分歧得分分箱或模态可用性状态定义，如“文本缺失”、“图像缺失”）来构建独立的校准分位数。

   • 机制： 将校准集划分为若干层级 $h$。为每个层级计算一个独特的分位数 $\hat{q}_h$。
   • 保证： 只要层级定义在校准前固定，且校准样本与测试样本在给定预校准数据的情况下是联合可交换的，该方法即可提供有限层级的条件覆盖率保证。

4. 处理缺失模态：
   该框架通过定义“状态（regime）”层级来显式处理缺失模态。在压力测试中，使用“掩码匹配（mask-matched）”重校准，即校准样本使用与测试样本相同的缺失掩码进行转换。这使得系统能够在不凭空臆造缺失来源预测值的情况下，恢复特定缺失数据状态下的覆盖率。

核心贡献
本文做出了四个主要贡献：

1. 定义分歧得分： 定义了一种从各来源回归预测中导出的模型无关的分歧得分，作为在计算符合性得分之前构建的校准协变量。
2. 分歧缩放 CQR： 将该得分纳入归一化拆分符合性 CQR 方法中，在校准前选择来源分歧缩放比例，并阐明了实现有效性所需的严格拆分条件。
3. Mondrian 构建： 提供了基于模态可用性或分歧水平的预设层级的覆盖率正式构建方法。
4. 全面评估： 使用四种多模态数据集（Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI）以及多种基础预测器（XGBoost 点预测/分位数预测、SEMF 集成）对该方法进行了评估，并包含了缺失模态的压力测试。

实验结果

• 效率与覆盖率： 在 60 次配对运行（4 个数据集 $\times$ 3 个预测器 $\times$ 5 个种子）中，分歧缩放方法在区间连续秩概率积分期望（CRPS）方面在 60 次中有 59 次 达到或超过了边际符合性基准，在区间宽度方面也是如此；在区间宽度方面表现同样出色。经验覆盖率保持在 95% 的目标附近（0.949 对 0.949）。
• 分歧状态： 该方法成功实现了在低分歧样本下缩小区间，以及在高分歧样本下扩大区间，纠正了标准边际校准在处理高分歧区间时观察到的覆盖不足现象。
• 缺失模态： 在缺失模态的压力测试中，“掩码匹配重校准”（Mondrian 校准的一种特例）显著恢复了覆盖率。在最具挑战性的固定掩码状态下（仅含表格数据的 IMDB-WIKI），覆盖率提升了 19.5 个百分点（从 0.758 提升至 0.953），尽管伴随着区间宽度的相应增加（125%）。
• 鲁棒性： 该结果在包括梯度提升树和源于 SEMF 解码器的蒙特卡洛集成在内的不同基础预测器上均保持稳健。

意义与主张
本文声称为多模态回归系统提供了一个简单的、模型无关的可靠性层。其意义在于：

• 将校准与融合解耦： 该层适用于任何固定的基础预测器（树、神经网络、集成模型），且不需要重新训练融合模型。
• 自适应不确定性： 它超越了“一刀切”的全局分位数，允许不确定性估计反映特定输入状态（一致、冲突或缺失）的可靠性。
• 严谨的保证： 不同于启发式调整，该方法通过遵循严格的拆分协议（包括分歧缩放比例和层级定义在校准前均已固定），维持了严格的有限样本覆盖率保证（边际或条件）。
• 实际应用价值： 它为部署中的模型提供了一个实用的解决方案，在模态可用性是动态变化时（例如传感器缺失或文本损坏），确保不确定性估计依然有效。

作者保持了谦逊的态度，指出这些保证依赖于拟合、调优和校准数据之间的严格分离，并且标量分歧得分平等对待所有来源，可能会忽略跨模态依赖关系或来源可靠性的差异。该方法被定位为一种用于改进现有系统的封装器（wrapper），而非一种全新的融合架构。