Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

技术摘要：神经共轭聚合模型 (NCAM)

问题陈述
本文探讨了无监督多传感器回归的挑战，这在传感器网络、模拟集成和科学监测中十分常见。在这些场景中，存在多个具有噪声且存在偏差的测量源，但在训练期间缺乏目标变量的地面真值（ground-truth）标签。在这些设置下，传感器通常表现出异质偏差（乘性与加性）、变化的噪声水平以及时间漂移。传统的融合方法通常无法应对这些问题，因为它们依赖于已知的传感器特性或带标签的数据进行校准。此外，无监督环境下的隐变量融合模型面临**结构非识别性（structural non-identifiability）**问题，即多种参数化方案都能同样好地解释观测结果，导致恢复的隐状态具有歧义性。现有方法通常仅解决这些问题中的子集（例如，有监督校准、启发式聚合或带标签的不确定性量化），但缺乏一个能够同时进行无监督校准、可靠性估计、识别性处理和不确定性量化的统一框架。

方法论：神经共轭聚合模型 (NCAM)
作者提出了 NCAM，这是一个将神经网络与共轭高斯推断相结合的分层贝叶斯框架，用于执行无监督多源融合。

1. 生成模型：

   • 隐先验 (Latent Prior)： 隐目标变量 $\Theta_i$ 被建模为以高斯先验 $p(\Theta_i | X_i)$ 呈现，其均值和方差是基于上下文协变量 $X_i$ 的神经网络输出。
   • 测量模型： 每个传感器 $j$ 提供一个噪声观测值 $b_{ij}$，建模为 $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$。其中，神经网络参数化了传感器特定的乘性偏差 ($a_j$)、加性偏差 ($c_j$) 以及源相关的噪声方差 ($\sigma^2_j$)。
   • 后验聚合： 由于采用了共轭高斯结构，给定所有传感器测量值的 $\Theta_i$ 的后验分布在解析上是可解的。后验均值作为所有传感器的可靠性加权且经过偏差校正的融合结果，其权重由学习到的精度 ($a_j^2 / \sigma_j^2$) 决定。

2. 解决非识别性（传感器锚定）：

   • 测量模型在隐变量的仿射变换下具有不变性，从而导致非识别性。为了解决这一问题，NCAM 采用了传感器锚定 (sensor anchoring) 策略：将一个参考传感器固定为乘性偏差 $a_{j^*} \equiv 1$ 且加性偏差 $c_{j^*} \equiv 0$。这种做法打破了对称性，使隐状态相对于锚点变得可识别，并确保似然度的提升对应于真实的预测准确度。

3. 训练目标：

   • 由于缺乏地面真值，模型通过最大化观测到的传感器测量值的边缘似然 (marginal likelihood) 进行训练。
   • 为了防止方差膨胀（即噪声方差在不影响似然度的情况下任意增长），损失函数中加入了一个显式的方差正则化项，对极端的先验和传感器方差进行惩罚。

4. 不确定性量化：

   • 贝叶斯不确定性： 模型自然地提供了认知不确定性（通过后验方差）和偶然不确定性（通过残差噪声）。
   • 无地面真值校准： 为了在没有标签目标的情况下提供有限样本覆盖保证，作者集成了局部自适应蒙特卡洛符合预测 (MC-CP)。该程序从后验预测分布中生成合成实现以计算符合度得分，从而产生异方差预测区间。
   • 传感器锚定校准： 一种补充机制通过直接评估融合预测相对于经偏差校正后的传感器观测值的一致性，提供了一种针对模型误设的外部检查。

核心贡献

• 公式化： 本文将无监督多传感器回归表述为一个概率隐状态推断问题，能够同时处理异质偏差、可靠性估计、识别性和不确定性。
• NCAM 框架： 引入了一个分层贝叶斯模型，该模型在学习传感器偏差和可靠性的同时，允许闭式共轭后验聚合。
• 识别性解决方案： 提出了一种原则性的传感器锚定策略，解决了结构非识别性问题，从而获得了可解释且可识别的隐状态估计。
• 校准： 开发了一种无地面真值的蒙特卡洛符合校准程序，无需标签目标即可生成局部自适应预测区间。
• 实证验证： 在合成数据集和真实世界空气质量数据集上，证明了 NCAM 相比于无监督基准方法（均值聚合、概率 PCA、卡尔曼滤波和 VELI）在预测准确度和不确定性校准方面具有更优的表现。

实验结果
作者在三个数据集上评估了 NCAM：合成“玩具”数据集、SensEURCity（三个城市的时空 PM2.5 数据）以及 CAIRSENSE（共定位 PM2.5 传感器数据）。

• 预测准确度： NCAM 在所有数据集上均取得了最佳或接近最佳的性能。在具有已知异质偏差的合成数据集上，NCAM 比次优的无监督基准方法 (VELI) 降低了约 50% 的 RMSE，比卡尔曼滤波等经典方法降低了超过 100%。在真实世界数据集中，在传感器偏差显著时（SensEURCity），增益非常显著；而在传感器几乎同质的情况下（CAIRSENSE），表现则具有竞争力。
• 识别性与偏差： 消融研究证实，若没有传感器锚定，模型会遭受非识别性困扰（即在提升似然度的同时降低了预测准确度）。移除显式偏差建模在异质环境下会导致性能剧烈下降，但在高度相关且低偏差的环境下，其影响微乎其微或略有正面效果。
• 不确定性校准： 所提出的 MC-CP 方法在没有地面真值的情况下提供了有效的预测区间。“MC-CP (Model)”通过利用模型的自适应方差提供了最紧凑的区间，而 “MC-CP Sensor-Anchored” 则提供了一种更保守、基于测量值的替代方案。

意义与主张
本文声称，通过将原则性的概率聚合与不确定性校准相结合，可以在完全无监督的设置下实现可靠的多传感器回归。其意义不在于引入了单个组件（贝叶斯推断、神经网络或符合预测），而在于通过原则性的集成解决了独特的、耦合的挑战。该框架实现了：

1. 在没有标签的情况下估计传感器偏差和可靠性。
2. 解决隐状态的非识别性问题。
3. 生成具有有限样本覆盖保证的不确定性感知预测。

作者得出结论，在存在显著传感器偏差的场景下，通过无监督方式进行准确且具备不确定性感知的传感器融合是可行的；而在同质化环境中，该方法也具有竞争力。未来的工作建议探索依赖性感知校准以及向多元目标的扩展。