Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

技術要約：ニューラル共役集約（NCAM）

問題提起
本論文は、教師なしマルチセンサ回帰の課題に取り組んでいる。これは、センサネットワーク、シミュレーション・アンサンブル、科学的モニタリングなどで一般的に見られるシナリオであり、複数のノイズを含み、バイアスのある測定ソースが存在するものの、学習中にターゲット変数に対する正解ラベル（グラウンドトゥルース）が存在しない状況を指す。このような設定では、センサは不均一なバイアス（乗法的および加法的）、変動するノップレベル、および時間的なドリフトを示すことが多い。古典的な融合手法は、既知のセンサ特性やラベル付きデータによる校正に依存しているため、ここでは通常失敗する。さらに、教師なし設定における潜在変数融合モデルは、**構造的な非識別性（structural non-identifiability）**に苦しむ。これは、複数のパラメータ化が同じ観測結果を等しく説明できてしまう現象であり、回収された潜在状態を曖昧にするものである。既存のアプローチは、これらの問題の一部（例：教師あり校正、ヒューリスティックな集約、またはラベルを用いた不確実性定量化）のみに対処していることが多く、教師なしでの校正、信頼性推定、識別性、および不確実性定量化を同時に行う統一されたフレームワークを欠いている。

手法：ニューラル共役集約モデル（NCAM）
著者らは、マルチソース融合を教師なしで行うために、ニューラルネットワークと共役ガウス推論を統合した階層ベイズフレームワークであるNCAMを提案する。

1. 生成モデル:

   • 潜在事前分布: 潜在ターゲット変数 $\Theta_i$ は、文脈的共変量 $X_i$ に条件付けられたニューラルネットワークの出力である平均と分散を持つ、ガウス事前分布 $p(\Theta_i | X_i)$ でモデル化される。
   • 測定モデル: 各センサ $j$ は、ノイズを含む観測値 $b_{ij}$ を提供する。これは $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$ とモデル化される。ここで、ニューラルネットワークは、センサ固有の乗法的バイアス ($a_j$)、加法的バイアス ($c_j$)、およびソース依存のノイズ分散 ($\sigma^2_j$) をパラメータ化する。
   • 事後分布の集約: 共役ガウス構造により、すべてのセンサの測定値が与えられたときの潜在ターゲット $\Theta_i$ に関する事後分布は解析的に計算可能である。事後平均は、学習された精度（precision） $a_j^2 / \sigma_j^2$ によって決定される、信頼性で重み付けされバイアス補正された全センサの融合結果として機能する。

2. 非識別性の解決（センサ・アンカリング）:

   • 測定モデルは、潜在変数のアフィン変換に対して不変であり、これが非識別性を引き起こす。これを解決するために、NCAMはセンサ・アンカリング戦略を採用する。これは、一つの参照センサを、乗法的バイアス $a_{j^*} \equiv 1$ および加法的バイアス $c_{j^*} \equiv 0$ として固定する手法である。これにより対称性が打破され、潜在状態がアンカーに対して識別可能となり、尤度の向上が真の予測精度に対応することを保証する。

3. 学習目的関数:

   • 正解が得られないため、モデルは観測されたセンサ測定値の**周辺尤度（marginal likelihood）**を最大化することによって学習される。
   • 分散の膨張（ノイズ分散が尤度に影響を与えずに任意に増大すること）を防ぐため、極端な事前分布およびセンサの分散にペナルティを与える明示的な分散正則化項が損失関数に追加される。

4. 不確実性定量化:

   • ベイズ的不確実性: モデルは自然に、エピステミック不確実性（事後分散経由）およびアレオリック不正確性（残差ノイズ経由）を提供する。
   • 正解なしの校正: ラベル付きのターゲットなしで有限標本での被覆保証を提供するために、著者らは**局所適応型モンテカルロ・コンフォーマル予測（MC-CP）**を統合している。この手順は、事後予測分布から合成実現値を生成して適合度スコアを計算し、ヘテロスケダスティック（不等分散）な予測区間を生成する。
   • センサ・アンカー付き校正: 補完的なメカニズムとして、融合された予測がバイアス補正されたセンサ観測値に対してどの程度一致しているかを直接評価し、モデルの誤設定に対する外部チェックを提供する。

主な貢献

• 定式化: 教師なしマルチセンサ回帰を、不均一なバイアス、信頼性推定、識別性、および不確実性を共同で扱う確率的潜在状態推論問題として定式化した。
• NCAMフレームワーク: センサのバイアスと信頼性を学習しながら、閉形式の共役事後集約を許容する階層ベイズモデルを導入した。
• 識別性の解決策: 構造的な非識別性を解決し、解釈可能で識別可能な潜在状態推定をもたらす、原理的なセンサ・アンカリング戦略。
• 校正: ラベル付きのターゲット観測を必要とせずに、局所適応型の予測区間を生成する教師なしモンテカルロ・コンフォーマル校正手順の開発。
• 実証的検証: 合成データおよび実世界の空気質データセットにおいて、平均集約、確率的PCA、カルマンフィルタ、およびVELIといった教師なしベースラインと比較して、予測精度と校正された不確実性の向上を実証した。

実験結果
著者らは、合成「Toy」データセット、SensEURCity（3都市の時空間PM2.5）、およびCAIRSENSE（共存するPM2.5センサ）の3つのデータセットでNCAMを評価した。

• 予測精度: NCAMはすべてのデータセットにおいて最高またはそれに準ずる性能を達成した。不均一なバイアスを持つ合成データセットにおいて、NCAMは次に優れた教師なしベースラインであるVELIと比較してRMSEを約50%削減し、カルマンフィルタのような古典的手法と比較して100%以上の削減を実現した。実世界のデータセットでは、センサバイアスが顕著な場合（SensEURCity）に大幅な改善が見られ、センサがほぼ均質である場合（CAIRSENSE）には競争力のある結果を示した。
• 識別性とバイアス: アブレーション研究により、センサ・アンカリングがない場合、モデルは非識別性に陥り（尤度は向上するが予測精度は低下する）、アンカリングによって解決されることが確認された。明示的なバイアスモデリングを削除すると、不均一な設定では劇的な性能低下を招いたが、高度に相関しバイアスが低い設定では、影響は無視できるか、あるいはわずかにプラスの効果をもたらした。
• 不確実性の校正: 提案されたMC-CP手法は、正解なしで有効な予測区間を提供した。「MC-CP (Model)」は、モデルの適応的な分散を活用することで最もタイトな区間を提供し、「MC-CP Sensor-Anchored」は、より保守的で測定値に基づいた代替案を提供した。

意義と主張
本論文は、原理的な確率的集約と不確実性校正を組み合わせることで、完全に教師なしの設定においても信頼性の高いマルチセンサ回帰が可能であると主張している。その意義は、個々のコンポーネント（ベイズ推論、ニューラルネットワーク、またはコンフォーマル予測）の導入にあるのではなく、教師なしセンサ融合特有の結合された課題を解決するために、それらを原理的に統合した点にある。このフレームワークは以下を可能にする：

1. ラベルなしでのセンサバイアスと信頼性の推定。
2. 潜在状態の非識別性の解決。
3. 有限標本での被覆保証を伴う、不確実性を考慮した予測の生成。

著者らは、特に顕著なセンサ間のバイアスが存在するレジームにおいて、精度の高い不確実性を考慮したセンサ融合は教師なしでも実現可能であり、同時に均質な環境においても競争力を維持できると結論付けている。今後の課題として、依存関係を考慮した校正や多変量ターゲットへの拡張が示唆されている。