Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

기술 요약: 신경 결합 집합 모델 (Neural Conjugate Aggregation, NCAM)

문제 정의
본 논문은 비지도 다중 센서 회귀(unsupervised multi-sensor regression) 문제를 다룹니다. 이는 센서 네트워크, 시뮬레이션 앙상블, 과학적 모니터링 등에서 흔히 발생하는 시나리오로, 여러 개의 노이즈가 섞이고 편향된 측정값(measurement sources)은 존재하지만, 학습 과정에서 타겟 변수에 대한 정답(ground-truth) 레이블은 없는 상황을 의미합니다. 이러한 환경에서 센서들은 종종 이질적인 편향(곱셈 및 덧셈 편향), 다양한 노이즈 수준, 그리고 시간적 드리프트(temporal drift)를 보입니다. 고전적인 융합 방법들은 센서의 특성을 미리 알고 있거나 레이블이 있는 데이터를 필요로 하기 때문에 이러한 상황에서 대개 실패합니다. 또한, 비지도 설정에서의 잠재 변수 융합 모델은 구조적 비식별성(structural non-identifiability) 문제에 직면하며, 이는 여러 가지 파라미터 설정이 동일한 관측값을 동일하게 잘 설명할 수 있어 복원된 잠재 상태(latent state)가 모호해지는 현상을 말합니다. 기존 방식들은 이러한 문제 중 일부(예: 지도 학습 기반 보정, 휴리스틱 집합, 또는 레이블을 이용한 불확실성 정량화)만을 해결할 뿐, 비지도 학습 환경에서 보정, 신뢰도 추정, 식별성, 그리고 불확실성 정량화를 동시에 수행하는 통합된 프레임워크가 부족합니다.

방법론: 신경 결합 집합 모델 (NCAM)
저자들은 신경망과 결합 가우시안 추론(conjugate Gaussian inference)을 통합하여 비지도 다중 소스 융합을 수행하는 계층적 베이지안 프레임워크인 NCAM을 제안합니다.

1. 생성 모델 (Generative Model):

   • 잠재 사전 분포 (Latent Prior): 잠재 타겟 변수 $\Theta_i$는 컨텍스트 공변량(contextual covariates) $X_i$에 의해 조건화된 신경망의 출력인 평균과 분산을 갖는 가우시안 사전 분포 $p(\Theta_i | X_i)$로 모델링됩니다.
   • 측정 모델 (Measurement Model): 각 센서 $j$는 $b_{ij} = a_j(X_i)\Theta_i + c_j(X_i) + \epsilon_{ij}$로 모델링된 노이즈가 포함된 관측값 $b_{ij}$를 제공합니다. 여기서 신경망은 센서별 곱셈 편향($a_j$), 덧셈 편향($c_j$), 그리고 소스 의존적 노이즈 분산($\sigma^2_j$)을 매개변수화합니다.
   • 사후 집합 (Posterior Aggregation): 결합 가우시안 구조 덕분에, 모든 센서 측정값에 대한 잠재 타겟 $\Theta_i$의 사후 분포는 해석적으로 계산 가능(analytically tractable)합니다. 사후 평균은 모든 센서의 신뢰도 가중치가 적용되고 편향이 보정된 융합 결과로 기능하며, 여기서 가중치는 학습된 정밀도(precision, $a_j^2 / \sigma_j^2$)에 의해 결정됩니다.

2. 비식별성 해결 (센서 앵커링, Sensor Anchoring):

   • 측정 모델은 잠재 변수의 아핀 변환(affine transformations)에 대해 불변하므로 비식별성이 발생합니다. 이를 해결하기 위해 NCAM은 센서 앵커링 전략을 사용합니다. 즉, 하나의 참조 센서를 곱셈 편향 $a_{j^*} \equiv 1$ 및 덧셈 편향 $c_{j^*} \equiv 0$으로 고정합니다. 이는 대칭성을 깨뜨려 잠재 상태를 앵커(anchor)에 대해 식별 가능하게 만들며, 로그 가능도(likelihood)의 개선이 실제 예측 정확도의 향상과 직결되도록 보장합니다.

3. 학습 목적 함수 (Training Objective):

   • 정답을 알 수 없으므로, 모델은 관측된 센서 측정값의 **주변 가능도(marginal likelihood)**를 최대화함으로써 학습됩니다.
   • 분산 팽창(노이즈 분산이 가능도에 영향을 주지 않으면서 임의로 커지는 현상)을 방지하기 위해, 손실 함수에 사전 및 센서 분산을 억제하는 명시적인 분산 정규화(variance regularization) 항을 추가합니다.

4. 불확실성 정량화 (Uncertainty Quantification):

   • 베이지안 불확실성: 모델은 자연스럽게 인식론적 불확실성(epistemic uncertainty, 사후 분산을 통해)과 알레아토리 불확실성(aleatoric uncertainty, 잔차 노이즈를 통해)을 제공합니다.
   • 정답 없는 보정 (Ground-Truth-Free Calibration): 정답 레이블 없이 유한 표본 커버리지 보장을 제공하기 위해, 저자들은 **국소 적응형 몬테카를로 컨포멀 예측(Locally Adaptive Monte Carlo Conformal Prediction, MC-CP)**을 통합합니다. 이 절차는 사후 예측 분포로부터 합성 실현값(synthetic realizations)을 생성하여 적합도 점수(conformity scores)를 계산하고, 이로써 이분산성(heteroscedastic) 예측 구간을 생성합니다.
   • 센서 앵커 기반 보정: 보완적인 메커니즘으로서, 융합된 예측값이 편향이 보정된 센서 관측값과 얼마나 일치하는지를 직접 평가하여 모델의 오설정(misspecification)에 대한 외부 검증을 수행합니다.

주요 기여

• 정식화: 본 논문은 비지도 다중 센서 회귀를 이질적인 편향, 신뢰도 추정, 식별성, 그리고 불확실성 정량화를 공동으로 처리하는 확률적 잠재 상태 추론 문제로 정식화합니다.
• NCAM 프레임워크: 폐쇄형(closed-form) 결합 사후 분포 집합을 허용하면서 센서 편향과 신뢰도를 학습하는 계층적 베이지안 모델을 도입합니다.
• 식별성 해결책: 잠재 상태를 식별 가능하게 하여 해석 가능하고 식별 가능한 잠재 상태 추정치를 얻을 수 있도록 하는 원칙적인 센서 앵커링 전략을 제시합니다.
• 보정: 레이블이 있는 타겟 관측 없이도 국소 적응형 예측 구간을 생성하는 정답 없는 몬테카를로 컨포멀 보정 절차를 개발합니다.
• 실증적 검증: 합성 데이터 및 실제 대기 질 데이터셋에 대해 NCAM이 기존의 비지도 베이스라인(평균 집합, 확률적 PCA, 칼만 필터, VELI)보다 개선된 예측 정확도와 잘 보정된 불확실성을 보여줌을 입증합니다.

실험 결과
저자들은 세 가지 데이터셋—합성 "Toy" 데이터셋, SensEURCity(세 도시의 시공간적 PM2.5), 그리고 CAIRSENSE(동일 위치의 PM2.5 센서들)—를 통해 NCAM을 평가했습니다.

• 예측 정확도: NCAM은 모든 데이터셋에서 최고 또는 최상위권의 성능을 달いました. 이질적인 편향이 존재하는 합성 데이터셋에서 NCAM은 차순위 비지도 베이스라인인 VELI 대비 RMSE를 약 50% 감소시켰으며, 칼만 필터와 같은 고전적 방법 대비 100% 이상의 성능 향상을 보였습니다. 실제 데이터셋에서도 센서 편향이 유의미한 경우(SensEURCity) 상당한 이득을 보였으며, 센서들이 거의 균질한 경우(CAIRSENSE)에도 경쟁력 있는 성능을 보였습니다.
• 식별성 및 편향: 절제 연구(ablation studies)를 통해 센서 앵커링이 없을 경우 모델이 비식별성 문제를 겪으며(로그 가능도는 개선되지만 예측 정확도는 저하됨) 발생함을 확인했습니다. 명시적 편향 모델링을 제거하면 이질적인 환경에서 성능이 급격히 하락했으나, 상관관계가 높고 편향이 낮은 환경에서는 영향이 미미하거나 약간 긍정적인 효과를 보였습니다.
• 불확실성 보정: 제안된 MC-CP 방법은 정답 없이도 유효한 예측 구간을 제공했습니다. "MC-CP (Model)"는 모델의 적응형 분산을 활용하여 가장 좁은 구간을 생성했으며, "MC-CP Sensor-Anchored"는 측정값에 근거한 더 보수적인 대안을 제공했습니다.

의의 및 주장
본 논문은 원칙적인 확률적 집합과 불확실성 보정을 결합함으로써 완전한 비지도 환경에서도 신뢰할 수 있는 다중 센서 회귀가 가능하다고 주장합니다. 이 연구의 의의는 개별 구성 요소(베이지안 추론, 신경망, 컨포멀 예측)를 도입하는 데 있는 것이 아니라, 고유하고 결합된 과제들을 해결하기 위해 이들을 원칙적으로 통합했다는 데 있습니다. 이 프레임워크는 다음을 가능하게 합니다:

1. 레이블 없이 센서 편향 및 신뢰도 추정.
2. 잠재 상태의 구조적 비식별성 해결.
3. 유한 표본 커버리지 보장을 갖춘 불확실성 인지 예측 생성.

저자들은 특히 상당한 센서 간 편향이 존재하는 환경에서는 비지도 학습을 통한 정확하고 불확실성을 고려한 센서 융합이 가능하며, 균질한 환경에서도 경쟁력을 유지한다고 결론지었습니다. 향후 연구로는 의존성 인지 보정(dependence-aware calibration) 및 다변량 타겟으로의 확장이 제안되었습니다.