Trust-Aware Predictive Emissions Monitoring for Gas Turbine Fleets with Limited Labelled Data

기술 요약: 가스 터빈 플릿을 위한 신뢰 인지형 예측 배출 모니터링

문제 정의
예측 배출 모니터링 시스템(PEMS)은 가스 터빈에 대한 데이터 기반의 대안으로서 직접 배출 측정(CEMS)을 제공한다. 그러나 산업용 플릿 전체에 PEMS를 배포하는 데에는 중대한 과제가 존재한다: 배출 라벨(실측값)은 일반적으로 소수의 자산, 종종 단 하나의 터빈에 대해서만 가용하며, 나머지 대다수의 플릿은 라벨 없이 운영된다. 표준 머신러닝 접근 방식은 라벨이 있는 테스트 세트에서 성능을 평가하지만, 서로 다른 조건에서 작동하는 라벨 없는 터빈에 적용될 때 개별 예측의 신뢰성을 평가하는 데는 실패한다. 결과적으로, 모델은 라벨이 있는 터빈에서는 높은 정확도를 달행할 수 있으나, 분포 변화(distributional shifts)로 인해 라벨 없는 유닛에서 신뢰할 수 없는 예측을 생성할 수 있으며, 이를 알릴 수 있는 메커니즘도 없다.

방법론
저자들은 라벨이 없는 터빈의 NOx 예측에 대해 보정된(calibrated) 샘플별 신뢰 점수를 생성하도록 설계된 신뢰 인지형 확률적 프레임워크를 제안한다. 이 접근 방식은 멀티 헤드 순환 신경망(multi-head recurrent neural network)과 일련의 신뢰성 진단 도구를 통합한다.

1. 예측 모델:

   • 핵심 아키텍처는 멀티 헤드 확률적 LSTM이다. 이는 입력 시퀀스(64 타임 스텝)를 처리하여 다음 단계의 NOx 배출량을 예측한다.
   • 플릿의 이질성을 처리하기 위해, 학습 가능한 터빈 특화 임베딩(turbine-specific embedding)이 잠재 LSTM 표현(latent LSTM representation)과 결합된다.
   • 모델은 다음과 같은 멀티 태스크 학습 전략을 채택한다:
     • 배출 헤드(Emissions Head): 대상 NOx의 평균과 분산을 예측한다.
     • 특징 헤드(Feature Head): 다음 타임 스텝의 보조 입력 특징들의 평균과 분산을 예측한다. 이 보조 작업은 배출 라벨이 없는 경우에도 모델이 일반적인 시스템 역학을 학습하도록 장려한다.
     • 신뢰 헤드(Confidence Heads): 배출 및 특징 예측 모두에 대해 스칼라 신뢰 값($c \in [0, 1]$)을 예측하는 별도의 헤드를 갖는다. 이들은 절대 예측 오차로부터 유도된 소프트 타겟($c^* = \exp(-e/\tau)$)을 사용하여 학습되며, 오차가 낮을 때만 네트워크가 높은 신뢰도를 출력하도록 유도한다.

2. 불확실성 정량화:

   • 독립적으로 초기화된 $M$개의 모델 앙상블을 학습시킨다.
   • **알레아토리 불확실성(Aleatoric uncertainty, 데이터 노이즈)**은 개별 모델 분산의 평균으로 추정한다.
   • **에피스테믹 불확실성(Epistemic uncertainty, 모델 불확실성)**은 앙상블 평균 예측의 분산으로 추정한다.
   • 총 불확실성은 이 두 구성 요소의 합이다.

3. 신뢰 점수 보정:

   • 네 가지 신뢰성 신호가 각 샘플에 대해 추출된다: 훈련 분포로부터의 마할라노비스 거리($D^2$), 예측 불확실성($\sigma$), 에피스테믹 불확실성, 그리고 학습된 신뢰도.
   • XGBoost 회귀 모델이 라벨링된 검증 세트에서 학습되어, 이 신호들을 관측된 절대 예측 오차에 매핑한다.
   • 출력되는 연속적인 **신뢰 점수(Trust Score, 0–100)**는 낮은 예측 오차가 발생할 가능성을 반영하도록 보정된다.
   • 진단 설명(Diagnostic Explanations): 라벨링된 훈련 범위를 벗어나 작동하는 특징을 감지하기 위한 범위 분석이 포함된다. 이러한 신호들은 인간의 해석을 돕기 위해 텍스트 설명(예: "중간 수준의 모델 불일치", "낮은 배출 신뢰도")으로 통합된다.

4. 학습 절차:

   • 단계 1 (라벨 없는 사전 학습): 모델은 특징 예측 및 특징 신뢰도 목적 함수만을 사용하여 대규모의 라벨 없는 데이터셋에서 학습되어 일반적인 역학을 학습한다.
   • 단계 2 (라벨링된 학습): 모델은 전체 손실 함수를 사용하여 단일 라벨링된 터빈에 대해 미세 조정(fine-tuning)되며, 배출 예측, 특징 예측, 신뢰도 보정을 동시에 최적화한다.

주요 기여

• 신뢰 인지형 프레임워크: 집계된 정확도 지표를 넘어, 그라운드 트루스(ground truth)를 사용할 수 없는 플릿 수준의 배포를 위해 해석 가능한 샘플별 신뢰성 평가를 제공하는 새로운 시스템을 제시한다.
• 다중 신호 신뢰성 평가: 단일 신호(예: 거리 또는 신뢰도 단독)만으로는 충분하지 않음을 입증한다. 본 프레임워크는 학습된 신뢰도, 에피스테믹/알레아토리 불확실성, 특징 공간 거리, 그리고 작동 범위 진단을 결합하여 견고한 신뢰 지표를 형성한다.
• 신뢰도 보정: 학습된 신뢰도가 예측 오차와 의미 있게 상관되어 있음을 검증하였으며, 이를 통해 신뢰도 기반 필터링이 고신뢰도 하위 집합의 정확도를 크게 향상시킬 수 있음을 보여준다.
• 진단 보고: 신뢰 점수에 대한 신호 기반의 간결한 텍스트 설명을 생성하여, 운영자가 왜 특정 예측이 낮은 신뢰도로 분류되었는지 이해할 수 있도록 한다.

결과

• 예측 성능: 라벨링된 터빈에서 확률적 LSTM은 0.202의 평균 절대 오차(MAE)를 달성하였으며, 이는 XGBoost 베이스라인(0.313)과 비교하여 우수하다.
• 불확실성 거동: 모델은 라벨 없는 데이터 및 분포 외(OOD) 샘플에 대해 적절하게 예측 불확실성을 높였다. 정규화된 평균 예측 구간 폭(NMPIW)은 1.01(라벨링된 ID 데이터)에서 10.75(라벨 없는 OOD 데이터)로 증가했다.
• 신뢰도-오차 상관관계: 신뢰도와 절대 오차 사이에 강한 역관계가 관찰되었다 (스피어먼 상관계수: -0.494).
• 필터링 효능: 신뢰도 기반 필터링은 매우 효과적이었다. 상위 10%의 최고 신뢰도 예측으로 평가 범위를 제한함으로써, MAE는 전체 커버리지 시의 0.202에서 0.070으로 감소했다.
• 신뢰 점수 검증: 라벨링된 데이터에서 낮은 신뢰 수준은 더 높은 예측 오차와 일치했다. 라벨 없는 데이터에서도 낮은 신뢰 점수는 낮은 신뢰도, 증가된 불확실성, 높은 특징 예측 오차, 그리고 훈련 작동 범위로부터의 더 빈번한 이탈과 연관되어 있었다.

의의 및 주장
본 논문은 정확한 점 추정(point estimate)만으로는 산업용 플릿 배포에 불충분하며, **신뢰성(trustworthiness)**은 다중 신호 문제로 다루어져야 한다고 주장한다. 제안된 프레임워크는 라벨 없는 터빈에 대한 예측이 언제 신뢰할 수 있고, 언제 주의를 기울여야 하는지를 식별하는 메커니즘을 제공한다. 제한된 라벨 데이터를 통해 신뢰 점수를 보정함으로써, 본 시스템은 직접적인 배출 모니터링이 불가능하거나 비용이 많이 드는 자산에 대한 PEMS의 투명한 배포를 지원한다. 저자들은 본 프레임워크가 모델 불가지론적(model-agnostic)이지만, 현재의 평가는 특정 확률적 LSTM 백본에 국-한되어 있으며, 일반화 능력을 추가로 검증하기 위해서는 추가적인 라벨링된 터빈에 대한 검증이 필요함을 강조한다.