Ensemble Score Filtering for Real-Data Energy Consumption Forecast Correction

기술 요약: 실측 에너지 소비 예측 보정을 위한 앙상블 스코어 필터링

문제 정의
정확한 에너지 소비 예측은 전력 시스템 운영, 계획 및 수요 측 관리에 필수적입니다. 그러나 실제 세계의 에너지 데이터는 종종 부분적, 노이즈가 포함된, 지연되거나 불완전한 측정을 겪습니다. 현대의 머신러닝 모델, 특히 심층 시공간 예측 모델은 복잡한 시간적 및 공간적 의존성을 포착할 수 있지만, "개루프(open-loop)" 설정에서 장기 예측에 사용될 때 상당한 한계에 직면합니다. 보정 관측 데이터가 없으면 학습된 모델의 오차가 시간에 따라 누적되어 신뢰할 수 없는 상태 추정을 초래합니다. 본 연구가 다루는 핵심 문제는 고차원 비선형 환경에서 전통적인 필터링 방법이 어려움을 겪을 수 있는 상황에서, 사전 훈련된 블랙박스 예측 모델의 예측 궤적을 순차적, 부분적, 노이즈가 포함된 관측치를 사용하여 효과적으로 보정하는 방법입니다.

방법론
본 논문은 사전 훈련된 시공간 대규모 언어 모델 (STLLM) 과 데이터 동화를 위한 **앙상블 스코어 필터 (EnSF)**를 결합한 프레임워크를 제안합니다.

1. 전진 전파기 (STLLM):

   • 본 연구는 에너지 소비를 위해 설계된 사전 훈련된 STLLM 을 활용합니다. 이 모델은 RMSNorm, 회전 위치 임베딩 (RoPE), SwiGLU 피드포워드 네트워크와 같은 구성 요소를 활용하여 시간적 및 공간적 의존성 모델링을 분리하는 인수화된 주의 (factored attention) 구조를 사용합니다.
   • 동화 프레임워크에서 이 모델은 고정된 블랙박스 상태 전파기 ($f_\theta$) 로 작용합니다. 필터링 과정에서 재훈련되지 않으며, 대신 과거 입력을 기반으로 사전 예측 궤적을 생성합니다.

2. 앙상블 스코어 필터 (EnSF) 를 통한 데이터 동화:

   • EnSF 는 관측치를 동화하여 예측 궤적을 보정하는 데 사용됩니다. 앙상블 칼만 필터와 같은 가우스 가정에 의존하거나 스코어 함수를 근사하기 위해 신경망 훈련이 필요한 표준 확산 기반 필터와 달리, EnSF 는 훈련이 필요 없는 (training-free) 접근 방식을 활용합니다.
   • 스코어 근사: 이 방법은 필터링 분포의 로그 밀도 기울기인 스코어 함수를 폐형식 표현과 몬테카를로 추정을 사용하여 근사합니다. 스코어 네트워크를 재훈련하는 계산 비용을 피하기 위해 상태 샘플의 앙상블을 활용하여 경험적 가중치를 계산합니다.
   • 확산 과정: 필터는 역시간 확산 과정 내에서 작동합니다. 의사시간 $\tau=1$ 에서 표준 가우스 분포로 시작하여 $\tau=0$ 에서 목표 사후 분포로 진화합니다.
   • 업데이트 메커니즘: STLLM 을 통해 전파된 앙상블에서 유도된 사전 스코어는 새로운 관측치의 가능도 기울기를 통합하여 업데이트됩니다. 감쇠 함수 $g(\tau) = 1-\tau$ 는 관측 정보의 통합을 제어하여 목표 분포 ($\tau=0$) 에서는 완전히 통합되도록 하고 가우스 기준 ($\tau=1$) 에서는 사라지도록 합니다.
   • 비선형성 처리: 이 프레임워크는 가능도 기울기 항 내에서 관측 연산자의 야코비안을 계산함으로써 비선형 관측 연산자 (예: 아크탄젠트 매핑) 를 명시적으로 처리하여 비가우스 설정에서의 보정을 가능하게 합니다.

주요 기여

• 실제 에너지 데이터에 대한 EnSF 적용: 본 논문은 복잡한 사전 훈련된 STLLM 을 전진 동역학 모델로 취급하여 고차원 (5,000 명의 사용자) 실제 세계 에너지 소비 데이터셋에 앙상블 스코어 필터를 적용하는 것을 시연합니다.
• 훈련이 필요 없는 스코어 근사: 본 연구는 순차적 데이터 동화 과정에서 스코어 네트워크의 반복적 재훈련이 필요 없게 하는 EnSF 내의 폐형식, 몬테카를로 기반 스코어 근사의 유효성을 강조합니다.
• 모델 결함에 대한 강건성: 연구는 기본 전진 모델이 "불충분하게 훈련된" (데이터의 25% 만으로 훈련) 경우나 모델이 완전히 훈련되었지만 개루프 오차 누적으로 고통받는 경우에도 프레임워크가 상태 추정을 개선함을 보여줍니다.
• EnKF 와의 비교: 본 논문은 혼합 관측 설정 (직접 관측과 비선형 아크탄젠트 관측의 결합) 에서 EnSF 와 앙상블 칼만 필터 (EnKF) 를 직접 비교합니다.

실험 결과
플로리다주 탈라해시 (Tallahassee) 의 5,000 명의 유틸리티 사용자로부터 수집된 시간별 에너지 소비 데이터에 대한 수치 실험이 수행되었습니다.

• 개루프 실패: 실험은 사전 훈련된 STLLM 이 1 단계 또는 단기 직접 예측에서는 합리적인 정확도를 달성하지만, 시간이 지남에 따라 개루프 예측이 크게 저하됨을 확인했습니다 (예: 12-to-1 모델의 경우 800 스텝 동안 RMSE 가 급격히 증가).
• EnSF 보정: 부분 관측 (25%, 50%, 100%) 을 사용하여 EnSF 를 적용한 결과, 개루프 전파에 비해 Root Mean Squared Error (RMSE) 가 크게 감소했습니다. 이 보정은 불충분하게 훈련된 모델과 완전히 훈련된 4-to-1 모델 모두에서 효과적이었으며, 실제 소비 궤적의 주요 진동 구조를 복원했습니다.
• EnSF 대 EnKF: 비선형 (아크탄젠트) 관측 연산자가 포함된 까다로운 설정에서 EnSF 는 EnKF 보다 우수한 성능을 발휘했습니다. EnKF 는 개루프 예측을 개선했지만, 과도하게 매끄럽거나 이동된 궤적을 생성하고 더 높은 RMSE 를 유지했습니다. EnSF 는 가우스 근사에 의존하지 않고 비가우스 필터링 분포를 처리할 수 있는 능력 덕분에 더 강력한 보정과 더 나은 궤적 복원을 제공했습니다.

의의 및 주장
본 논문은 제안된 프레임워크가 고차원 비선형 환경에서 학습된 에너지 소비 예측을 보정하기 위한 실용적이고 효과적인 해결책을 제공한다고 주장합니다. 예측 모델을 고정된 블랙박스로 취급하고 EnSF 를 순차적 보정에 사용함으로써, 이 방법은 강력하지만 불완전한 학습된 동역학과 실제 세계 관측 데이터 간의 격차를 메웁니다.

저자들은 그 의의가 다음을 입증하는 데 있음을 강조합니다:

1. 순차적 보정 없이는 학습된 예측 모델만으로는 신뢰할 수 있는 장기 상태 추적이 불가능합니다.
2. EnSF 는 비선형 관측 설정에서 표준 가우스 기반 필터 (EnKF) 보다 우수한 성능을 보이는 고차원 데이터 동화를 위한 계산적으로 실현 가능하고 훈련이 필요 없는 메커니즘을 제공합니다.
3. 이 접근 방식은 기본 예측 모델이 전체 또는 부분 데이터셋으로 훈련되었는지 여부에 관계없이 상태 추정을 개선하는 강건성을 가집니다.

본 논문은 이 프레임워크가 전력 시스템 계획 및 수요 측 관리 개선을 위한 실현 가능한 방향을 제시하며, 향후 연구로는 외생 변수 (예: 온도) 를 통합하고 추가 실제 세계 데이터셋에서 이 접근 방식을 검증할 것을 제안합니다.