Explainable Load Forecasting with Covariate-Informed Time Series Foundation Models

"Explainable Load Forecasting with Covariate-Informd Time Series Foundation Models" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

배경: 정확한 부하 예측은 현대 전력망에서 수급 균형을 맞추는 데 필수적입니다. 딥러닝 모델 (특히 시계열 기반 모델 또는 TSFM) 은 제로샷 (zero-shot) 및 퓨샷 (few-shot) 설정에서 우수한 성능을 보였으나, 이들은 "블랙박스"로 작동합니다.
과제: 전력망과 같은 중요 인프라 응용 분야는 EU AI 법과 같은 규제 체계 하에서 특히 투명성과 신뢰가 요구됩니다. SHAP(Shapley Additive Explanations) 와 같은 표준 사후 설명 가능성 방법은 이론적으로 타당하지만, TSFM 에 적용할 경우 계산 비용이 너무 많이 들어 실용적이지 않습니다.
구체적인 병목 현상: 정확한 SHAP 값을 계산하려면 모든 가능한 특징 부분집합 (coalitions) 에 대해 모델을 평가해야 하므로 ($2^n$). 긴 입력 구간과 여러 공변량을 가진 시계열의 경우, 누락된 특징을 처리하기 위해 배경 데이터셋에서 샘플링을 수행해야 하는데, 이는 비용이 많이 들고 분산을 유발합니다. 또한, 표준 TSFM 은 종종 불투명하게 취급되어 기후나 달력 등 도메인 관련 공변량을 올바르게 활용하는지 여부가 불분명합니다.

2. 방법론

저자들은 TSFM 의 아키텍처 유연성을 활용하여 공변량 기반 TSFM 에 대한 정확한 SHAP 값을 계산하는 효율적인 알고리즘을 제안합니다.

핵심 혁신: 배경 샘플링 없는 마스킹

배경 특징을 배경 데이터셋에서 샘플링하는 기존 SHAP 구현과 달리, 이 접근법은 TSFM(특히 Chronos-2 및 TabPFN-TS) 이 임의의 입력 컨텍스트 길이와 누락된 공변량을 네이티브로 처리할 수 있다는 사실을 활용합니다.

• 특징 그룹화: 지수적 복잡도 ($2^n$) 를 줄이기 위해 특징을 $N$개의 부분집합으로 그룹화합니다 ($N \ll n$):
  • 시간적 그룹: 과거 부하 시계열을 네 개의 패치로 나눕니다: 마지막 날, 단기 (1 주), 중기 (4 주), 장기 (>4 주).
  • 공변량 그룹: 각 공변량 (휴일, 온도, 일사량) 은 자체 그룹을 형성합니다.
• 마스킹 전략:
  • 시간적 마스킹:
    • Chronos-2: 초기 마스킹을 위해 컨텍스트 길이를 줄이고, 중간 마스킹을 위해 값을 NaN 으로 설정합니다 (내부적으로 누락된 것으로 처리됨).
    • TabPFN-TS: 타겟 변수에서 NaN 을 처리할 수 없으므로 해당 행을 완전히 제거합니다.
  • 공변량 마스킹: 입력에서 특정 공변량을 완전히 제거합니다.
  • 기본 예측: 모든 데이터가 마스킹되었을 때, 모델은 이전 48 주 (Chronos-2) 또는 1 년 (TabPFN-TS) 의 평균 부하를 예측합니다.
• 계산: SHAP 값은 이러한 $2^N$개의 연합에 대한 예측을 비교하여 계산됩니다. 이는 배경 샘플링의 필요성을 제거하고 정확한 계산을 가능하게 합니다.

평가된 모델

1. Chronos-2: 다양한 시계열로 사전 훈련된 Transformer 기반 TSFM 으로, 공변량 처리를 위해 확장되었습니다.
2. TabPFN-TS: 컨텍스트 학습 (기반 그라디언트 미세 조정 없음) 을 사용하여 시계열에 적응된 표 기반 기반 모델입니다.

3. 주요 기여

1. 성능 벤치마킹: 특정 송전 시스템 운영자 (TSO) 데이터에서 처음부터 훈련된 최첨단 Transformer 에 대한 Chronos-2 와 TabPFN-TS 의 포괄적인 비교.
2. 효율적인 SHAP 알고리즘: 시간적 및 공변량 마스킹을 사용하여 배경 샘플링의 계산 비용을 우회하는 TSFM 내에서 모델-중립적인 (model-agnostic) 정확한 SHAP 값 계산 방법.
3. 설명 가능성의 실증적 검증: 공변량 기반 TSFM 이 물리적 도메인 지식과 일관된 방식으로 외부 특징 (기후, 달력) 을 활용함을 입증하여 운영상의 신뢰성을 검증함.

4. 실험 결과

데이터셋 및 설정

• 데이터: 2015 년 1 월부터 2025 년 9 월까지 TransnetBW(독일, 바덴뷔르템베르크) 의 시간별 전기 부하 데이터.
• 공변량: 온도, 일사량 (ERA5 재분석 자료), 휴일 지표.
• 작업: 하루ahead 부하 예측 (24 시간 구간).
• 베이스라인: 간단한 계절성 베이스라인과 1 년 및 8.75 년 데이터로 처음부터 훈련된 Transformer.

예측 정확도

• 제로샷 성능: 두 TSFM 모두 1 년 데이터로 훈련된 Transformer 보다 우수한 성능을 보였습니다.
  • TabPFN-TS는 1 년 훈련 Transformer 대비 MAE 를 23.5% 감소시켰습니다.
  • Chronos-2는 MAE 를 26.8% 감소시켰습니다.
• 전체 훈련 데이터: 8.75 년 데이터로 훈련된 Transformer 이 가장 낮은 오차 (MAE: 150.2 MW) 를 기록하여 제로샷 TSFM(Chronos-2: 156.2 MW; TabPFN-TS: 163.2 MW) 을 약간 능가했습니다.
• 공변량의 영향: 공변량을 통합하면 TSFM 성능이 크게 향상되었습니다:
  • Chronos-2 MAE 는 27.0% 개선되었습니다.
  • TabPFN-TS MAE 는 31.5% 개선되었습니다.
• 컨텍스트 길이: Chronos-2 는 모든 컨텍스트 길이에 걸쳐 TabPFN-TS 보다 우수했습니다. TabPFN-TS 는 베이스라인을 능가하기 위해 최소 2 주의 컨텍스트가 필요했던 반면, Chronos-2 는 1 주만 필요했습니다.

런타임 효율성

• 훈련: TSFM 은 사전 훈련되어 훈련 시간이 0인 반면, Transformer 는 약 19 분의 훈련 시간이 소요되었습니다.
• 추론: Chronos-2 는 빠릅니다 (66 ms/예측). TabPFN-TS 는 더 느립니다 (5.5 초/예측).
• 설명: 전체 SHAP 설명 생성은 Chronos-2 의 경우 약 5 초, TabPFN-TS 의 경우 약 367 초가 소요됩니다 (느린 추론 시간에 연합 수를 곱한 결과).

설명 가능성 분석

• 전체적 중요도:
  • 과거 부하가 지배적인 특징입니다 (~87-89% 중요도).
  • 공변량 중 휴일이 가장 중요하며, 이어 온도, 일사량 순입니다.
  • Chronos-2 와 TabPFN-TS 는 공변량 중요도 순위에서 일치했습니다.
• 지역적/종속성 분석:
  • 휴일: 모델들은 휴일에 부하 예측을 올바르게 감소시키고 다음 근무일에 증가시켰습니다. TabPFN-TS 는 일요일/월요일에 휴일 플래그에 더 크게 의존한 반면, Chronos-2 는 과거 부하에서 주간 패턴을 추론했습니다.
  • 온도: 모델들은 온도 상승 (전날 대비) 이 부하를 감소시킨다는 것 (난방 수요 감소) 을 올바르게 식별했고, 그 반대도 마찬가지였습니다.
  • 일사량: 모델들은 일사량 감소에 반응하여 부하 예측을 증가시켰습니다 (계측기 뒤 PV 발전 감소 반영).
• 신뢰성에 대한 결론: SHAP 설명은 확립된 도메인 지식과 완벽하게 일치하여, 모델들이 단순히 노이즈에 적합하는 것이 아니라 물리적 관계를 학습하고 있음을 확인시켜 주었습니다.

5. 의의 및 향후 작업

• 운영 타당성: 이 연구는 TSFM 이 정확할 뿐만 아니라 투명함을 증명합니다. 광범위한 재훈련이나 데이터 수집 없이도 전력망 운영자를 위한 신뢰할 수 있는 도구로 활용될 수 있습니다.
• 규제 준수: 정확하고 이론적으로 근거 있는 설명을 제공할 수 있는 능력은 "블랙박스" 장벽을 해소하여 중요 인프라의 AI 규제 준수를 용이하게 합니다.
• 확장성: 제안된 마스킹 전략은 가변 입력 컨텍스트를 수용하는 모든 TSFM 을 설명하기 위한 일반화 가능한 접근법입니다.
• 향후 방향:
  • 프레임워크를 확률적 예측 및 불확실성 정량화로 확장.
  • 다른 에너지 작업 (가격 예측, 재생 에너지 발전) 에 방법 적용.
  • 미세 조정이 특징 귀속 패턴에 미치는 영향 조사.

요약하자면, 이 논문은 기반 모델의 높은 성능과 에너지 부문의 엄격한 투명성 요구 사항 사이의 간극을 메우며, Chronos-2와 TabPFN-TS가 운영 부하 예측을 위한 실현 가능하고 설명 가능하며 효율적인 해결책임을 입증합니다.