Interpretable Kolmogorov-Arnold Network with Feature-Isolated Temporal Attention Mechanism for Electricity Load Forecasting

기술 요약: 전력 부하 예측을 위한 특징 격리형 시간적 주의 집중 메커니즘을 갖춘 해석 가능한 콜모고로프-아르노 네트워크(Kolmogorov-Arnold Network)

문제 정의
정확한 전력 부하 예측은 전력 시스템의 안정성, 효율성 및 경제적 생존성에 필수적입니다. 딥러닝 모델(예: Transformer, LSTM)은 높은 예측 정확도를 달alog 성취했지만, 일반적으로 예측 결과의 구체적인 동인을 이해하는 데 필요한 해석 가능성이 결여된 "블랙박스" 형태로 작동합니다. 이러한 불투명성은 시스템 운영자가 복잡한 외생적 요인, 특히 인간의 이동 패턴이 전력 소비에 어떻게 영향을 미치는지 파악하는 것을 방해합니다. 또한, 신흥 기술인 콜모고로프-아르노 네트워크(KAN)를 시계열 예측에 직접 적용할 경우, 특정 구조적 적응 없이는 학습 불안정성과 복잡한 시간적 의존성을 효과적으로 모델링하지 못하는 문제에 직면합니다. 단순히 다층 퍼셉트론(MLP) 레이어를 KAN 모듈로 교체하는 기존의 하이브리드 접근 방식은 개별 입력 특징의 고유한 역학을 보존하지 못하기 때문에 KAN 고유의 해석 가능성을 충분히 활용하지 못하는 경우가 많습니다.

방법론: LoadKAN 프레임워크
이러한 격차를 해소하기 위해 저자들은 전력 부하 예측을 위해 설계된 새롭고 해석 가능한 하이브리드 프레임워크인 LoadKAN을 제안합니다. 이 아키텍처는 두 가지 시너지 단계로 구성됩니다:

1. 특징 격리형 시간적 주의 집중 메커니즘 (Feature-Isolated Temporal Attention Mechanism):

   • 목적: 교차 특징 간의 상호작용이 발생하기 전에 각 입력 특징 시퀀스(예: 과거 부하, 날씨, 6가지 서로 다른 인간 이동 지표)를 독립적으로 처리합니다.
   • 메커니즘: 입력 배치는 1D 컨볼루션을 통해 전치(transpose)되고 고차원 임베딩 공간으로 투영됩니다. 결정적으로, 모델은 특징별 멀티 헤드 셀프 어텐션(MHSA) 메커니즘을 채택합니다. 모든 특징을 잠재 임베딩으로 얽어버리는 표준 아키텍처와 달리, 이 단계는 각 특징의 시간적 이력을 독립적인 시퀀스로 취급합니다.
   • 집계: 각 특징의 시간적 정보는 마지막 타임 스텝의 출력을 선택하고, 이어서 특징 격리형 1D 컨볼루션과 하이퍼볼릭 탄젠트($\tanh$) 활성화 함수를 거쳐 집계됩니다. 이를 통해 각 특징에 대한 정제된 시간적 인지 스칼라 표현을 생성하며, 이를 통해 "소매 및 레크리에이션" 또는 "주거"와 같은 변수의 고유한 시간적 역학이 다른 특징으로부터의 신호 지배나 노이즈 전파 없이 보존되도록 보장합니다.

2. 해석 가능한 KAN 모듈:

   • 목적: 구조적 투명성을 유지하면서 처리된 특징 표현을 미래 부하 예측으로 매핑합니다.
   • 메커니즘: 이 KAN 레이어는 에지에 학습 가능한 B-스플라인(B-spline) 활성화 함수를 사용하여 구축되었습니다. 콜모고로프-아르노 표현 정리에 기반하여, 모델은 다변수 함수를 일변수 함수들의 합으로 근사합니다: $\hat{y} = \sum f_m(r_m) + \beta$.
   • 해석 가능성: KAN 레이어의 입력이 격리된 특징 표현으로 구성되기 때문에, 학습된 스플라인 함수는 특정 실제 세계의 특징(예: 공원으로의 이동성)과 전력 부하 사이의 비선형 관계를 명시적으로 모델링합니다. 이는 SHAP이나 LIME와 같은 사후 설명 도구에 의존하지 않고도 기능적 관계(예: 포화 지점, 임계값 효과)를 직접 시각화할 수 있게 해줍니다.

주요 기여

• 아키텍처 혁신: 본 논문은 특징 격리형 시간적 주의 집중 메커니즘과 KAN 모듈을 독특하게 통합한 LoadKAN을 소개합니다. 이 설계는 시계열 예측에서 의미 있는 해석 가능성을 위한 전제 조건인 특징 역학의 얽힘을 방지합니다.
• 경험적 검증: 프레임워크는 미국의 세 가지 대표적인 전력 시장(NYISO, CAISO, ERCOT) 데이터셋을 통해 평가되었습니다. 연구 결과, LoadKAN은 광범위하게 튜닝된 최첨단 블랙박스 벤치마크(Informer, TCN, Transformer 포함)에 대해 경쟁력 있는 성능을 보여주었으며, 종종 최상위 결과(예: ERCOT에서 최고 성능)를 확보했습니다.
• 이동성 특징에 대한 절제 실험(Ablation): 연구는 인간 이동 데이터의 영향을 정량화하며, 이러한 특징을 통합하는 것이 모든 모델과 시장에서 예측 정확도를 유의미하게 향ставить 향상시킨다는 것을 보여줍니다. 특히 LoadKAN은 이러한 보충 정보를 활용하는 데 강력한 능력을 입증했습니다.
• 세밀한 해석 가능성: 학습된 비선형 관계에 대한 상세 분석을 제공합니다. 이는 NYISO의 대중교통 이용과 CAISO의 상업적 이동성 간의 차이, 그리고 ERCOT과 NYISO에서 나타나는 공원 관련 이동성의 지배적인 민감도와 같이 시장별 의존성을 밝혀냅니다.

결과

• 성능: LoadKAN은 일관되게 최상위권 벤치마크 성능을 기록했습니다. ERCOT 시장에서 이 모델은 최고의 전반적 성능(MAPE: 2.91%, $R^2$: 0.9429)을 달성하여 최고의 베이스라인인 Transformer를 능가했습니다. NYISO와 CAISO에서도 매우 경쟁력 있는 성능을 유지했으며, MAPE 값은 각각 최고의 성능을 보인 모델과 0.17% 및 0.13% 이내의 차이를 보였으나 더 우수한 해석 가능성을 제공했습니다.
• 이동성 영향: 인간 이동 특징의 포함은 모든 모델과 시장에서 MAPE를 평균 약 16.28%, RMSE를 약 16.90% 감소시켰습니다.
• 민감도 분석: 학습된 활성화 함수의 정량적 민감도 분석은 뚜렷한 지역적 행동을 드러냈습니다. 예를 들어, "공원(Parks)" 이동성은 NYISO와 ERCOT에서 가장 높은 민감도를 보였으며, 상업적 특징(직장, 소매)은 CAISO에서 더 높은 민감도를 보였습니다. 또한 분석을 통해 주거지 체류 증가가 특정 시장에서 전력 부하 감소와 상관관계를 갖는 것과 같이, 복잡하고 비선형적이며 때로는 직관에 반하는 관계(에너지 집약적인 상업 활동의 대체 현상 때문으로 추정)를 발견했습니다.

의의 및 주장
본 논문은 LoadKAN이 딥러닝의 예측 능력과 정보에 입각한 의사결정에 필요한 구조적 해석 가능성 사이의 간극을 성공적으로 메운다고 주장합니다. 표준 신경망의 "블랙박스" 특성과 순수 KAN 구조의 시계열 데이터 적용 한계를 피함으로써, LoadKAN은 인간의 이동성과 같은 특정 동인이 전력 수요에 어떻게 영향을 미치는지 이해할 수 있는 투명한 메커니즘을 제공합니다. 저자들은 이 접근 방식이 이해관계자들이 입력 특징과 부하 예측 사이의 비선형 의존성을 시각화하고 정량화할 수 있게 하여, 불투명한 모델에 의해 가려지기 쉬운 통찰력을 제공한다고 강조합니다. 이러한 능력은 변화하는 에너지 환경 속에서 보다 정보에 입각한 시스템 운영을 지원하며, 동적인 외생적 특징이 전력 소비에 미치는 영향을 이해하는 데 있어 핵심적인 조력자로 제시됩니다.