ProtoTS: Learning Hierarchical Prototypes for Explainable Time Series Forecasting

이 논문은 정확도와 투명성을 동시에 달성하기 위해 노이즈 제거된 표현을 기반으로 계층적 프로토타입을 학습하여 시계열 예측의 의사결정 과정을 설명 가능한 방식으로 제공하는 'ProtoTS' 프레임워크를 제안합니다.

핵심

이 논문은 **'ProtoTS(프로토 TS)'**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 미래의 시간 흐름에 따른 데이터 (예: 전력 사용량, 주가, 날씨 등) 를 예측하는 일을 하는데, 기존 모델들이 가진 두 가지 큰 단점을 해결했습니다.

쉽게 말해, **"정확한 예측을 하면서도, 왜 그런 예측을 했는지 인간이 쉽게 이해할 수 있게 해주는 모델"**입니다.

이 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 기존 모델의 문제점: "신비로운 점술가"

기존의 최신 AI 모델들은 예측 정확도는 매우 높지만, "어떻게 그 결론에 도달했는지"를 설명해 주지 못합니다. 마치 점술가처럼 "내 말 믿어, 내일은 비가 올 거야"라고만 할 뿐, "왜 비가 오는지, 어떤 구름이 어떻게 모였는지"는 설명하지 못합니다.

• 문제 1 (전체 흐름을 모름): "오후 1 시, 3 시, 5 시에 피크가 생겼다"라고 시간 단위별로만 설명할 뿐, "왜 하루 종일 이렇게 3 번이나 피크가 생기고 점점 줄어들었는지" 같은 큰 그림을 설명하지 못합니다.
• 문제 2 (원인 파악 실패): "날씨가 더워서 전력 사용이 늘었다"는 건 알지만, "추석 연휴에 더위가 겹쳐서 가족들이 모여 에어컨을 켜서 그런 거야"처럼 여러 요인이 섞인 복잡한 상황을 설명하지 못합니다.

2. ProtoTS 의 해결책: "유능한 지도자"와 "패턴의 도서관"

ProtoTS 는 예측을 할 때 **'프로토타입 (Prototypes)'**이라는 개념을 사용합니다. 이를 **'유용한 패턴의 도서관'**이나 **'경험 많은 지도자'**에 비유할 수 있습니다.

📚 비유: "패턴의 도서관"

ProtoTS 는 과거의 데이터를 학습하면서 **'전형적인 상황들 (프로토타입)'**을 도서관에 정리해 둡니다.

• 예시: "여름철 폭염 패턴", "추석 연휴 패턴", "평일 출근길 패턴", "주말 휴일 패턴" 등.
• 이 도서관에는 **대략적인 큰 그림 (루트 프로토타입)**과 **세부적인 디테일 (자식 프로토타입)**이 계층적으로 정리되어 있습니다.

🔍 작동 원리: "비슷한 사례 찾기"

미래를 예측할 때, ProtoTS 는 지금의 상황을 이 '패턴 도서관'과 비교합니다.

"오늘은 날씨가 덥고 (온도), 금요일이고 (요일), 그리고 공휴일이야 (휴일). 이 상황은 도서관에 있는 **'여름 공휴일 패턴'**과 가장 비슷하네!"

그리고 이 패턴을 바탕으로 미래를 예측합니다. 이렇게 하면 사용자는 **"아, 이 모델이 '여름 공휴일 패턴'을 보고 예측했구나!"**라고 쉽게 이해할 수 있습니다.

3. 두 가지 핵심 기술 (창의적인 비유)

🏗️ 1. 계층적 학습 (Hierarchical Learning) = "나무의 뿌리와 가지"

• 뿌리 (Root): 큰 흐름을 잡습니다. 예를 들어 "여름이다", "겨울이다", "명절이다" 같은 큰 카테고리입니다. 전문가들은 이 단계만 봐도 전체적인 추세를 파악할 수 있습니다.
• 가지 (Child): 세부적인 차이를 잡습니다. 예를 들어 "추석"이라는 큰 명절 패턴을 더 세분화해서 "추석 당일"과 "추석 전후"로 나눕니다.
• 장점: 전문가가 "여름 패턴은 맞는데, '추석 당일' 부분만 좀 더 자세히 봐야겠다"라고 **지시 (Steering)**할 수 있습니다. 마치 나무를 다듬듯이 모델을 수정할 수 있는 것입니다.

🎛️ 2. 멀티채널 유사도 계산 = "다양한 조미료를 섞는 요리사"

전력 사용량 예측에는 '날씨 (온도)', '요일', '휴일' 등 다양한 정보가 섞여 있습니다.

• 기존 모델들은 이 정보들을 한 번에 섞어서 처리하다 보니 중요한 정보가 묻히거나 소음이 생겼습니다.
• ProtoTS 는 요리사처럼 각 재료를 따로 다듬습니다. (온도는 따로, 요일은 따로).
• 그다음, 이 재료들을 최적의 비율로 섞어서 (Bottleneck Fusion) 최종 요리를 완성합니다. 이렇게 하면 "여름에 더운 날"과 "추석"이 겹쳤을 때, 두 가지 요인이 어떻게 상호작용하여 전력 사용량을 급증시켰는지 정확히 파악할 수 있습니다.

4. 실제 성과: "예측도 잘하고, 설명도 잘하는 모델"

이 논문에서는 실제 전력 사용량 데이터 (LOF) 와 전기 가격 데이터 (EPF) 로 실험을 했습니다.

• 정확도: 기존 최고의 모델들보다 예측 오차를 약 48% 까지 줄였습니다. (더 정확하게 맞췄습니다.)
• 이해 가능성: 전문가들이 모델을 보고 "아, 이 부분은 명절 패턴 때문이구나"라고 쉽게 이해할 수 있었습니다.
• 수정 가능성 (Steerability): 가장 놀라운 점은 전문가가 직접 모델을 고칠 수 있었다는 것입니다.
  • 사례: "추석 패턴"이 너무 단순하게 잡혀서 예측이 틀리는 경우가 있었습니다. 전문가가 "추석 패턴을 '전날'과 '당일'로 나누어줘"라고 지시하자, 모델이 스스로 그 부분을 세분화했고, 그 결과 예측 오차가 더 줄어듭니다.

5. 결론: "블랙박스에서 화이트박스로"

기존의 AI 는 **"왜 그렇게 했는지 알려주지 않는 신비로운 점술가"**였다면, ProtoTS 는 **"이유를 설명해 주고, 전문가의 지시를 받아 스스로 고쳐주는 유능한 조수"**입니다.

• 정확한 예측: 미래를 잘 맞춥니다.
• 투명한 설명: 왜 그렇게 예측했는지 '패턴'으로 보여줍니다.
• 전문가 참여: 전문가가 모델의 '패턴 도서관'을 직접 정리하고 다듬을 수 있습니다.

이 기술은 전력 관리, 금융, 의료 등 실수하면 큰 손실이 발생하는 중요한 분야에서 AI 를 더 신뢰하고 활용할 수 있게 해줄 것입니다.

기술 요약

1. 문제 정의 (Problem)

시간 series 예측 (Time Series Forecasting) 은 전력 수요 예측, 에너지 관리, 기상 예보 등 고위험 (high-stakes) 분야에서 널리 사용되지만, 심층 학습 모델의 '블랙박스' 성질로 인해 의사 결정 과정을 이해하고 신뢰를 구축하는 것이 어렵습니다. 기존 해석 가능한 (Interpretable) 모델들은 다음과 같은 한계가 있습니다:

• 출력 측면 (C1): 개별 시간 단계의 예측만 설명할 뿐, 예측 곡선 전체의 전체적인 추이 (Overall Temporal Patterns) 나 피크 발생 이유 등을 설명하지 못합니다.
• 입력 측면 (C2): 내생 변수 (Endogenous) 만을 고려하거나 특정 변수 유형에만 집중하여, 다양한 외생 변수 (Exogenous, 예: 기온, 휴일 등) 간의 복잡한 상호작용이 예측 패턴에 미치는 영향을 설명하지 못합니다.

이러한 한계를 극복하고 높은 예측 정확도와 투명한 의사 결정 과정을 동시에 달성하기 위해 ProtoTS가 제안되었습니다.

2. 방법론 (Methodology)

ProtoTS 는 계층적 프로토타입 (Hierarchical Prototypes) 을 학습하여 예측을 수행하는 프레임워크입니다. 주요 구성 요소는 다음과 같습니다.

가. 다채널 프로토타입 유사도 계산 (Multi-channel Prototype Similarity Computing)

이질적인 (Heterogeneous) 입력 변수들을 효과적으로 처리하고 프로토타입과의 관계를 모델링합니다.

1. 다채널 임베딩 (Multi-channel Embedding):
   • 내생 변수: MLP 를 통한 비선형 투사로 직접 인코딩.
   • 외생 변수: 이산형 (Discrete, 예: 휴일 여부) 과 연속형 (Continuous, 예: 기온) 변수로 분류하여 각각 전용 임베딩 테이블과 비선형 투사를 적용. 이를 통해 각 변수 유형의 특성을 보존합니다.
2. 병목 채널 융합 (Bottleneck Channel Fusion):
   • 모든 변수의 임베딩을 합산한 후, MLP-Mixer 아키텍처 내의 병목 레이어 (Bottleneck Layer) 를 통과시켜 노이즈를 필터링하고 가장 예측력 있는 성분만 유지합니다. 이는 과적합을 방지하고 효율성을 높입니다.
3. 프로토타입 유사도 계산:
   • 학습된 임베딩과 프로토타입 간의 유사도 (유클리드 거리 기반) 를 계산하여 가중치를 산출합니다.

나. 계층적 프로토타입 학습 (Hierarchical Prototype Learning)

예측 성능과 해석 가능성 사이의 균형을 맞추기 위해 트리 구조의 계층적 프로토타입을 도입합니다.

• 루트 레벨 (Root Level): 소수의 거친 (Coarse) 프로토타입을 학습하여 데이터셋 전체의 전체적인 패턴 (예: 계절적 추세, 휴일 효과) 을 포착합니다. 이는 전문가가 모델의 전반적인 논리를 직관적으로 이해할 수 있게 합니다.
• 자식 레벨 (Child Level): 각 루트 프로토타입을 더 세분화하여 세밀한 (Fine-grained) 국소적 변동을 학습합니다.
  • 분할 전략 (Splitting Rule): 현재 프로토타입이 특정 인스턴스를 잘 설명하지 못하거나 (높은 손실), 특정 하위 패턴을 더 잘 구분할 수 있을 때, 해당 프로토타입을 자식 노드로 분할합니다.
• 예측 생성: 최종 예측은 모든 프로토타입 (루트 및 자식) 의 시간적 패턴 (Temporal Pattern) 을 유사도 가중치로 합산하여 생성됩니다.

3. 주요 기여 (Key Contributions)

1. 전체적 및 국소적 해석 가능성: 개별 시간점뿐만 아니라 예측 곡선 전체의 패턴 (예: "왜 점심, 오후, 밤에 피크가 발생하는가?") 을 설명할 수 있는 글로벌 프로토타입을 제공합니다.
2. 다양한 변수 상호작용 모델링: 내생 및 외생 변수 (이산/연속) 를 통합하여 처리함으로써, 복잡한 환경 요인이 예측 패턴에 미치는 영향을 명확히 보여줍니다.
3. 전문가 주도형 모델 조정 (Expert-Steerability): 학습된 프로토타입의 계층 구조를 통해 전문가가 특정 패턴을 식별하고, 필요시 프로토타입을 분할하거나 시간적 패턴을 수정하여 모델 성능을 직접 개선할 수 있는 기능을 제공합니다.
4. 성능 및 효율성: 기존 SOTA 모델 대비 높은 정확도를 달성하면서도, 학습 데이터가 부족할 때에도 성능 저하가 적은 높은 데이터 효율성을 보입니다.

4. 실험 결과 (Results)

• 데이터셋: 새로운 LOF (Load Forecasting) 데이터셋 (22 개의 외생 변수 포함) 과 EPF (Electricity Price Forecasting) 데이터셋, 그리고 다변량 시계열 벤치마크 (ETTh1/2, Weather 등) 에서 평가되었습니다.
• 정확도:
  • LOF 데이터셋: 기존 SOTA 모델 대비 MSE 48.3%, MAE 20.9% 개선.
  • EPF 데이터셋: 5 개 시장 모두에서 최상위 성능 달성 (MSE 8%, MAE 8% 개선).
  • 다변량 예측: ETTh1/2 등 표준 벤치마크에서도 대부분의 모델보다 우수한 성능을 기록했습니다.
• 해석 가능성 평가 (User Study):
  • 사용자 정밀도 (User Precision): 사용자가 설명을 바탕으로 입력 변수 (계절, 휴일 등) 를 정확히 추론하는 비율이 ProtoTS 는 77% 로, TFT(64%) 와 N-BEATSx(62%) 보다 높았습니다.
  • 시스템 사용성 (SUS Score): 73.36 점으로 기존 모델들보다 훨씬 높은 사용성을 보였습니다.
• 케이스 스터디: 전력 수요 예측에서 '춘절 (Spring Festival)' 프로토타입을 전문가가 분할하여 '일반 춘절'과 '특수 춘절' 패턴으로 세분화한 결과, 해당 기간의 예측 오차 (MSE) 가 0.009 감소했습니다.

5. 의의 및 결론 (Significance)

ProtoTS 는 높은 예측 정확도와 심층적인 해석 가능성을 동시에 달성한 최초의 프레임워크 중 하나로 평가됩니다.

• 신뢰 구축: 블랙박스 모델의 불투명성을 해소하여 고위험 의사 결정 환경 (전력 그리드, 금융 등) 에서 전문가의 신뢰를 얻을 수 있습니다.
• 상호작용성: 단순히 모델을 설명하는 것을 넘어, 전문가가 모델의 프로토타입을 직접 수정 (Steering) 하여 성능을 개선할 수 있는 상호작용적 도구 역할을 합니다.
• 실용성: 다양한 외생 변수를 효과적으로 처리하여 실제 복잡한 시나리오에 적용 가능한 강력한 솔루션을 제시합니다.

이 연구는 시간 series 예측 분야에서 해석 가능성 (Interpretability) 을 단순한 부가 기능이 아닌, 모델 설계의 핵심 요소로 통합하는 새로운 패러다임을 제시합니다.