Horizon Activation Mapping for Neural Networks in Time Series Forecasting

제목: 시계열 예측을 위한 신경망의 호라이즌 활성화 매핑

문제 제기
시계열 예측을 위한 신경망 모델은 특히 장기 예측 (long-horizon tasks) 작업에서 상당한 성능 개선을 이루었습니다. 그러나 특정 계층 유형이나 모델 계열에 구애받지 않는 모델 선택 및 해석 가능성에 대한 통합된 프레임워크는 부재합니다. Grad-CAM 과 같은 기존 해석 가능성 방법들은 컴퓨터 비전을 위해 설계되었으며 공간적 주의 맵 (spatial attention maps) 에 의존하므로, 다변량 예측의 시공간적 특성에 직접적으로 적용되지 않습니다. furthermore, MLP 기반, 자기 주의 (self-attention), SSM 기반, 확산 (diffusion) 등 다양한 모델 계열이 존재함에도 불구하고, 서로 다른 아키텍처 간의 내부 학습 역학과 그라디언트 활동을 비교할 수 있는 대규모 감독 데이터셋이나 분석적 프레임워크는 없습니다. 현재의 모델 선택은 종종 MSE, MAE 와 같은 오차 지표에 의존하는데, 이는 서로 다른 계열 간에 유사할 수 있어 근본적인 최적화 지형 (optimization landscapes) 과 학습 전략을 가립니다.

방법론: 호라이즌 활성화 매핑 (HAM)
저자들은 Grad-CAM 에서 영감을 받았으나 시계열 예측에 맞게 조정된 시각적 해석 가능성 기법인 **호라이즌 활성화 매핑 (Horizon Activation Mapping, HAM)**을 소개합니다. HAM 은 예측 호라이즌 내의 서브시리즈에 걸쳐 그라디언트 업데이트 크기를 분석하여 모델 특성을 식별합니다.

• 인과적 및 반인과적 모드: 크기 $H$인 호라이즌에 대해, HAM 은 역전파 전에 손실 함수에 적용되는 두 가지 마스킹 모드를 사용하여 그라디언트 노름 평균을 계산합니다.
  • 인과적 모드 ($c$): 시간 단계 0 에서 $h$까지의 서브시리즈를 포함합니다.
  • 반인과적 모드 ($a$): 시간 단계 $h$에서 $H$까지의 서브시리즈를 포함합니다.
• 그라디언트 노름 평균: 이 프레임워크는 이러한 마스킹된 서브시리즈에 대해 모델 파라미터 $\theta$에 대한 평균 그라디언트 노름을 계산합니다.
• 시각화:
  • HAM 플롯: 그라디언트 노름 평균을 시간 단계에 대해 표시하며, 그라디언트 노름의 균일 분포를 나타내는 '비례선 (line of proportionality)'과 비교합니다.
  • 차이 플롯: 호라이즌 전반에 걸친 학습의 차이를 강조하기 위해 인과적 및 반인과적 그라디언트 평균 간의 차이를 $[-1, 1]$로 스케일링하여 표시합니다.
  • 보간 영역 플롯: 서로 다른 호라이즌 크기를 가진 모델을 비교하기 위해 모델당 최대 영역을 $[0, 1]$ 범위로 정규화합니다.
• 주요 지표: 이 프레임워크는 처음 $h$개 시간 단계의 그라디언트 노름 평균이 나머지 $H-h$개 시간 단계의 평균과 같아지는 **그라디언트 공변점 (Gradient Equivariant Point)**을 식별합니다. 또한 곡선과 비례선 사이의 부호付き 영역을 계산하여 변동을 증폭시킵니다.

실험 설정
본 연구는 NVIDIA A40 GPU 를 사용하여 ETTm2 데이터셋 (60-20-20 훈련 - 검증 - 테스트 분할) 으로 훈련된 다양한 모델 계열에 걸쳐 HAM 을 평가합니다. 포함된 모델은 다음과 같습니다.

• MLP 기반: CycleNet, N-Linear, N-HITS.
• 자기 주의 (Self-Attention): FEDformer, Pyraformer.
• 상태 공간 모델 (SSM): SpaceTime.
• 확산 (Diffusion): Multi-Resolution DDPM.

실험은 다양한 호라이즌 크기 ($H = \{96, 192, 336, 720\}$) 를 다루며 다음 사항들의 영향을 조사합니다.

• 드롭아웃 비율.
• 배치 크기.
• 조기 종료 (종료 후 에포크 수).
• 데이터셋 분할 (훈련 대 검증 대 테스트).
• 단변량 대 다변량 예측.
• 아키텍처 하이퍼파라미터 (예: 사이클 큐 길이, 정규화 전략).

주요 결과 및 관찰

1. 드롭아웃 효과: 다변량 모델 (특히 N-HITS) 에서 드롭아웃 (0.2) 을 추가하면 호라이즌의 더 긴 영역에서 특히 전체 그라디언트 크기가 3 배 이상 증가했습니다.
2. 배치 크기 역학:
   • 그라디언트 크기와 오차 지표는 배치 크기와 복잡한 관계를 보여주었습니다.
   • 수렴된 모델 (N-HITS, N-Linear, CycleNet) 에서 배치 크기에 따라 보간된 그라디언트 노름 평균은 다항식 포화 경향을 보였으며, 이는 에포크당 배치 크기 간 잠재적 지수 근사를 시사합니다.
   • CycleNet 은 배치 크기에 따라 미세한 성능 차이를 보였는데, 작은 배치 크기 (50) 에서는 반인과적 활동이 증가하고 큰 배치 크기 (100) 에서는 인과적 활동이 감소했습니다.
3. 조기 종료: 일찍 종료된 모델은 특히 인과적 모드에서 그라디언트 크기가 감소했습니다. 조기 종료된 모델의 그라디언트 공변점은 $H/2$에 더 가까워졌는데, 이는 모델이 지역 최소점에 도달한 후 호라이즌의 더 긴 영역에서의 활동이 성능을 향상시키지 못했음을 시사합니다.
4. 데이터셋 분할: 훈련 데이터는 곡선을 비례선에 더 가깝게 밀어붙였습니다. N-HITS 의 검증 세트는 CycleNet 보다 더 뚜렷하게 '분포 외 (out-of-distribution)' 측면을 보여주었습니다.
5. 단변량 대 다변량: 다변량 예측은 더 큰 공간적 학습 어려움을 제시했습니다. 다변량 서브시리즈에서 초기 시간 단계를 제거하면 반인과적 곡선이 비례선 아래로 밀려났는데, 이는 단변량 사례에서는 관찰되지 않는 현상입니다.
6. 아키텍처 특성:
   • N-Linear: 정규화 (마지막 시간 단계 값 빼기) 는 오차를 16% 감소시켰으며 그라디언트 크기를 변경하여 호라이즌의 처음 23% 에서는 인과적으로 감소시키고 그 이후에는 증가시켰습니다.
   • CycleNet: 사이클 큐 길이는 값의 순서에 영향을 미쳤습니다. 가장 작은 사이클 길이 (64) 는 최고의 성능에 해당했으며 서브시리즈 길이 간에 더 큰 크기의 상호작용을 보여주었습니다.
   • SpaceTime: 지수적 자기회귀 활동을 나타냈습니다. 인과적 모드는 $H=96$에서 선형에서 $H=\{192, 336, 720\}$에서 지수적 경향으로 전환되어 호라이즌의 더 긴 영역을 강조했습니다.
   • N-HITS: 그 행동은 신경 근사 정리와 일치했으며, 무한 호라이즌 가정을 지지하는 반인과적 증가를 보였습니다.
   • 확산 (Multi-Resolution DDPM): 비례 기대치에 비해 더 작은 서브시리즈에 대해 특징적으로 더 큰 그라디언트 노름을 보여주어 확산 기반 예측의 특성을 시사했습니다.

의의 및 주장
본 논문은 HAM 이 다음과 같은 세분화된, 모델에 구애받지 않는 프레임워크를 제공한다고 주장합니다.

• 모델 선택: 단순한 오차 지표를 넘어 서로 다른 신경망 계열 (MLP, Attention, SSM, Diffusion) 간의 학습 전략과 최적화 지형을 비교합니다.
• 검증 세트 선택: HAM 플롯의 상대적 변동성을 사용하여 적절한 검증 세트를 선택합니다.
• 아키텍처 통찰: N-HITS 의 신경 근사 정리와 SpaceTime 의 지수적 자기회귀성과 같은 이론적 속성에 HAM 플롯의 특정 경향을 귀속시킵니다.
• 일반화 가능성: 이 프레임워크는 모델에 사용된 계층 유형에 관계없이 적용 가능하며, 이전 방법들이 특정 아키텍처에 국한되었던 한계를 해결합니다.

저자들은 HAM 이 전체 노름 평균을 사용하지만, 계층별 플롯을 통해 더 짧고 긴 서브시리즈에 대한 학습 역학을 더 명확히 할 수 있다고 지적합니다. 본 연구는 HAM 이 시계열 예측의 '최적화 지형'을 이해하는 도구로서, 해석 가능한 아키텍처 변경과 계열 간 비교를 가능하게 한다고 결론 내립니다.