Stabilizing distribution-free probabilistic forecasts

기술 요약: 분포 무관 확률적 예측의 안정화

문제 제기
다단계ahead 확률적 예측은 새로운 관측치가 이용 가능해짐에 따라 빈번히 업데이트되며, 이 과정은 일반적으로 예측 지평이 짧아짐에 따라 예측 품질을 향상시킵니다. 그러나 이러한 업데이트는 "예측 불안정성"(또는 예측 churn, 불일치, 또는 급변성이라고도 함) 을 초래하는데, 이는 서로 다른 시점에 생성된 동일한 목표 기간에 대한 예측치 간의 변동성으로 정의됩니다. 이러한 불안정성은 재고 관리, 재생 에너지 스케줄링과 같은 운영 계획에 비용이 많이 드는 수정을 유발하고 예측 시스템에 대한 신뢰를 훼손할 수 있습니다. 이전 연구는 점 예측이나 가우시안 확률적 예측 (분포 매개변수가 폐형식 불안정성 지표를 허용하는 경우) 의 안정성을 다루어 왔으나, 분포 무관 확률적 예측을 위한 방법론에는 공백이 존재합니다. 비모수적 설정에서는 분포적 비유사성에 대한 폐형식 표현이 존재하지 않아, 제한적인 분포 가정을 부과하지 않고는 전역 신경 예측 모델의 최적화에 안정성을 직접 통합하기 어렵습니다.

방법론
저자들은 StableSQF를 제안하는데, 이는 분포 무관 확률적 시계열 모델의 학습에 예측 안정성을 직접 통합하는 방법입니다. 이 접근법은 두 가지 주요 구성 요소로 이루어집니다:

1. 스플라인 양분수 함수 (SQF) 예측기:

   • 고정된 양분수나 모수적 분포를 예측하는 대신, 모델은 여러 예측 지평에 대한 전체 조건부 양분수 함수 $F^{-1}(\alpha)$를 동시에 학습합니다 (직접 다중 지평 전략).
   • 양분수 함수는 선형 등각 회귀 스플라인을 사용하여 모델링됩니다. 스플라인 매개변수 (절편과 기울기) 는 N-BEATS 와 유사한 이중 잔차 적층 아키텍처에 기반한 심층 신경망의 출력입니다.
   • 이 표현은 양분수 함수가 단조 증가하도록 보장하여 (양분수 교차 방지) 사전 정의된 분포 가정 없이 임의의 연속 출력 분포를 생성할 수 있게 합니다.
   • 학습은 평균 스케일링 연속 순위 확률 점수 (CRPS) 를 최소화합니다.

2. StableSQF 최적화:

   • 안정성을 유도하기 위해 저자들은 인접한 시점 (예: $t$와 $t-1$) 에서 생성된 동일한 목표 기간에 대한 예측치 간의 $p$-Wasserstein 거리($W_p$) 를 기반으로 한 패널티 항을 손실 함수에 추가합니다.
   • 모델이 샘플링된 분포가 아닌 명시적인 함수 형태 (스플라인) 를 출력하므로, Wasserstein 거리는 양분수 함수의 이산화를 통해 직접 계산할 수 있습니다.
   • 복합 손실 함수는 다음과 같습니다:
     $$\mathcal{L} = (1-\lambda) \cdot \text{품질} + \lambda \cdot \text{불안정성}$$
     여기서 $\lambda \in [0, 1]$은 트레이드오프를 조절합니다.
   • 표적 안정화: 이 방법은 양분수 가중 Wasserstein 거리를 지원합니다. 가중 함수 $v(\alpha)$를 적분에 적용함으로써 패널티를 분포의 특정 부분 (예: 재고 안전 재고를 위한 꼬리 또는 집계 계획을 위한 중심) 에 집중시킬 수 있어, 하류 의사결정에 가장 중요한 부분에서 안정성을 우선시할 수 있습니다.

주요 기여

• 분포 무관 안정성: 이 논문은 가우시안 가정이나 데이터 변환 없이 분포 무관 확률적 예측에서 안정성을 직접 최적화하는 최초의 방법을 소개합니다.
• 연합 최적화: 안정성이 사후 처리에만 의존하는 것이 아니라, 복합 손실 함수를 통해 모델 학습 중 명시적 목적 함수로 통합될 수 있음을 입증합니다.
• 유연한 표적화: 스플라인 기반 양분수 함수의 사용은 양분수 가중 패널티를 통해 분포의 특정 영역 (꼬리 대 중심) 을 선택적으로 안정화할 수 있게 합니다.
• 이론적 프레임워크: 이 연구는 "예측 churn" 최소화 개념을 점 예측 및 가우시안 분포에서 일반적인 확률적 설정으로 확장합니다.

실험 결과
이 방법은 서로 다른 통계적 특성을 가진 두 가지 데이터셋에서 평가되었습니다: M4 월간 데이터셋 (부드러운 시계열) 과 M5 품목 데이터셋 (간헐적이고 덩어리진 수요 포함).

• 품질 - 안정성 트레이드오프: 결과는 StableSQF 가 예측 품질 (CRPS 로 측정) 에서의 미미한 손실만으로도 예측 불안정성 (1-Wasserstein 거리로 측정) 을 현저히 줄일 수 있음을 보여줍니다. 예를 들어, CRPS 가 1% 증가할 때 M4 의 경우 불안정성이 약 30%, M5 의 경우 65% 감소했습니다.
• 파레토 효율성: StableSQF 모델은 일반적으로 품질 대 안정성의 파레토 프론티어 위에 또는 그 근처에 위치합니다. 인접한 시점의 예측치 보간과 같은 사후 처리 방법은 극도의 안정성을 달성할 수 있지만, Moderate 안정성 수준에서는 StableSQF 보다 더 큰 품질 손실을 초래하는 경우가 많습니다.
• 표적 안정화: 양분수 가중 패널티를 사용한 실험은 이 방법이 안정화 노력을 효과적으로 지시할 수 있음을 확인했습니다. 꼬리 중심 패널티 ($sW^t_1$) 를 사용하면 꼬리 불안정성이 크게 감소하지만 꼬리 예측 품질이 희생되는 반면, 중심 중심 패널티 ($sW^c_1$) 는 분포 전반에 걸쳐 안정성을 균형 있게 유지했습니다.
• 기선 대비 비교: StableSQF 는 품질 - 안정성 트레이드오프의 효율성 측면에서 표준 기선 (ETS, 계절적 naive, 평균) 및 사후 처리로 안정화된 변형 모델보다 우수한 성능을 발휘했습니다.

의의 및 주장
저자들은 이 작업이 예측 정확도와 안정성 사이의 내재적 트레이드오프에 대한 실용적인 해결책을 제공한다고 주장합니다. 그들은 예측 업데이트가 일반적으로 정확도를 향상시키지만, 그로 인한 불안정성은 운영상 비용이 많이 들고 사용자 신뢰에 해로울 수 있음을 강조합니다. 분포 무관 프레임워크 내에서 안정성을 직접 최적화할 수 있게 함으로써, StableSQF 는 실무자가 다음과 같은 작업을 수행할 수 있게 합니다:

1. 트레이드오프 통제: 계획 수정 비용과 정확도 이득의 구체적인 비용에 기반하여 정확도와 안정성 간의 균형을 명시적으로 조정합니다.
2. 노력 집중: 하류 의사결정과 관련된 예측 분포의 특정 부분 (예: 재고 관리를 위한 상부 양분수 안정화) 에서 안정성을 우선시합니다.
3. 복잡성 감소: 안정성을 모델 아키텍처에 직접 통합함으로써 복잡한 사후 처리 파이프라인의 필요성을 제거합니다.

이 논문은 불안정성을 완전히 제거하려면 사후 처리가 필요할 수 있지만, StableSQF 는 최소한의 품질 저하로 본질적으로 더 안정적인 예측을 생성할 수 있는 유연하고 내장된 메커니즘을 제공하며, 이는 동적 환경에서의 운영 계획에 귀중한 도구가 된다고 결론지었습니다.