기술 요약: 시계열 예측 추정을 위한 Leave-a-Window-Out (LWO)

문제 제기

준수 예측 (conformal prediction) 방법은 데이터의 교환 가능성 (exchangeability) 과 메모리 없는 예측자에 대한 가정 하에 엄밀한 예측 추정 (유효한 예측 구간) 을 제공합니다. 그러나 이러한 가정은 시간적 의존성과 미래 값을 예측하기 위해 과거 관측치를 활용하는 메모리 기반 예측자의 필요성으로 인해 시계열 환경에서 자주 위반됩니다.

최근 연구는 **분할 준수 예측 (split conformal prediction)**이 이러한 위반에 강건함을 보여주었지만, 이는 "분할 비용 (split tax)"으로 고통받습니다. 데이터를 학습 세트와 보정 세트로 분할하면 유효한 표본 크기가 줄어들어 예측 구간이 넓어지고 통계적 효율성이 저하되며, 특히 데이터가 부족한 영역에서 두드러집니다.

반면, leave-one-out (잭나이프) 방법은 전체 데이터 세트를 활용하여 더 높은 통계적 효율성을 제공합니다. 그러나 원본 잭나이프의 이론적 유효성은 교환 가능성에 의존합니다. 본 논문은 시간적 의존성 하에서 원본 잭나이프가 여전히 신뢰할 수 있는지 조사합니다. 이동 평균 (MA) 과정에 대한 수치 실험을 통해 저자들은 원본 잭나이프가 단순한 시계열 모델과 약한 의존성에서도 **임의의 커버리지 손실 (심각한 커버리지 부족)**을 겪을 수 있음을 입증했습니다. 이는 leave-one-out 보정이 비대칭성을 생성하기 때문입니다. 학습 세트 내의 프록시 테스트 포인트는 "양면" 정보 (과거와 미래) 를 갖는 반면, 시퀀스 끝의 실제 테스트 포인트는 "단면" 정보 (과거) 만 가지므로, 이로 인해 보정되지 않은 구간이 발생합니다.

방법론: Leave-a-Window-Out (LWO)

원본 잭나이프의 실패를 해결하면서도 데이터 효율성을 유지하기 위해, 저자들은 Leave-a-Window-Out (LWO) 방법을 제안합니다.

핵심 메커니즘

LWO 방법은 시간적 의존성을 고려하기 위해 표준 잭나이프 보정 절차를 수정합니다:

1. 갭을 둔 학습: 학습 세트의 각 인덱스 $k$에 대해, 예측자 $\hat{f}_k$는 단순히 $k$번째 점을 제거하는 것이 아니라, 인덱스 $k$부터 $\min\{k+\tau, n\}$까지의 윈도우에 해당하는 데이터 포인트들을 제거하여 학습합니다. 여기서 $\tau$는 윈도우 크기를 나타내는 하이퍼파라미터입니다.
2. 점수 계산: 일치도 점수 (conformity score) $s_k$는 나머지 데이터 (전체 윈도우 전부와 윈도우 이후 부분을 포함) 로 학습된 예측자를 사용하여 $k$번째 점에 대해 계산됩니다.
3. 예측 집합: 테스트 포인트 $X_{n+1}$에 대한 최종 예측 집합은 모든 $n$개의 점으로 학습된 예측자를 중심으로 구성되며, 윈도우화된 leave-out 점수의 $(1-\alpha)$-분위수만큼 팽창시킵니다.

이론적 프레임워크

LWO의 유효성은 **순환적 교환 가능성 (cyclic exchangeability)**에 기반한 새로운 이론적 프레임워크를 통해 확립됩니다:

• 순환적 임베딩: 저자들은 의존적인 시계열을 더 길고 순환적으로 교환 가능한 시퀀스에 임베딩하는 개념을 도입합니다. 실제 시계열과 가장 가까운 순환적 교환 가능 시퀀스 사이의 거리를 정량화하기 위해 **순환적 임베딩 계수 (cyclic embedding coefficient, $\rho_\tau$)**를 정의합니다.
• 안정성 가정: 증명들은 외부 표본 (OOS) 안정성 조건에 의존합니다. 구체적으로, 일치도 점수 함수와 학습 알고리즘의 쌍은 학습 데이터의 무작위 블록이 마스킹 (제거) 되었을 때 안정적이어야 합니다. 이는 균일 안정성보다 약하지만 제안된 경계를 위해서는 충분합니다.
• 혼합 조건: 저자들은 순환적 임베딩 계수를 $\beta$-혼합 계수 및 $\beta$-조건부 혼합 계수와 같은 표준 의존성 측정치와 연관시킵니다. 그들은 혼합 과정 (대략적인 마르코프 과정을 포함) 의 경우 윈도우 크기 $\tau$가 유효한 의존성 범위를 초과하면 순환적 임베딩 계수가 작아짐을 보여줍니다.

주요 기여

1. 잭나이프 실패 식별: 본 논문은 약한 의존성 하에서도 학습용 프록시 포인트와 테스트 포인트 간의 비대칭성으로 인해 원본 잭나이프가 시계열 환경에서 유효한 커버리지를 제공하지 못함을 엄밀하게 입증합니다.
2. LWO 제안: 프록시 테스트 포인트에 대한 미래 데이터 윈도우를 제거함으로써 leave-one-out 원칙을 수정한 새로운 방법인 LWO를 소개합니다. 이는 보정 점수의 정보 구조를 테스트 포인트와 일치하도록 복원합니다.
3. 이론적 보장:
   • 정리 1 및 2: LWO에 대한 유한 표본 커버리지 경계를 유도했습니다. 이러한 경계는 순환적 임베딩 계수와 OOS 안정성 매개변수에 의존합니다.
   • 연역 정리: 경계를 혼합 과정에 맞게 특화했습니다 (대략적인 마르코프 과정에 대한 Corollary 1, 일반 혼합 과정에 대한 Corollary 2). 이는 윈도우 크기 $\tau$가 혼합 시간과 관련하여 적절하게 선택되면 유효한 커버리지를 달성할 수 있음을 보여줍니다.
4. 새로운 계수: 본 논문은 순환적 임베딩 계수를 도입하고, 순환적 맥락에서 교환 가능성에서의 이탈을 측정하기 위해 **스위치 계수 (switch coefficients, Barber and Pananjady, 2026 에서 적응됨)**를 활용합니다.

실험 결과

저자들은 합성 데이터와 실제 데이터 세트 모두에서 LWO를 분할 준수 예측 (Split CP) 과 원본 잭나이프 (JK) 와 비교 평가했습니다:

• 합성 데이터 (MA(1) 과정): 다차원 이동 평균 과정에서 원본 잭나이프는 심각하게 커버리지가 부족했습니다 (90% 목표에 대해 종종 70% 미만의 커버리지로 하락), 특히 고차원에서 두드러졌습니다. Split CP 는 명목상 커버리지를 유지하지만 예측 구간이 훨씬 더 넓게 생성됩니다. LWO 는 Split CP 와 비교 가능한 명목 수준에 가까운 커버리지를 달성하면서도 실질적으로 더 좁은 (더 효율적인) 예측 영역을 생성합니다.
• 실제 데이터 (교통 및 태양 에너지): 실제 세계 시계열 벤치마크에서 LWO 는 다양한 기본 예측자 (Ridge, KNN, MLP, 결정 트리, 커널 회귀) 에 걸쳐 일관되게 명목에 가까운 커버리지를 유지했습니다. 반면, 원본 잭나이프는 특정 예측자 - 데이터 조합 (예: 태양 에너지 데이터의 KNN) 에서 커버리지를 제공하지 못했습니다. LWO 는 Split CP 의 효율성 손실을 피하면서도 원본 잭나이프의 커버리지 부족을 방지합니다.

중요성 및 주장

본 논문은 LWO 가 시계열 예측 추정에서 유효성과 효율성 사이의 절충안에 대한 원칙적인 해결책을 제공한다고 주장합니다.

• 유효성: 원본 잭나이프와 달리, LWO 는 자연스러운 의존성 가정 (혼합) 과 안정성 조건 하에서 증명 가능한 근사적 커버리지 보장을 제공합니다.
• 효율성: 분할 준수 예측과 달리, LWO 는 학습에 전체 데이터 세트를 활용하여 더 좁은 예측 구간을 생성합니다.
• 개념적 진전: 이 연구는 데이터를 순환적으로 교환 가능한 시퀀스에 임베딩함으로써 의존성 데이터를 분석하는 새로운 관점을 제시하며, 시계열 의존성을 준수 유효성과 연결하는 분포적 도구 (순환적 임베딩 계수) 를 제공합니다.

저자들은 열린 문제에 대해 겸손한 입장을 유지하며, 그들의 보장이 OOS 안정성 가정에 의존한다고 지적합니다 (릿지 회귀와 KNN 과 같은 많은 표준 알고리즘은 이를 만족하지만 모든 알고리즘이 그런 것은 아님). 또한 이론은 $\tau$가 의존성 범위를 초과해야 함을 시사하지만, 유효한 커버리지 보장을 갖춘 $\tau$를 선택하는 완전히 데이터 주도적인 방법은 여전히 열린 문제임을 인정합니다.