Sequential model confidence sets

기술 요약: 순차적 모델 신뢰 집합 (Sequential Model Confidence Sets)

문제 정의
통계적 예측 및 추정에서 실무자들은 주어진 사용자 지정 손실 함수(loss function)를 바탕으로 후보군($M_0 = \{1, \dots, m\}$) 중에서 최적의 모델 또는 모델들을 선택해야 하는 과제에 직면하곤 한다. Hansen 등(2011)이 제안한 표준적인 접근 방식인 모델 신뢰 집합(Model Confidence Sets, MCS)은 주어진 신뢰 수준 내에서 최적의 모델들을 포함하는 부분 집합으로 후보군을 축소한다. 그러나 고전적인 MCS는 실제 예측 시나리오와 상충되는 두 가지 제한적인 가정을 전제로 한다:

1. 고정된 표본 크기: 이는 사전에 지정된 고정된 평가 기간을 가정한다. 반면, 모델 선택과 예측 평가는 데이터가 시간에 따라 유입되고, 연구의 지속 여부나 중단 결정이 중간 결과에 따라 달라지는 본질적으로 순차적인 작업이다.
2. 정상성(Stationarity): 관측된 손실 차이의 시퀀스가 정상적이라고 가정하지만, 모델이 진화하거나, 오류를 수정하거나, 시간이 흐름에 따라 체계적인 편향에 적응함에 따라 이 가정은 현실에서 위배되는 경우가 많다.

또한, 고전적 MCS는 부트스트랩 근사치와 점근적 중심한계정리(CLolan CLT) 성질에 의존하므로, 점근적 피복(asymptotic coverage) 보장만을 제공하며 높은 계산 비용을 발생시킨다. 따라서 실시간 모니터링이 가능하면서도 시간-균등(time-uniform)하고 비점근적(non-asymptotic)인 피복 보장을 제공하는 방법론이 필요하다.

방법론
저자들은 **e-프로세스(e-processes)**와 **신뢰 시퀀스(confidence sequences)**를 사용하여 MCS 프레임워크를 순차적 환경으로 일반화한 **순차적 모델 신뢰 집합(Sequential Model Confidence Sets, SMCS)**을 제안한다. 이 방법론은 "안전한 언제나 유효한 추론(safe anytime-valid inference)"을 기반으로 하며, 분석이 언제 중단되더라도 유효성을 보장한다.

핵심 접근 방식은 모델 성능에 대한 서로 다른 가설에 대응하는 세 가지 구별된 "우월한(superior)" 모델의 정의를 포함한다:

1. 강하게 우월한 모델 ($M_{s,\star}$): 조건부 기대 손실 차이($\mu_{ij,t} \le 0$) 측면에서 모든 시점(every time point)에서 다른 모든 모델보다 우수한 모델.
2. 균등하게 약하게 우월한 모델 ($M_{uw,\star}$): 모든 시점에 걸쳐 평균적으로 다른 모든 모델보다 우수한 모델 ($\Delta_{ij,t} \le 0$ for all $t$).
3. 약하게 우월한 모델 ($M_{w,\star,t}$): 특정 시점 $t$까지의 평균 손실을 기준으로 다른 모든 모델보다 우수한 모델.

SMCS의 구축:

• 강한 및 균등하게 약한 가설의 경우: 저자들은 조건부 유계(conditionally bounded) 또는 균등 유계(uniformly bounded) 손실 차이라는 가정하에 e-프로세스(특히 Howard et al., 2020 및 Choe and Ramdas, 2023의 방식)를 활용한다. 여러 쌍별 비교(pairwise comparisons)에 대한 가족별 오류율(family-wise error rate)을 제어하기 위해 산술 평균을 e-병합 함수(e-merging function)로 사용하는 **폐쇄 원리(closure principle)**를 채택한다. 해당 e-프로세스가 임계값($1/\alpha$)을 초과하는 모델은 SMCS에서 제외된다.
• 약한 가설의 경우: 구축은 **시간-균등 신뢰 시퀀스(time-uniform confidence sequences)**에 의존한다. 저자들은 평균 손실 차이 벡터에 대한 신뢰 영역을 정의한다. 신뢰 영역이 해당 모델이 우월한 반공간(half-space)과 교차하지 않을 경우 그 모델은 제외된다.
• 유계가 아닌 손실 함수의 처리: (CRPS와 같이 유계가 없는 지지집합을 가진 손실 함수와 같은 경우) 저자들은 조건부 유계 차이로 변환하는 방법을 제안하며, 이를 다시 유계로 스케일링하여 도출된 e-프로세스를 적용할 수 있도록 한다.

주요 기여

1. 순차적 확장: 본 논문은 MCS 개념을 순차적 프레임워크로 확장하여, 고정된 표본 크기를 요구하지 않고도 모델 성능을 지속적으로 모니터링할 수 있게 한다.
2. 시간-균등 보장: 제안된 SMCS는 시간-균등하고 비점근적인 피복 보장을 제공한다. 이는 진정한 우월한 모델들이 모든 시점에 동시에 포함될 확률이 적어도 $1-\alpha$임을 의미하며, 이는 점별 점근적 피복보다 더 강력한 보장이다.
3. 최소한의 가정: 제안된 방법은 최소한의 분포적 가정(sub-Gaussian 또는 sub-exponential 손실 차이)에 의존하며, 계산 비용이 많이 드는 부트스트랩 근사를 필요로 하지 않는다.
4. 우월성 정의의 유연성: 프레임워크는 세 가지 다른 모델 우월성 개념을 수용하여, 연구자가 자신의 응용 맥락(예: 중첩된 정보 집합 vs. 진화하는 모델 성능)에 가장 적합한 가설을 선택할 수 있도록 한다.

결과
저자들은 시뮬레이션 연구와 두 가지 실제 사례 연구를 통해 방법론을 검증하였다:

• 시뮬레이션:
  • 시뮬레이션 1 (강한 가설): 49개의 예측 모델을 대상으로 했을 때, SMCS는 진정한 최적 모델에 대해 100%의 피복률을 달ей하며 보수적이지만 유효한 성능을 입증했다. SMCS의 평균 크기는 시간이 지남에 따라 감소했다.
  • 시뮬레이션 2 (균등하게 약한 가설): 최적의 모델이 매 시점마다 우수한 것이 아니라 평균적으로만 우수했던 시나리오에서, SMCS는 균등하게 약하게 우월한 모델을 정확히 식별해 낸 반면, 강한 가설은 빈 집합(empty set)을 반환했다.
  • 시뮬레이션 3 (약한 가설): 모델의 성능이 변화하는 설정(악화 $\to$ 편향 $\to$ 개선)에서, 약한 가설에 기반한 SMCS는 상대적 성능 변화에 따라 모델을 포함하거나 제외하며 변화하는 우월한 모델을 성공적으로 추적했다.
• 사례 연구 1 (Covid-19 예측): Covid-19 Forecast Hub의 69개 모델에 적용되었다. 강한 가설 하의 SMCS는 앙상블 모델이 지속적으로 우월함을 식별하였고, 특정 역학 모델(예: PSI-draft)을 비교적 조기에 기각하였다. 이는 정책 결정을 위한 순차적 모니터링의 유용성을 보여주며, 고정된 표본 크기를 기다리지 않고도 저조한 성능의 모델을 조기에 배제할 수 있음을 입증했다.
• 사례 연구 2 (풍속 예측): 9가지 풍속 후처리 기법에 적용되었다. 약한 가설 하에서 SMCS는 일부 모델이 초기에는 열등했으나, 기저의 수치 예보 모델(NWP) 업데이트 이후 다시 경쟁력을 갖추게 되었음을 보여주었다. 이러한 동적 동작(모델이 신뢰 집합에 재진입하는 현상)은 고정 표본 방식이나 강한 가설 방식에서는 포착되지 않았을 것이다.

의의 및 주장
본 논문은 순차적 모델 신뢰 집합이 역동적인 환경에서 전통적인 모델 선택에 대한 통계적으로 엄격한 대안을 제공한다고 주장한다.

• 언제나 유효함(Anytime-Validity): 주요 의의는 제1종 오류를 팽창시키지 않고도 "언제든 멈출 수 있다"는 것이며, 이는 역학이나 기상학 분야에서 매우 중요한 기능이다.
• 비정상성 처리: 강한, 균등하게 약한, 약한 우월성을 구분함으로써 모델이 진화할 수 있음을 인정한다. 이는 매 순간 모든 시점에서 지배적일 것을 요구하기보다, 평균적으로 또는 일시적으로 우월한 모델을 탐지할 수 있게 한다.
• 실용적 유용성: 저자들은 자신들의 방법이 긴급 상황(예: 팬데믹)에서의 정기적인 모델 평가라는 일반적인 관행에 대한 이론적 정당성을 제공하며, 선택의 불확실성을 존중하면서 현재의 지식 상태에 기반하여 증거를 순차적으로 수집하고 결정을 내릴 수 있는 방법을 제시한다고 주장한다.

저자들은 자신들이 유계된 손실 차이에 집중했지만, 이론이 엄격하게 이에 국한되지는 않는다는 점을 언급하며 겸허한 태도를 유지하였으며, 일반적인 손실 함수에 대해서는 추가 연구가 필요하다고 밝혔다. 또한, 자신들의 방법이 가족별 오류율을 제 제어하지만, 향에 높은 검정력(power)을 위해 허위 발견율(FDR) 제어를 탐구하는 후속 연구가 가능함을 인정하였다.