기술 요약: 분포 변화 하에서의 일반화 오차 내 레짐 도착 불확실성 (Regime-Arrival Uncertainty)

문제 정의

통계적 학습 이론의 표준 일반화 오차(generalization bounds)는 훈련 데이터와 배포 데이터가 동일하고 정적인 분포에서 생성된다는 가정에 의존한다. 이러한 가정은 임상 위험 모델링, 침입 탐지, 자율 주행 시스템과 같이 환경이 구조적 변화를 통해 시간의 흐름에 따라 진화하는 실제 응용 분야에서 빈번하게 실패한다. 구체적으로, 기존 이론은 "평시(calm)" 대 "위기(crisis)" 상태의 비율이 훈련 기간과 미래 배포 기간 사이에 서로 다를 때 발생하는 문제를 적절히 다루지 못한다. 핵심 문제는 분포 변화가 마르코프 전환 과정(Markov-switching process)을 따를 때, 이 **레짐 구성 불일치(regime composition mismatch)**로 인해 발생하는 추가적인 위험을 정량화하는 것이다.

방법론

본 논문은 잠재적 레짐 역학(latent regime dynamics)에 기반한 이론적 프레임워크를 제안하며, 환경을 평시와 위기 레짐을 나타내는 두 가지 상태($Z_t \in \{0, 1\}$)를 가진 2-상태 마르코프 체인으로 모델링한다.

1. 이론적 프레임워크

• 레짐 분해 (Regime Decomposition): 훈련 분포는 혼합 형태 $P_{mix} = (1-\pi)P_0 + \pi P_1$로 모델링되며, 여기서 $\pi$는 과거의 위기 비율이다. 미래 배포 분포(현재 상태가 평시라는 조건 하에)는 $P_{future} = p_{00}P_0 + p_{01}P_1$이며, 여기서 $p_{01}$은 위기 레짐으로의 전이 확률이다.
• 정확한 분해 (Lemma 4.1): 저자들은 일반화 갭(generalization gap)에 대한 정확한 항등식을 도출한다:
  $$R_{future}(f) - R_{mix}(f) = (p_{01} - \pi)(R_1(f) - R_0(f))$$
  이는 갭을 구성 불일치(composition mismatch) 항($p_{01} - \pi$)과 레짐 민감도(regime sensitivity) 항($R_1 - R_0$)으로 분리한다.
• 레짐 민감도 바운드: 민감도 항은 $H\Delta H$-다이버전스(Ben-David et al., 2010)를 사용하여 바운딩되는데, 이는 총 변동 거리(Total Variation distance)보다 더 타이트하고 추정 가능하다. 이 바운드는 적응성 항 $\lambda_{01}$을 포함한다.
• 종속 데이터 처리: 시간적 의존성을 고려하기 위해, 본 프레임워크는 학습 이론을 기하학적 $\beta$-믹싱(geometrically $\beta$-mixing) 시퀀스(Yu, 1994)로 확장한다. 이는 전이 행렬의 스펙트럼 갭(spectral gap)을 기반으로 유효 샘플 크기($n_{eff}$)를 명시적으로 도출하며, 레짐 지속성이 증가함에 따라 샘플 크기를 감소시킨다.
• 추정: 페널티 구성 요소는 다음을 통해 추정된다:
  • 훈련 윈도우에서의 경험적 위기 비율.
  • 레이블이 없는 특징으로부터 $H\Delta H$-다이버전스를 추정하기 위한 도메인 분류기.
  • 전이 행렬에서 도출된 믹싱 상수.

2. 이론적 바운드

• 상한 (Theorem 4.13): 레짐 전환 식과 믹싱 인지 라데마허 복잡도(Rademacher complexity) 바운드를 결합하여, 미래 위험에 대한 유한 샘플, 고확률 상한을 구축한다.
• 하한 (Theorem 4.15): 순수 평시 훈련($\pi=0$)에 대한 미니맥스 하한(Le Cam 스타일)을 설정한다. 이는 학습자가 위기 샘플을 관찰하지 않고서는 서로 다른 위기 세계를 구별할 수 없기 때문에, 최소한 $p_{01} \cdot \frac{1}{2}d_{H\Delta H}$의 초과 위험(excess risk)이 **불가피하게 발생(irreducible)**함을 증명한다.

주요 기여

1. 레짐 불일치의 정확한 분해: 본 논문은 레짐 전환 하에서의 일반화 갭이 레짐 구성의 불일치와 레짐 변화에 대한 모델의 민감도의 곱임을 보여주는 엄밀한 대수적 분해를 제공한다.
2. 레짐 도착 불확실성: 프레임워크는 위기 레짐의 기하학적 구조(특징 구별 가능성)는 탐지될 수 있지만, 시간적 도착(전이 확률 $p_{01}$)은 표준 훈련 윈도우로부터 신뢰할 수 있게 예측될 수 없음을 입증한다.
3. 위험의 불가피성: 순수 평시 훈련 하에서는 레짐 불일치로 인한 페널티가 알고리즘의 산물이 아닌 근본적인 한계임을 확립한다. 즉, 전이 역학을 관찰하지 않고서는 어떤 알고리즘적 개선도 이 위험을 제거할 수 없다.
4. 종속 데이터로의 확장: 바운드를 $\beta$-믹싱 데이터로 확장하여 명시적인 유효 샘플 크기 보정을 적용함으로써, 도메인 적응(domain adaptation)과 종속 데이터 학습 이론을 연결한다.

실험 결과

프레임워크는 두 가지 데이터셋을 통해 검증되었다:

1. 합성 데이터: 알려진 레짐 역학과 가우시안 특징을 가진 통제된 환경.
2. 실제 데이터: 25년간의 글로벌 10개 주가지수 일일 종가(2000–2025). 레짐은 로그 수익률과 실현 변동성을 이용한 은닉 마르코프 모델(HMM)을 통해 추론되었다.

결과:

• 사후 검증 (Ex Post Validation): 페널티를 (배포 후에만 알 수 있는) 실현된 미래 위기 비율을 사용하여 계산했을 때, 실제 일반화 갭과 높은 상관관계를 보였다 ($\text{실제 데이터에서 } \rho = 0.729, \text{합성 데이터에서 } \rho = 0.716$). Lemma 4.1의 정확한 항등식은 수치적 정밀도로 성립한다.
• 사전 실패 (Ex Ante Failure): 미래의 비율을 추정된 전이 확률 $\hat{p}_{01}$로 대체하여 훈련 데이터만을 사용해 페널티를 추정했을 때, 실현된 갭과의 상관관계는 사라졌다 ($\rho \approx 0.084, 95\% \text{ CI가 0을 포함}$).
• 레짐 구별 가능성: 도착 시점의 예측은 실패했음에도 불구하고, 도메인 분류기는 평시와 위기 레짐을 거의 완벽하게 구분해냈다 ($\frac{1}{2}\hat{d}_{H\Delta H} \approx 0.93$). 이는 특징의 기하학적 구조는 뚜렷하지만 타이밍은 예측 불가능함을 확인시켜 준다.

의의 및 주장

본 논문은 스스로를 예측 도구가 아닌, 배포 실패를 이해하기 위한 **진단 도구(diagnostic instrument)**로 규정한다.

• 문제의 재구성: 저자들은 모델 실패에 대한 표준적인 대응(아키텍처나 정규화 탓을 하는 것)이 구조적으로 불완전하다고 주장한다. 일반화 갭은 흔히 알고리즘의 통제 밖에 있는 환경의 레짐 타이밍($p_{01}$)에 의해 발생한다.
• 진단적 유용성: 이 프레임워크를 통해 실무자는 "사후 실패 감사(post-hoc failure auditing)"를 수행할 수 있다. 페널티 메커니즘이 실재하며 그 분해가 정확함을 확인함으로써, 모델 개선만으로는 제거할 수 없는 구조적 위험 요인을 격리하는 데 도움을 준다.
• 한계: 저자들은 본 프레임워크가 미래의 레짐 구성을 예측하는 문제를 해결하는 것이 아님을 명시한다. (탈출 조건(escape condition), 즉 훈련 구성이 미래 전이 확률과 일치하는 경우)은 수학적으로 식별되지만, 역사적 윈도우만으로는 경험적으로 도달 불가능하다. 본 프레임키는 비정상성(non-stationarity) 하에서의 통계적 학습 안전성이 단순히 알고리즘 최적화 문제가 아니라, 근본적으로 레짐 타이밍의 문제임을 강조한다.