기술 요약: 즉각적 효과와 지수 가족을 포함하는 식별 가능한 마르코프 스위칭 모델

문제 정의

기후 역학이나 제1형 당뇨병의 포도당 변동과 같은 실제 환경의 시계열 시스템은 빈번하게 비정상성(non-stationary) 행동을 보입니다. 일반적인 모델링 전략은 이러한 비정상성을 이산적인 잠재 레짐(latent regimes)을 통해 표현하며, 이는 은닉 마르코프 모델(HMM)의 일종인 마르코프 스위칭 모델(MSM)로 이어집니다. 그러나 다음과 같은 상황에서는 잠재 레짐과 기저의 인과 구조를 식별하는 것이 매우 어렵습니다:

1. 레짐 전환이 빈번할 때.
2. 역학이 비선형적이고 비가우시안(non-Gaussian)일 때.
3. 관측 변수 사이에 즉각적 효과(instantaneous effects)가 존재할 때 (예: 샘플링 속도보다 인과적 효과가 더 빠르게 발생하는 조밀한 측정 격리 때문).

유한 상태 HMM에 대한 기존의 식별성 결과는 관측 변수 간의 자기회귀적 의존성 때문에 MSM으로 쉽게 확장되지 않습니다. 또한, 레짐 스위칭 모델에 관한 기존 연구들은 주로 가우시안 설정을 가정하거나, 결정론적 레짐 함수를 사용하거나, 즉각적 효과 및 인과 발견(causal discovery)을 제외하는 경향이 있습니다.

방법론

이론적 프레임워크: 식별성(Identifiability)

저자들은 특정 조건하에서 잠재 레짐과 레짐 의존적 인과 구조의 식별성을 확립합니다. 데이터 생성 과정은 다음과 같은 레짐 스위칭 구조적 인과 모델(SCM)로 모델링됩니다:

• 레짐 역학: 레짐은 1차 정적 마르코프 체인을 따릅니다 (레짐 간의 의존성이 허용됨).
• 인과 메커니즘: 각 레짐 내에서 시스템은 비선형적 시차(lagged) 및 즉각적 효과를 갖는 구조 방정식(structural equation)을 따릅니다.
• 노이즈: 외생적 노이즈는 연속적인 최소 정규 지수 가족(continuous minimal regular exponential family, 예: 가우시안, 감마, 라플라스)에 속합니다.

본 논문은 다음 가정하에서 유도된 MSM이 **치환을 제외하고 식별 가능(identifiable up to permutation)**함을 증명합니다 (즉, 데이터 가능도는 잠재 레짐과 혼합 성분을 레이블링 제외하고 유일하게 결정합니다):

1. 지수 가족 노이즈: 노이즈의 충분 통계량(sufficient statistic)은 실수 해석적(real-analytic)이며 풍부한 이미지(open set을 포함)를 가집니다.
2. 함수적 제한: 매핑 함수는 레짐당 고유하며, 점별 미분 동형 사상(pointwise diffeomorphism)이고, 결합하여 실수 해석적입니다.
3. 노이즈 자기동형성(Automorphisms): 노이즈 분포는 자명한 자기동형 클래스를 갖거나, 매핑이 단조 력적 정규화(monotone canonicalisation, 예: 회전 없음)를 통해 제한됩니다.
4. 충분한 변동성: 레짐 의존적 효과는 충분 통계량의 유한 차수 다항식 인수분해에 의해 포착될 수 있어야 하며, 이를 통해 서로 다른 레짐이 서로 다른 자연 매개변수(natural parameters)로 매핑되도록 보장합니다.

이 이론은 비시계열적 인과 모델 혼합을 포괄하며, 이전의 가우시안 전용 결과를 더 넓은 지수 가족 및 즉각적 효과로 확장합니다.

알고리즘: FlowMSM

이 이론을 구현하기 위해 저자들은 레짐 탐지와 인과 발견을 분리하는 레짐 탐지 프레임워크인 FlowMSM을 소개합니다.

• 레짐 탐지: FlowMSM은 일반화 기대 최대화(Generalized Expectation-Maximization, GEM) 알고리즘을 사용합니다. 초기 분포와 전이 분포를 모델링하기 위해 조건부 정규화 흐름(Conditional Normalizing Flows, CNF), 구체적으로는 신경 스플라인 흐름(Neural Spline Flows, NSF)을 사용합니다. 이를 통해 복잡하고 비가우시안이며 비선형적인 밀도를 포착할 수 있습니다. 플로우 파라미터는 레짐별 임베딩과 시차 변수에 의해 조건화되지만 모든 레짐에 걸쳐 공유됩니다.
• 인과 발견: 레짐이 식별되면(MAP 할당을 통해), 시계열은 각 레짐에 해당하는 클러스터로 분할됩니다. 그 후 각 클러스터에 대해 독립적으로 표준 정적 인과 발견 방법(예: VARLiNGs, DYNOTEARS, Rhino)이 적용되어 레짐 의존적 윈도우 그래프를 복구합니다.

주요 기여

1. 식별성 이론: 레짐 간의 의존성, 비선형 시차/즉각적 효과, 지수 가족 노이즈를 포함하는 레짐 스위칭 SCM의 식별성을 위한 충분 조건을 제공합니다. 이는 가우시안 가정을 넘어 기존 이론을 일반화합니다.
2. FlowMSM 프레임워크: 비가우시안, 비선형 설정에서 강건한 레짐 탐지를 위해 조건부 정규화 흐름과 GEM을 결합한 새로운 추정 방법을 제공합니다.
3. 분리된 접근 방식: 레짐 탐지와 인과 발견을 제한적인 모델 클래스(예: 위치-척도 노이즈 모델) 내에서 반복하는 기존 방식과 달리, FlowMSM은 이 두 단계를 분리하여 더 넓은 범위의 인과 모델을 허용합니다.
4. 실증적 검증: 합성 벤치마크와 금융 경제 데이터셋(Fama-French 5요인 모델)에 대한 광범한 실험을 통해 방법론의 효과를 입증했습니다.

실험 결과

합성 벤치마크

실험은 $N=100$ 시계열, $T=100$ 타임 스텝, $D=10$ 차원, $K=3$ 레짐을 가진 합성 데이터셋을 대상으로 수행되었습니다. 데이터셋은 다음을 포함합니다:

• 가우시안 및 지수 가족(감마) 노이즈를 가진 선형 SVAR.
• 지수 가족 노이즈를 가진 비선도적 가법 노이즈 모델(ANM).
• 지수 가족 노이즈를 가진 위치-척도 노이즈 모델(LSNM, 가장 까다로운 설정).

결과:

• 레짐 탐지: FlowMSM은 모든 설정에서 높은 정규화 상호 정보량(NMI) 및 조정 랜드 지수(ARI)를 달성하였으며, 비선형 및 비가우시안 시나리오에서 베이스라인(iMSM, R-PCMCI, CASTOR, FANTOM)을 크게 압도했습니다. 가우시안 가정에 의존하는 베이스라인들은 비가우시안 설정에서 성능이 크게 저하되었습니다.
• 인과 발견: 적절한 발견 방법(예: 비가우시안을 위한 VARLiNGAM, LSNM을 위한 Rhino)과 결려되었을 때, FlowMSM은 높은 정확도와 낮은 구조적 해밍 거리(SHD)로 인과 구조를 복구했습니다. 베이스라인들은 일반적으로 빈번한 레짐 전환과 비가우시안 역학을 처리하는 데 어려움을 겪어 경쟁력 있는 성능을 보여주지 못했습니다.
• 강건성: FlowMSM은 레짐 수나 시차가 과잉 지정된 경우에도 효과적으로 작동했습니다.

실제 적용: Fama-French 모델

저자들은 Fama-French 5요인 모델과 애플(AAPL) 주식 수익률의 일간 데이터를 FlowMSM에 적용했습니다.

• 레짐 탐지: FlowMSM은 VIX 지수와 상관관계가 있는 저변동성 및 고변동성 시장 기간(2008년 위기 및 팬데믹 포함)과 일치하는 두 개의 지배적인 레짐을 식별했습니다. 다른 방법들은 시장 사건과 명확히 매핑되지 않는 레짐을 생성했습니다.
• 인과적 해석: 추정된 인과 그래프는 안정적인 시장(레 regime 4) 동안에는 인과적 의존성이 부재했음을(효율적 시장 가설과 일치) 보여주었으며, 시장 위기(Regime 5) 동안에는 인과적 연결이 나타났음을 보여주었습니다. 그러나 저자들은 Fama-French 요인이 AAPL 수익률을 주도하는 인과적 해석에 대해서는 데이터에 의해 완전히 뒷받침되지 않았을 수 있다는 한계를 언급했습니다.

의의 및 주장

본 논문은 비정상 시계열을 위한 원칙적인 프레임워크를 제공한다고 주장합니다.

• 이론적 엄밀성: 실수 해석성 및 지수 가족 노이즈와 같은 완화된 가정하에서 식별성을 확립함으로써, 즉각적 효과와 레짐 의존성이 존재하는 상황에서 이전에 식별 불가능하다고 여겨졌던 잠재 구조의 복구를 정당화합니다.
• 실용적 유용성: FlowMSM 프레임워크는 전통적인 가우시안 MSM이 실패하는 복잡한 비가우시안 환경에서 레짐 식별과 인과 구조 발견을 위한 실질적인 해결책을 제공합니다.
• 겸허한 태도: 저자들은 관측값으로부터의 레짐 독립성($R_t \not\to X_{0:T}$) 가정이 강력하다는 점과 이론이 실수 해석적 미분 동형 사상에 의존한다는 점을 언급하며 한계를 인정했습니다. 또한, 실제 금융 데이터에서의 인과적 해석이 제한적일 수 있음을 주의하며, 샘플 수가 적은 월간 데이터는 의미 있는 결과를 도출하지 못했다는 점을 들어 본 접근법의 데이터 요구 사항을 강조했습니다.

이 연구는 모든 비정상 인과 발견 문제를 해결한다고 주장하는 것이 아니라, 가우시안 가정을 완화하고 이론적으로 근거가 있는 식별성 프레임워크 내에서 즉각적 효과를 명시적으로 처리하는 중요한 진전을 제시합니다.