A Beta-GAM Hidden Markov Model for Proportion Time Series

기술적 요약: 비율 시계열을 위한 베타-GAM 은닉 마르코프 모델

문제 제기
본 논문은 $(0, 1)$ 열린 구간에서 값을 갖는 단변량 비율 시계열의 모델링을 다룬다. 이러한 데이터는 경제학, 금융, 인구학 (예: 사망률 비율, 입찰 분포, 소득 점유율) 에서 광범위하게 나타난다. 기존 접근법들은 한계를 지닌다: 표준 은닉 마르코프 모델 (HMM) 은 종종 잠재 상태 내에서 일정한 방출 매개변수를 가정하여 공변량 의존적 구조를 포착하지 못한다. 반면, 마르코프 스위칭 일반화 가법 모델 (MS-GAM) 은 부드러운 공변량 효과를 허용하지만, $(0, 1)$ 지지 구간을 존중하고 이분산성을 적절히 처리하는 분포가 필요한 경계 비율 데이터에 특화되도록 설계되지 않았다. 저자들은 GAM 의 유연성과 HMM 의 체제 전환 능력을 통합하고, 특히 베타 분포 방출에 맞춤화된 프레임워크를 제안한다.

방법론
제안된 모델은 관측 변수 $y_t$가 잠재 상태 $z_t = k$에 조건부로 베타 분포를 따르는 은닉 마르코프 모델이다. 베타 분포는 상태별 평균 $\mu_{kt}$와 상태별 정밀도 $\phi_k$로 매개변수화된다.

1. 방출 분포:
   조건부 분포는 $y_t | z_t = k \sim \text{Beta}(\mu_{kt}\phi_k, (1-\mu_{kt})\phi_k)$이다.
   평균 $\mu_{kt}$는 가법 예측자의 로지스틱 변환을 통해 공변량 $x_t$와 연결된다:
   $$\text{logit}(\mu_{kt}) = \eta_{kt} = \sum_{j=1}^p f_{kj}(x_{tj})$$
   여기서 각 $f_{kj}(\cdot)$는 3 차 B-스플라인 기저 확장을 사용하여 추정된 부드러운 함수이다. 정밀도 $\phi_k$는 상태 내에서는 일정하지만 상태 간에는 변하여 체제 의존적 변동성을 허용한다.

2. 추정 (페널티 EM 알고리즘):
   매개변수 $\Theta = (\pi, A, \{\beta_k\}, \{\phi_k\})$는 페널티 기대 - 최대화 (EM) 알고리즘을 통해 추정된다.

   • E-단계: 잠재 상태 ($\gamma_{tk}$) 와 상태 전이 ($\xi_{tij}$) 의 평활화된 사후 확률을 얻기 위해 순방향 - 역방향 재귀를 계산한다. 수치적 안정성을 보장하기 위해 계산은 로그 스케일에서 수행된다.
   • M-단계: 페널티가 적용된 완전 데이터 로그 가능도를 최대화한다. B-스플라인 계수 $\beta_k$에 2 차 페널티 (P-스플라인) 를 적용하여 부드러움을 제어하고 과적합을 방지한다. 표준 EM 과 달리, M-단계는 방출 매개변수에 대한 폐쇄형 업데이트를 제공하지 않으며, 대신 각 상태별로 페널티가 적용된 Q-함수를 최대화하기 위해 수치 최적화 (L-BFGS-B) 를 사용한다. 이는 일반화 EM 알고리즘을 구성한다.

3. 모델 선택 및 진단:
   저자들은 잠재 상태 수 $K$와 평활화 페널티 $\lambda$를 선택하기 위한 2 단계 그리드 탐색을 도입한다.

   • 진단 필터: 과도한 $K$ 지정으로 인해 발생하여 점유율이 미미한 상태와 폭발적인 정밀도 추정을 초래하는 퇴화 해결책 문제를 해결하기 위해 진단 기준이 적용된다. 정밀도 추정이 상한에 도달하거나 정렬된 정밀도 추정치 간의 차이가 급격한 "폭발"을 보이면 모델은 플래그가 지정되고 폐기된다.
   • 선택 기준: 비퇴화 모델 중에서 최적의 $K$와 $\lambda$는 페널티로 인한 축소 효과를 고려하기 위해 원시 매개변수 수 대신 유효 자유도 (EDF) 를 활용하는 정보 기준 (AIC, BIC, ICL) 을 사용하여 선택된다. 절차는 각 $K$ 내에서 AIC(덜 보수적) 를 사용하여 $\lambda$를 선택하고, BIC(더 보수적) 를 사용하여 $K$를 선택하며, 모델이 두 BIC 단위 내에 있으면 더 풍부한 구조를 선호한다.

4. 불확실성 정량화:
   전이 확률 및 상태 의존적 매개변수에 대한 신뢰 구간은 적합된 모델에서 새로운 데이터 세트를 시뮬레이션하고 매개변수를 재추정하는 모수적 부트스트랩 절차를 통해 도출된다.

주요 기여
본 논문은 네 가지 주요 방법론적 기여를 한다:

1. GAM 과 베타-HMM 의 통합: B-스플라인 기반 GAM 을 베타 방출 HMM 내에 내장하여, 각 잠재 체제 내에서 조건부 평균이 공변량과 비선형적으로 변하도록 허용하면서 상태별 정밀도를 유지한다.
2. 빈도론적 페널티 추정: 사전 분포를 지정하는 완전 베이지안 접근법 대신 페널티 EM 접근법을 채택하여 고차원 스플라인 계수에 대한 사전 분포 지정을 피하고 대규모 표본에 대한 계산 효율성을 제공한다.
3. 퇴화를 위한 진단 필터링: 유연한 HMM 에서 흔히 발생하는 과도하게 지정된 잠재 상태로 인한 퇴화 해결책을 탐지하고 배제하기 위한 구체적인 진단 기준을 도입한다.
4. 분석적 유도: 완전 데이터 가능도 및 페널티가 적용된 로그 가능도의 도함수에 대한 명시적 분석적 유도를 제공하여 추정 루틴을 위한 공식적인 수학적 기초를 확립한다.

결과

• 시뮬레이션 연구: $T=2,500$ 및 $K=4$를 사용한 몬테카를로 연구는 모델이 전이 동역학, 상태 정밀도, 잠재 상태 디코딩 (비터 정확도 $\approx 93.2\%$) 을 정확하게 복원함을 보여준다. 2 단계 선택 절차는 올바른 상태 수와 적절한 평활화 수준을 성공적으로 식별한다. 이 방법은 샘플 크기가 감소 ($T=1,500$) 하고 상태 지속성이 낮아져도 안정적으로 유지되지만, 기대대로 성능 지표는 저하된다.
• 실증 적용: 본 모델은 러시아의 연령별 사망률 데이터 (1960–2014, 0–40 세) 에 적용되어 여성 대 전체 사망률 비율을 모델링한다. 선택된 모델은 두 가지 지속적인 잠재 체제를 식별한다:
  • 상태 1: 젊은 성인 연령대 (15–35 세) 에서 더 깊은 함몰을 보이는 더 분산된 체제로, 고조되고 변동성이 큰 남성 초과 사망률 기간과 관련된다.
  • 상태 2: 더 얕은 함몰을 보이는 매우 집중된 체제로, 더 안정적인 사망률 패턴을 나타낸다.
    비터로 디코딩된 시퀀스는 1960 년대 후반에 분산된 체제에서 집중된 체제로의 전환을 시사하며, 그 후 집중된 체제가 우세해졌는데, 이는 러시아의 역사적 인구학적 변화 (예: 소련 후기 건강 위기와 이후 회복) 와 부합한다.

의의 및 주장
저자들은 제안된 베타-GAM HMM 이 비율 시계열 분석을 위해 유연성, 해석 가능성, 계산적 실용성 사이의 실용적인 균형을 제공한다고 주장한다. 이 프레임워크는 잠재 체제 동역학과 부드럽게 변하는 공변량 효과를 성공적으로 분리한다. 진단 필터의 포함은 상태 수가 알려지지 않은 경우 특히 모델의 안정성과 해석 가능성을 보장하는 중요한 단계로 강조된다. 러시아 사망률 데이터에 대한 적용은 역사적 사건에 의해 주도된 실질적으로 의미 있는 구조적 변화를 식별하면서 부드러운 연령 패턴을 요약하는 모델의 능력을 보여준다. 논문은 이 방법론이 좁은 부트스트랩 신뢰 구간이 신뢰할 수 있는 불확실성 정량화를 나타내는 인구 비율의 구조적 변화를 기술하고 모니터링하는 강력한 도구를 제공한다고 결론짓는다.