Modelling multivariate ordinal time series using pairwise likelihood

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 다변량 순서형 (ordinal) 시계열 데이터 (예: 실업률 등급, 질병 단계 등) 를 분석하는 수요가 증가하고 있으나, 기존 문헌에서는 단변량 모델에 집중되어 있습니다.
• 핵심 문제:
  1. 다변량 분포의 복잡성: 순서형 변수들의 결합 확률 분포 (joint distribution) 를 정의하는 것은 수학적으로 매우 어렵습니다. 특히 시계열의 경우, 각 시계열 내의 자기상관 (autocorrelation), 시계열 간의 교차상관 (cross-correlation), 그리고 시차 (lag) 에 따른 종속성을 모두 동시에 고려해야 하므로 문제가 더욱 복잡해집니다.
  2. 계산적 한계: 고차원 (high-dimensional) 다변량 모델, 특히 코풀라 (copula) 기반 모델을 사용할 경우, 결합 확률 질량 함수를 계산하기 위해 $2^K$개의 항 ($K$는 시계열 개수) 을 평가해야 하므로 차원의 저주 (curse of dimensionality) 로 인해 계산이 불가능해지거나 근사 오차가 커집니다.

2. 제안된 방법론 (Methodology)

저자들은 쌍별 가능도 (Pairwise Likelihood) 접근법을 사용하여 고차원 다변량 순서형 시계열 모델링의 계산적 난제를 해결하고 유연성을 확보하는 프레임워크를 제안합니다.

2.1 모델 구조

• 한계 모델 (Marginal Models): 각 시계열 $Z_{kt}$는 $p$차 순서형 자기회귀 로짓 모델 (Ordinal Autoregressive Logit Model) 을 따릅니다. 중요한 점은 각 시계열의 모델에 시스템 내 모든 다른 시계열의 과거 값을 포함시켜 교차상관을 포착한다는 것입니다.
  • $Z_{kt} | F_{t-1} \sim \text{Multinomial}(1; \pi_{s1t}, \dots, \pi_{sdk t})$
  • 로짓 함수는 모든 시계열의 시차 값을 선형 결합합니다.
• 종속 구조 (Dependence Structure):
  • 코풀라 (Copula): 시점 $t$에서의 동시적 (contemporaneous, lag-0) 교차상관을 포착하기 위해 코풀라를 사용합니다.
  • 쌍별 접근: $K$차원 코풀라를 직접 추정하는 대신, 모든 가능한 이변량 쌍 (bivariate pairs) 에 대한 결합 분포를 고려합니다.
  • 이변량 결합 분포: 두 변수 $(Z_{rt}, Z_{st})$의 결합 누적 분포 함수는 코풀라 $C$를 사용하여 정의되며, 결합 확률 질량 함수는 포함 - 배제 원리 (inclusion-exclusion principle) 를 통해 차분으로 계산됩니다.

2.2 추정 방법 (Estimation)

전체 쌍별 로그 가능도 (Pairwise Log-likelihood) 를 직접 최대화하는 것은 계산적으로 어렵기 때문에, **Fieuws and Verbeke (2006)**의 프레임워크를 따르는 2 단계 추정 절차를 제안합니다.

1. 1 단계 (개별 최대화): $K(K-1)/2$개의 모든 이변량 쌍에 대해 로그 가능도를 독립적으로 최대화하여 각 쌍의 모수 추정치 $\tilde{\theta}_{rs}$를 구합니다.
2. 2 단계 (가중 평균 합성): 개별 추정치들을 통합하여 전체 모델의 고유한 모수 추정치를 도출합니다.
   • 단순 평균 대신 **가중 평균 (Weighted Mean)**을 사용합니다.
   • 가중치는 각 이변량 모델의 **헤시안 행렬 (Hessian matrix, $H$)**의 역수 (정확히는 정보 행렬의 근사치) 에 비례하도록 설정합니다. 이는 더 정확한 (분산이 작은) 추정치에 더 큰 가중치를 부여하여 최종 추정치의 효율성을 높입니다.
   • 수식: $\hat{\theta}_{wm} = (\sum H_{rs})^{-1} (\sum H_{rs} \tilde{\theta}_{rs})$

2.3 표준 오차 및 예측

• 표준 오차: 합성 가능도 (Composite Likelihood) 의 점근적 분포 이론을 활용하여 표준 오차를 계산합니다.
• 예측 (Forecasting): 다변량 분포가 명시적으로 존재하지 않으므로, 각 이변량 모델에서 도출된 예측을 통합해야 합니다.
  • Method A: 각 이변량 모델에서 상태 (state) 를 예측한 후, 다수결 (mode) 또는 무작위 선택을 통해 최종 상태를 결정.
  • Method B: 각 이변량 모델에서 도출된 상태별 확률 분포를 평균내어 통합 확률 분포를 만든 후, 이 분포에서 가장 확률이 높은 상태 (mode) 를 선택.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 시뮬레이션 연구

• 설정: 3 차원 시나리오 (3 개의 시계열, 3 개의 상태) 에서 Gumbel 코풀라를 사용하여 데이터를 생성했습니다. 표본 크기 ($T=100, 500, 1000$) 를 변화시키며 성능을 평가했습니다.
• 결과:
  • 편향과 일관성: 제안된 추정량 (단순 평균 및 가중 평균) 은 모두 편향이 거의 없으며 (unbiased), 표본 크기가 커짐에 따라 분산이 감소하여 일관성 (consistent) 을 보였습니다.
  • 가중 평균의 우위: 대부분의 모수에서 두 방법의 차이가 미미했으나, **코풀라 모수 ($\phi$)**의 추정에서 가중 평균이 단순 평균보다 더 낮은 MSE(평균 제곱 오차) 를 보이며 더 우수한 성능을 입증했습니다.

3.2 실증 분석 (유럽 국가 실업률)

• 데이터: 1998~2023 년 포르투갈, 슬로바키아, 핀란드, 그리스, 스페인, 이탈리아 등 6 개국의 분기별 실업률 데이터를 4 단계 순서형 변수로 변환하여 적용했습니다.
• 모델 설정: 프랭크 코풀라 (Frank copula) 를 사용하여 양의 상관과 음의 상관 모두를 포착했습니다.
• 결과:
  • 모수 추정: 가중 평균과 단순 평균 추정치가 매우 유사하게 나왔으며, 대부분의 모수가 통계적으로 유의미했습니다.
  • 예측 성능:
    • 포르투갈, 슬로바키아, 핀란드의 경우 예측이 매우 정확했습니다.
    • 그리스, 스페인, 이탈리아는 예측 정확도가 낮았습니다. 이는 해당 국가들이 특정 상태에 장기간 머무르는 (long runs) 경향이 있어, 단순한 1 차 자기회귀 모델보다는 DAR(Dynamic Autoregressive) 모델 등 다른 모델이 더 적합할 수 있음을 시사합니다.
  • 예측 방법 비교: Method A(상태 다수결) 와 Method B(확률 평균) 는 유사한 결과를 제공했습니다.

4. 의의 및 결론 (Significance & Conclusion)

• 계산적 효율성: 고차원 다변량 코풀라 모델의 계산적 부담을 획기적으로 줄이면서도, 각 시계열 간의 복잡한 종속 구조를 효과적으로 포착할 수 있는 실용적인 프레임워크를 제시했습니다.
• 유연성: 각 시계열 쌍마다 다른 코풀라 가족 (copula family) 을 사용할 수 있어 데이터의 특성에 맞는 유연한 모델링이 가능합니다. 또한, 한계 모델 (marginal model) 로 다양한 순서형 시계열 모델을 적용할 수 있습니다.
• 실용성: 가중 평균 추정법을 통해 추정 효율성을 높였으며, 실업률 데이터와 같은 실제 경제 데이터를 통해 방법론의 타당성을 입증했습니다.
• 향후 과제: 공변량 (covariates) 추가, 각 시계열에 다른 한계 모델 적용, 서로 다른 쌍에 다른 코풀라 적용 시 모델 선택 문제, 그리고 더 높은 차수의 시차 모델 확장 등이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 다변량 순서형 시계열 분석에서 발생하는 계산적 장벽을 **쌍별 가능도 (Pairwise Likelihood)**와 가중 추정 합성 기법을 통해 우회하여, 통계적 효율성과 계산적 실용성을 동시에 확보한 새로운 방법론을 제안한 것입니다.