Stable and practical semi-Markov modelling of intermittently-observed data

본 논문은 유연한 가능도 계산을 위해 체류 시간을 위상형 분포로 근사함으로써 간헐적으로 관측된 데이터에 대한 실용적인 준-마르코프 모델링 프레임워크를 제시하고, 이를 베이지안 또는 최대우도추정으로 구현하기 위한 새로운 R 패키지인 "msmbayes"를 제공합니다.

핵심

이 논문은 쉬운 언어와 일상적인 비유를 사용하여 설명합니다.

큰 그림: 삶의 변화 추적하기

한 사람의 건강 상태를 시간에 따라 추적한다고 상상해 보세요. 당신은 가끔씩, 예를 들어 일 년에 한 번이나 몇 달에 한 번씩 그 사람을 확인합니다. 당신은 알고 싶어 합니다: 그 사람은 병에 걸리기 전까지 얼마나 오랫동안 '건강한' 상태에 머무는가? 그리고 병에 걸린 후에는 회복하거나 사망할 때까지 얼마나 걸리는가?

통계학에서 이를 **다중 상태 모델 (multi-state model)**이라고 합니다. 이는 서로 다른 방 (상태) 과 그 사이의 문 (전이) 이 있는 지도와 같습니다.

문제: '기억'의 함정

대부분의 표준 지도는 방을 떠날 확률이 오직 현재 머무는 방에만 의존한다고 가정합니다. 이를 **마르코프 가정 (Markov assumption)**이라고 합니다. 마치 "만약 당신이 '병든' 방에 있다면, 막 들어왔든 1 년 동안 있었든 관계없이 내일 나갈 확률은 50% 다"라고 말하는 것과 같습니다.

하지만 실제 삶에서는 시간이 중요합니다. 오랫동안 병에 걸려 있었다면, 막 병에 걸렸을 때보다 회복 (또는 악화) 할 가능성이 더 높을 수 있습니다. 이는 방 내부의 '시계'가 중요한 준 마르코프 (Semi-Markov) 모델입니다.

문제점: 우리는 사람들을 가끔씩만 확인하기 때문에 (간헐적 데이터), 그들이 정확히 언제 방에 들어갔는지 알 수 없습니다. 우리는 1 월에는 A 방에, 6 월에는 B 방에 있었다는 사실만 알 뿐입니다. 그들이 2 월에 병에 걸렸는지 5 월에 걸렸는지 알 수 없습니다. 이로 인해 방 내부의 '시계'를 계산하는 것이 매우 어려워집니다.

구해법: 너무 느리거나 너무 경직됨

과학자들은 이전에 이를 해결하려 시도했지만, 사용된 도구들은 다음과 같은 문제점이 있었습니다:

1. 너무 느림: 확인 사이사이에 사람이 취했을 수 있는 모든 가능한 경로를 추측하는 것은 해변의 모래알 중 하나를 찾기 위해 모든 모래알을 세어보는 것과 같습니다.
2. 너무 경직됨: 일부 방법은 매우 단순한 지도에만 작동하여 실제 의학에서 사용되는 복잡한 지도에는 적용되지 않았습니다.
3. 너무 복잡함: 일부 방법은 대부분의 연구자들이 사용할 수 없는 맞춤형으로 사용하기 어려운 소프트웨어를 필요로 했습니다.

새로운 해결책: '숨겨진 단계' 트릭

저자 크리스토퍼 잭슨 (Christopher Jackson) 은 **위상 분포 (Phase-Type distributions)**라는 개념을 사용하여 이를 해결하는 새로운 방법을 제시합니다.

비유: 비밀 복도를 가진 호텔
'병든' 방이 단순히 하나의 큰 방이 아니라고 상상해 보세요. 대신 그 안에는 작은 숨겨진 방들 (위상) 이 이어진 긴 복도가 있는 호텔과 같습니다.

• 사람이 '병든' 상태에 들어오면 첫 번째 숨겨진 방에 들어갑니다.
• 그들은 이 숨겨진 방들을 하나씩 통과합니다.
• 각 숨겨진 방에서 보내는 시간은 간단하고 예측 가능합니다 (표준 시계처럼).
• 마지막으로 숨겨진 방을 빠져나갈 때, 그들은 '병든' 상태를 떠납니다.

이러한 간단한 숨겨진 방들을 연결함으로써, 보낸 시간이 중요한 복잡하고 현실적인 '병든' 방을 만들 수 있습니다 (예: 1 개를 통과한 직후보다 3 개를 통과한 후에 떠날 가능성이 더 높음).

이것이 게임 체인저인 이유:
이 숨겨진 방들 사이의 이동이 간단하기 때문에 컴퓨터가 수학을 매우 쉽게 계산할 수 있습니다. 복잡한 '준 마르코프' 문제를 컴퓨터가 이미 매우 잘 해결하는 표준 '은닉 마르코프 (Hidden Markov)' 문제로 변환하는 것입니다.

혁신: '모멘트 매칭' 레시피

이전에도 이 '비밀 복도' 아이디어를 사용하려는 시도가 있었지만, 그것은 재료를 추측하며 케이크를 굽는 것과 같았습니다. 특정 모양 (예: 와이블 분포나 감마 분포) 과 일치하도록 숨겨진 방들을 어떻게 배치해야 하는지 알아내기 위해 방대하고 느린 컴퓨터 검색을 수행해야 했습니다.

이 논문은 **빠른 분석적 레시피 (모멘트 매칭, Moment-Matching)**를 제시합니다.

• 추측 대신 저자는 수학적 공식을 제공합니다.
• 당신은 컴퓨터에 이렇게 말합니다: "이 상태에 머무는 시간이 이러한 특정 특성을 가진 감마 분포처럼 보이게 하세요."
• 컴퓨터는 즉시 그 모양과 완벽하게 일치하도록 숨겨진 방들 (위상) 을 어떻게 설정해야 하는지 정확히 계산합니다.

느린 추측 게임 없이 원하는 시간 패턴에 맞춰 비밀 복도를 즉시 성형하는 마법 같은 몰드를 가진 것과 같습니다.

도구: msmbayes

저자는 이 전체 방법을 **msmbayes**라는 새로운 소프트웨어 도구 (R 언어용) 에 패키징했습니다.

• 기능: 연구자들이 데이터가 희소하고 불규칙할지라도 복잡한 건강 상태 지도를 구축할 수 있게 합니다.
• 안정성: 때로는 데이터가 너무 약해 컴퓨터가 혼란을 겪고 충돌하는 경우가 있습니다 (비식별성, non-identifiability 라고 함). 이 도구는 베이즈 통계를 사용하는데, 이는 이전 연구들에서 우리가 이미 알고 있는 내용을 바탕으로 컴퓨터에 '힌트'를 주는 것과 같습니다. 이는 계산을 안정화시켜 데이터가 불명확할지라도 결과를 도출하도록 보장합니다.

증명: 테스트와 실제 적용

저자는 두 가지 방법으로 이 방법을 테스트했습니다:

1. 시뮬레이션: '진짜' 정답을 알고 있는 가짜 데이터를 생성하여 소프트웨어를 실행한 결과, 매번 올바른 답을 찾았음을 확인했습니다.
2. 실제 데이터: 고령자의 인지 기능에 대한 연구 (ELSA 연구) 에 이를 적용했습니다. 그들은 사람들이 다양한 기억력 수준과 사망 사이를 어떻게 이동하는지 추적했습니다.
   • 표준 방법 (마르코프) 은 특정 기억력 상태에 도달하면 사망 위험이 일정하다고 가정했습니다.
   • 새로운 방법 (준 마르코프) 은 그 상태에 머문 시간에 따라 위험이 실제로 변한다는 것을 보여주었습니다.
   • 결과는 새로운 방법이 데이터에 더 잘 적합하며 사람들이 다양한 인지 상태에 머무는 기간에 대한 더 현실적인 추정을 제공함을 보여주었습니다.

요약

이 논문은 사람들이 건강에서 질병과 같은 다양한 삶의 상태 사이를 이동하는 방식을 모델링할 수 있게 해주는 새롭고 안정적이며 사용하기 쉬운 소프트웨어 도구를 개발했습니다. 이는 복잡한 시간 패턴을 간단한 '숨겨진 단계'로 분해하고, 이를 설정하기 위한 빠른 수학적 레시피를 사용하여 고급 모델링을 모두에게 접근 가능하게 만듭니다.

기술 요약

기술 요약: 간헐적으로 관측된 데이터의 안정적이고 실용적인 준-마르코프 모델링

문제 제기
다중 상태 모델은 시간에 따라 변화하는 범주형 변수, 특히 "간헐적으로 관측된"(패널) 데이터를 분석할 때 생의학 분야에서 표준적인 도구로 사용됩니다. 이러한 데이터에서는 상태로의 진입 및 이탈 시점이 정확히 알려져 있지 않을 뿐만 아니라 관측 지점 사이를 이동하는 구체적인 경로도 알 수 없습니다. 전통적으로 이러한 모델들은 전이율이 현재 상태에 머무는 시간과 무관하다는 마르코프 가정에 의존합니다. 그러나 이 가정은 종종 비현실적입니다. 많은 생물학적 과정에서 전이 위험은 현재 상태의 체류 시간 (sojourn time) 에 따라 달라지기 때문입니다.

패널 데이터에 대한 준-마르코프 모델을 만들기 위해 마르코프 가정을 완화하는 것은 계산적으로 어렵습니다. 기존 방법들은 다음과 같은 중대한 장애물에 직면해 있습니다:

1. 잠재 시간의 적분: 관측되지 않은 전이 시간에 대한 수치적 적분은 관측되지 않은 전이의 수가 증가함에 따라 계산 비용이 prohibitive(부담스러울 정도로 큼) 해집니다.
2. 비모수 추정량: 이러한 추정량들은 종종 비순환 전이 구조 (사이클 없음) 로만 제한됩니다.
3. 시뮬레이션 기반 접근법: 맞춤형 MCMC 또는 확률적 EM 알고리즘과 같은 방법들이 존재하지만, 일반적인 소프트웨어 구현은 부족합니다.
4. 위상형 (Phase-type) 모델: Titman 과 Sharples 은 준-마르코프 모델을 은닉 마르코프 모델 (HMM) 로 표현하기 위해 위상형 분포를 사용하는 것을 제안하여 forward 알고리즘을 통한 용이한 가능도 계산을 가능하게 했습니다. 그러나 이 접근법은 잠재 파라미터의 급증을 초래합니다. 이는 종종 낮은 식별성 (poor identifiability) 을 유발하여, 특히 희소한 간헐적 데이터에서 최적화 알고리즘이 실패하게 만듭니다. 이러한 모델을 제약하려는 이전 시도들 (예: Titman [28]) 은 표준 분포 (Weibull, Gamma) 를 근사하기 위해 집약적인 수치 최적화와 임의의 스플라인 선택에 의존했으며, 일반적이고 안정적인 소프트웨어 구현은 부재했습니다.

방법론
본 논문은 일반적인 상태 구조에 대해 안정적인 준-마르코프 모델링을 가능하게 하는 새로운 계산 프레임워크를 제안합니다. 핵심 방법론은 세 가지 주요 구성 요소를 포함합니다:

1. 모멘트 매칭을 통한 위상형 근사:
   표준 분포를 근사하기 위해 수치 최적화를 사용하는 대신, 저자들은 빠른 분석적 절차를 사용합니다. 그들은 Bobbio, Horváth, 그리고 Telek [5] 에서 영감을 받은 일련의 잠재 위상 (latent phases) 으로 정의된 Coxian 위상형 분포의 특정 계열을 활용합니다.

   • 이 방법은 타겟 분포 (Gamma 또는 Weibull) 의 첫 세 모멘트 (평균, 분산, 세 번째 모멘트) 를 위상형 분포와 매칭합니다.
   • 이를 통해 위상형 전이 강도에 대한 고유한 폐쇄형 표현식을 타겟 분포의 모양 (shape) 및 척도 (scale) 파라미터의 함수로서 도출합니다.
   • 이 접근법은 위상형 계열을 더 단순한 분포와 유사한 특성을 가진 것으로 제한함으로써 파라미터 공간을 축소하고, 완전히 유연한 위상형 모델에 비해 식별성을 향상시킵니다.

2. 공변량으로의 확장:
   이 프레임워크는 두 가지 방식으로 공변량을 포함하도록 근사를 확장합니다:

   • 체류 시간: 공변량은 가속 고장 시간 (AFT) 모델을 통해 체류 분포의 척도 파라미터에 영향을 미칩니다. 이는 잠재 위상 시퀀스 내의 모든 전이 강도를 동일한 인자로 스케일링하여 구현됩니다.
   • 다음 상태 확률: 공변량은 다항 로지스틱 회귀를 사용하여 특정 후속 상태로 전이할 확률에 영향을 미칩니다. 이를 통해 체류 시간과 독립적으로 다양한 이탈 목적지의 상대적 위험이 공변량에 따라 변할 수 있습니다.

3. 소프트웨어 구현 (msmbayes):
   이 방법은 새로운 R 패키지인 msmbayes 에 구현되었습니다. 이 패키지는 다음을 지원합니다:

   • 일반적인 상태 - 전이 구조 (사이클 포함).
   • 준-뉴턴 최적화를 통한 최대 가능도 추정 (MLE) 과 Stan 을 사용한 Hamiltonian Monte Carlo 를 통한 베이지안 추정.
   • 간헐적 데이터를 가진 다중 상태 모델링에서 흔히 발생하는 약한 식별성 상황에서 추정을 안정화하기 위한 사전 정보의 활용.

주요 결과
본 논문은 시뮬레이션 기반 보정과 실제 사례 적용을 통해 방법론을 검증했습니다:

• 시뮬레이션 기반 보정:

  • 정확도: msmbayes 패키지에서 생성된 MCMC 샘플은 균일 순위 통계 (uniform rank statistics) 를 통과하는 사후 분포를 생성하여 구현의 정확성을 확인했습니다.
  • Laplace 근사: Laplace 근사 (사후 모드 + 헤시안) 는 MCMC 실행 시간의 약 1% 수준으로 훨씬 빠르지만, 모양 파라미터와 다음 상태 로그 오즈에 편향을 도입했으며 특히 불확실성을 과소평가했습니다. 그러나 마르코프 모델의 경우 합리적인 근사를 제공했습니다.
  • 안정성: 최대 가능도 추정 (MLE) 이 수렴하지 못한 시나리오 (예: 약한 식별성을 가진 마르코프 모델의 시뮬레이션 데이터셋 중 76%) 에서 베이지안 접근법은 사전 분포에 의해 지배되는 수렴된 사후 분포를 성공적으로 생성하여, MLE 가 실패한 상황에서 불확실성에 대한 유효한 특성을 제공했습니다.

• 인지 기능에 대한 적용 (ELSA 데이터):

  • 이 방법은 인지 기능 상태와 사망 사이의 전이를 모델링하기 위해 영국 고령화 종단 연구 (ELSA) 에 적용되었습니다.
  • 많은 파라미터를 가진 표준 마르코프 모델은 실용적으로 식별 불가능하여 비현실적으로 큰 표준 오차를 발생시켰습니다.
  • 준-마르코프 모델 (5 위상 Weibull/Gamma 근사 사용) 은 적합도 (낮은 페널티화된 로그 가능도) 에서 modest(약간) 한 개선을 보였으며, 상태 진입 후 시간이 지남에 따라 전이 위험이 감소한다는 것 (모양 파라미터 < 1) 을 밝혀냈습니다.
  • 공변량 효과 (연령, 성별, 교육) 는 외부 사망률 데이터에서 유래한 베이지안 사전 분포를 사용하여 더 큰 안정성으로 추정되었습니다.

의의 및 주장
본 논문은 임의의 전이 구조를 가진 간헐적으로 관측된 데이터에 대한 안정적인 준-마르코프 모델링을 위한 최초의 일반적인 소프트웨어 구현을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 접근성: msmbayes R 패키지를 통해 준-마르코프 모델링을 계산적으로 어려운 니치 작업에서 실용적인 워크플로우로 변환합니다.
2. 안정성: 모멘트 매칭을 사용하여 위상형 분포를 친숙한 계열 (Gamma/Weibull) 로 제약함으로써, 특히 데이터가 희소할 때 일반적인 위상형 모델을 괴롭히는 식별성 문제를 완화합니다.
3. 베이지안의 유용성: 가능도 표면이 평평하거나 최적화가 실패하는 복잡한 다중 상태 모델에서 추정을 안정화하기 위해 베이지안 추정이 필수적임을 보여줍니다.
4. 유연성: 이 접근법은 가역적 전이를 포함한 일반적인 전이 구조와 체류 시간 및 다음 상태 확률에 영향을 미치는 공변량을 처리합니다.

저자들은 대규모 상태 공간에 대한 행렬 지수 함수의 계산 비용 (Laplace 근사 또는 위상 수 감소를 통해 완화됨) 과 다음 상태 확률이 체류 시간과 독립적이라는 가정과 같은 한계를 인정합니다. 또한 이 방법이 지수 가정보다 개선되었음에도 불구하고 여전히 매개변수적 근사이며, 이러한 복잡하고 간헐적으로 관측된 데이터에 대한 모델 검사가 여전히 어렵다고 지적합니다.