📊 statistics

Robust estimation of occupation probabilities for coarsened multistate processes

이 논문은 우측 검열(right-censoring) 및 기저 노출의 거칠기 변화(baseline exposure coarsening)가 발생하는 다상 모델(multistate models)에서 점유 확률(occupation probabilities)을 위한 증강 역확률 가중치 추정량(augmented inverse probability weighted estimators)을 도출하며, 마르코프 성질(Markov properties)을 요구하지 않고 무작위 거칠기 변화(coarsening-at-random) 가정하에서의 강건성과 효율성을 확립한다.

원저자: Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

게시일 2026-06-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Niklas Nyboe Maltzahn, Gergely Dániel Lukáts, Kjetil Røysland

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 거대한 건물 안의 여러 "방"을 이동하는 한 집단의 삶의 궤적을 추적하려고 한다고 상상해 보십시오. 어떤 방은 일시적(예: "건강함" 또는 "질병")이고, 어떤 방은 최종 출구(예: "사망")입니다. 통계학에서는 이를 **다상태 과정(multistate process)**이라고 부릅니다.

이 논문의 목표는 다음과 같은 간단한 질문에 답하는 것입니다: "특정 시점에 사람들의 몇 퍼센트가 특정 방에 있는가?" 이것을 **점유 확률(occupation probability)**이라고 합니다.

하지만 현실 세계에서 이를 정확하게 계산하는 데에는 두 가지 큰 문제가 있습니다:

사람들이 중도 탈락합니다: 사람들이 최종 출구에 도달하기 전에 건물에서 나갑니다(이를 **우측 절단(right-censoring)**이라고 합니다). 예를 들어, 이사를 가거나 연구가 종료되는 경우입니다.
숨겨진 요인들: 사람들이 떠나거나 경로를 선택하는 이유가 우리가 완벽하게 측정하지 못한 것들이나, 시간에 따라 변하는 것들(예: 건강 상태가 악화되는 것)에 의존할 수 있습니다.

저자인 니클라스 니보 말츠한(Niklas Nyboe Maltzahn)과 그의 팀은 이 퍼즐을 풀기 위한 새로운 수학적 도구(추정량)를 구축했습니다. 여기서는 비유를 통해 그 방법을 설명합니다.

문제: "깨진 지도"

당신이 건물 안의 모든 사람이 어디에 있는지 지도를 그리려고 한다고 상상해 보십시오. 하지만 당신의 지도는 다음의 이유로 흐릿합니다:

일부 사람들이 당신의 시야에서 사라졌습니다 (절단).
당신은 누가 사라질 가능성이 높은지에 대해 (배정된 처치에 근거하여) 대략적인 추측만을 가지고 있습니다.

만약 당신이 눈에 보이는 사람들만 센다면, 당신의 지도는 틀릴 것입니다. 예를 들어, 가장 아픈 사람들이 연구에서 일찍 탈락했다면, 당신은 "질병" 방에 있는 사람이 적다고 오해할 수 있습니다.

해결책: "더블 체크" 시스템

저자들은 **가중 역확률 가중치(Augmented Inverse Probability Weighting, AIPW)**라고 불리는 방법을 제안합니다. 이것을 빠진 지도의 조각들을 추측하기 위해 두 가지 다른 방법을 사용하는 "더블 체크" 시스템이라고 생각해 보십시오. 한 가지 방법이 틀리더라도, 다른 하나가 구해낼 수 있습니다.

그들은 실제로 이 도구의 다섯 가지 서로 다른 버전을 제안하지만, 주요한 두 가지는 다음과 같습니다:

"가중치 적용 카운트" (IPW):
당신에게 연구에 남은 사람들의 명단이 있다고 상상해 보십시오. 당신은 탈락한 사람들과 비슷해 보이는 사람들에게 "더 무거운 가중치"를 부여합니다. 만약 건강한 사람은 남았지만 많은 아픈 사람들이 떠났다면, 당신은 그 건강한 사람을 마치 많은 아픈 사람들을 대표하는 것처럼 계산합니다. 이는 수학적으로 "빈틈을 채움"으로써 누락된 데이터를 수정하려고 시도하는 것입니다.
- 약점: 만약 사람들이 왜 탈락했는지에 대한 당신의 추측이 틀렸다면, 당신의 지도 전체가 틀리게 됩니다.
"증강된" 버전 (AIPW):
이것이 이 논문의 초능력입니다. 이 방법은 "가중치 적용 카운트"를 가져와서 두 번째 층인 예측 모델을 추가합니다.
- 이 모델은 다음과 같이 묻습니다: "남아 있는 사람들에 대해 우리가 알고 있는 것을 바탕으로, 떠난 사람들은 어떤 모습이었을까?"
- 이것은 "가중치 적용 카운트"와 이 "예측"을 결합합니다.
- 마법: 만약 사람들이 왜 떠났는지에 대한 당신의 추측이 틀렸더라도, 당신의 예측 모델이 맞다면 답은 여전히 정확합니다. 만약 당신의 예측이 틀렸지만 사람들이 왜 떠났는지에 대한 추측이 맞다면, 답은 여전히 정확합니다. 오직 두 가지 추측이 모두 틀렸을 때만 실패합니다. 이것을 **이중 강건성(Double Robustness)**이라고 합니다.

"원스텝(One-Step)" 업그레이드

저자들은 또한 "원스텝" 추정량을 만들었습니다. 당신이 과녁을 맞히려고 한다고 상상해 보십시오.

기본 방법은 한 발을 쏩니다.
"원스텝" 방법은 한 발을 쏘고, 그것이 얼마나 빗나갔는지 확인한 다음, 즉시 정밀한 조정을 가하여 과녁 정중앙에 착륙합니다.
이것은 결과값을 더 효율적(덜 흔들리게)이고 더 신뢰할 수 있게 만듭니다. 데이터가 엉망이더라도 말이죠.

"수정된" 버전

때때로 예측 모델이 조금 "흔들리거나" 편향될 수 있습니다. 저자들은 이 도구들에 "수정된" 버전을 추가했습니다.

이것은 **자기 교정 스티어링 휠(핸들)**과 같습니다. 도로가 미끄러워(편향된 데이터) 차가 경로를 벗어나기 시작하면, 핸들이 자동으로 각도를 조절하여 차가 직선 경로를 유지하도록 합니다.
이를 통해 데이터가 완벽하지 않더라도 도구가 정확성을 유지하도록 보장합니다.

시뮬레이션 테스트

자신의 도구가 작동함을 증명하기 위해, 저자들은 대규모 컴퓨터 시뮬레이션을 실행했습니다.

그들은 "건강함", "질병", "사망" 상태 사이를 이동하는 9,000명의 가짜 세계를 만들었습니다.
그들은 임의의 시간에 사람들이 연구에서 탈락하도록 만들었습니다.
그런 다음 그들은 다섯 가지 도구를 사용하여 사람들이 원래 어디에 있었어야 하는지를 파악하려고 노력했습니다.

결과:

데이터가 완벽했을 때, 모든 도구가 작동했지만, "원스텝" 및 "수정된" 도구가 가장 정밀했습니다 (오차가 가장 적었습니다).
그들이 의도적으로 데이터를 망가뜨렸을 때 (도구들이 사람들이 왜 탈락했는지에 대해 잘못 추측하게 만들었을 때), 기본 도구들은 처참하게 실패했습니다.
그러나 증강된 (AIPW) 도구들은 완벽하게 작동을 유지했습니다. 이 도구들은 "강건(robust)"했습니다. 즉, 데이터가 엉망이 되어도 무너지지 않았습니다.

핵심 요약

이 논문은 통계학자들에게 사람들이 시간을 두고 어떻게 다양한 상태(예: 건강 상태)를 이동하는지 추적할 수 있는 새롭고 매우 강력한 도구 세트를 제공합니다. 사람들이 연구에서 중도 탈락하거나 탈락하는 이유가 복잡하더라도 말입니다.

핵 핵심은 **중복성(redundancy)**입니다: 누락된 정보를 추측하기 위해 두 가지 다른 방법을 사용함으로써, 저자들은 이전 방식보다 속이기 훨씬 어려운 시스템을 만들었습니다. 이 방식은 사람들의 미래 경로가 오직 현재 상태에만 의존한다는 복잡한 가정("마르코프" 가정)을 필요로 하지 않으며, 따라서 역사가 중요한 훨씬 더 넓은 범위의 실제 시나리오에 적용 가능합니다.

기술 요약: 거친화된 다상태 프로세스(Coarsened Multistate Processes)의 점유 확률에 대한 강건한 추정

문제 정의
다상태 모델은 질병 진행, 고용 상태, 또는 신용 등급과 같이 개체가 시간에 따라 잘 정의된 상태 사이를 전이하는 현상을 분석하기 위한 일반적인 프레임워크를 제공한다. 이러한 모델에서 주요 관심 파라미터는 **점유 확률(occupation probability)**로, 이는 특정 시점 $t_0$ 에서 프로세스가 특정 상태에 머물러 있을 확률을 의미한다. 실제로 이러한 프로세스는 두 가지 수준의 거친화(coarsening)를 겪는 경우가 많다: 우측 절단(예: 중도 탈락) 및 기초 노출(치료 할당).

기존의 다상 상태 모델 문헌은 상태 전이에 대한 마르코프 성질(Markov property)이나 기저 공변량에 따른 절단과 프로세스 이력 간의 독립성과 같은 제한적인 가정에 의존하는 경우가 많다. 본 논문은 더 약한 가정 하에서 반사실적(counterfactual) 다상태 프로세스의 점유 확률을 추정하는 과제를 다룬다. 구체적으로, 저자들은 비마르코프적 상태 전이를 처리하고, 무작위 거친화(Coarsening at Random, CAR) 가정이 성립하는 한 우측 절단 메커니즘이 프로세스의 자연사(natural history)와 시변 공변량 모두에 의존할 수 있도록 하는 것을 목표로 한다.

방법론
저자들은 인과 추론 및 결측 데이터 문헌의 기법을 사용하여 점유 확률에 대한 증강 역확률 가중(Augmented Inverse Probability Weighted, AIPW) 추정량을 유도한다.

데이터 구조 및 식별 가능성:
- 전체 데이터 프로세스는 가상의 개입 $a \in \{0, 1\}$ 하에서의 cadlag 다상태 프로세스 $Z_a$ 와 그에 따른 시변 공변량 $L_a$ 및 기저 공변량 $W$ 로 정의된다.
- 관측된 데이터는 잠재적 우측 절단 시간 $C_a$ 와 관측된 치료 $A$ 에 의해 거친화된다.
- 식별 기준: 저자들은 다음을 가정한다:
  - 일관성(Consistency): 관측된 데이터는 전체 반사실적 데이터의 일관된 거친화이다.
  - 양의성(Positivity): 치료 할당 및 미절단 상태로 남아있을 확률이 엄격히 양수이다.
  - 교환 가능성(CAR): 거친화 메커니즘(치료 및 절단)은 기저 공변량과 현재 시점까지의 이력이 주어졌을 때 전체 반사실적 데이터와 독립적이다. 결정적으로, 이는 표준적인 독립 절단 가정과 달리 절단이 프로세스의 이력에 의존할 수 있음을 허용한다.
효율적 영향 함수(Efficient Influence Function, EIF):
- 대상 파라미터는 역확률 가중(IPW) 추정량(estimand)을 통해 식별된다.
- 저자들은 관측 데이터 추정량에 대한 **효율적 영향 함수(EIF)**를 유도한다. 이는 전체 데이터 매핑의 스코어(score)를 관측 데이터 모델의 접선 공간(tangent space)으로 투영하고, 치료 성향 점수( $\pi$ ) 및 절단 메커니즘( $G$ )과 관련된 섭동 접선 공간으로의 직교 투영을 빼는 과정을 포함한다.
- EIF는 섭동 파라미터인 성향 점수 $\pi$ , 절단 생존 함수 $G$ , 그리고 절단 확률의 역수로 가중된 기대 결과값을 나타내는 두 개의 조건부 기대 함수 $Q$ 와 $\eta$ 에 의존한다.
제안된 추정량:
EIF를 기반으로 다섯 가지 추정량이 제안된다:
- IPW 추정량 ( $\hat{\psi}^0_n$ ): 단순한 역확률 가중 추정량이다.
- 증강 IPW 추정량 ( $\hat{\psi}^\nu_n$ 및 $\hat{\psi}^\mu_n$ ): EIF 투영에서 유도된 보정 항(증강 항)을 포함한다. $\hat{\psi}^\mu_n$ 은 치료와 절단 증강 항을 모두 포함하는 one-step 추정량이다.
- 수정된 AIPW 추정량 ( $\hat{\psi}^{\nu, mod}_n$ 및 $\hat{\psi}^{\mu, mod}_n$ ): 증강 항에 대한 회귀 계수를 (OLS를 통해) 추정함으로써 표준 AIPW 추정량을 수정한다. 이는 섭동 파라미터 추정치가 편향되었을 때 직교성을 강제하여 효율성을 개선하기 위함이다.
섭동 파라미터 추정:
- $\pi$ 와 $G$ 는 작동 모델(성향 점수를 위한 로지스틱 회귀 및 절단 위험도를 위한 Cox 모델)을 사용하여 추정된다.
- $Q$ 와 $\eta$ 는 조건부 집합의 요약값에 대해 가중 관측치(pseudo-outcomes)를 회귀 분석하여 추정된다.

주요 결과
다섯 가지 추정량의 성능은 재발을 포함하는 3-상태 질병-사망 모델을 포함하는 시뮬레이션 연구를 통해 평가되었다. 여기서 전이율은 기저 공변량에 의존하며, 절단은 기저 및 시변 이력 모두에 의존한다.

올바른 명세(Correct Specification): 모든 섭동 파라미터가 일관되게 추정되었을 때, 모든 추정량은 편향되지 않았다. 그러나 one-step 추정량( $\hat{\psi}^\mu_n$ )이 가장 낮은 평균 제곱 오차(RMSE)를 보였으며, 이는 IPW 및 부분적으로 증강된 추정량에 비해 효율성 우위가 있음을 확인시켜 준다.
명세 오류에 대한 강건성(Robustness to Misspecification):
- 편향된 성향 점수( $\pi$ ) 또는 절단( $G$ ): 단순 IPW 추정량은 상당한 편향을 보였다. 반면, 완전히 증강된 추정량( $\hat{\psi}^\mu_n$ )은 $\pi$ 나 $G$ 가 잘못 명세되더라도 다른 구성 요소가 올바르게 명세되어 있다면 강건함(불편성)을 유지했다.
- 편향된 회귀 항( $Q$ 또는 $\eta$ ): 회귀 기반 섭동 파라미터가 잘못 명세되었을 때, 완전히 증강된 추정량은 여전히 불편성을 유지했으나 효율성은 상실되었다. 수정된 추정량( $\hat{\psi}^{\mu, mod}_n$ )은 특정 시나리오에서 RMSE를 약간 개선하는 모습을 보였으며, 이는 증강 항의 편향으로 인한 효율성 손실을 부분적으로 완화할 수 있음을 시사한다.
수렴(Convergence): 시뮬레이션 결과는 이론적 효율성 계층 구조인 $\hat{\psi}^\mu_n$ (one-step) > $\hat{\psi}^\nu_n$ (부분 증강) > $\hat{\psi}^0_n$ (IPW)를 확인해주었다.

의의 및 주장
본 논문은 제안된 추정량들이 기존 문헌보다 더 약한 가정 하에서 다상태 모델의 점유 확률을 추정하는 강건하고 효율적인 접근법을 제공한다고 주장한다.

일반성: 특정 모델(예: 재발이 없는 질병-사망 모델 또는 마르코프 가정 하의 경쟁 위험 모델)에 특화된 기존 방법들과 달리, 이 추정량들은 임의의 상태 수를 가진 다상태 모델에 적용 가능하며 비마르코프적 전이 및 시변 혼란(time-dependent confounding)을 허용한다.
절단 가정의 완화: 이 프레임십은 절단이 다상태 프로세스의 내부 이력에 의존할 수 있도록 명시적으로 허용한다. 이는 현실적인 모델링(예: 재발을 포함하는 질병-사망 모델)에서 필수적이지만, 표준적인 독립 가정 하에서는 다루기 어려운 특징이다.
이중 강건성(Double Robustness): One-step 추정량은 이중 강건 속성을 가진다. 즉, 치료/절단 모델( $\pi, G$ ) 또는 결과 회귀 모델( $Q, \eta$ ) 중 하나만 올로 바르게 명세되어도 일관성을 유지한다.
실용적 유용성: 저자들은 one-step 추정량이 모든 절단 시점에서 복잡한 섭동 파라미터( $\eta$ )를 추정하기 위해 충분한 표본 크기를 요구하지만, 중간 규모의 데이터셋(예: 2,500~9,000명)에서도 안정적이며 명세 오류가 있는 상황에서 IPW보다 우수한 성능을 제공한다고 언급한다.

저자들은 CAR 가정이 강력한 조건(교차 세계 가정(cross-world assumptions)을 함의함)이지만, 복잡한 결측 데이터 구조가 존재하는 상황에서 우도 기반 추론(likelihood-based inference)과 준모수적(semi-parametric) 모델 구축을 가능하게 하는 필수적인 도구라고 결론짓는다. 제안된 방법들은 이러한 이론적 발전을 실제 세계의 다상태 데이터 분석에 구현할 수 있는 실용적인 방안을 제공한다.