Adressing Separation: A Firth-corrected Joint Model for Longitudinal and Time-to-event Data with an Application on Dropout from Vocational Training

기술 요약: Firth 보정을 통한 결합 모델의 분리 문제 해결

문제 정의
종단적 데이터와 시간-사건 데이터를 위한 결합 모델(Joint models)은 내생적 시변 공변량(예: 바이오마커 또는 만족도)을 생존 결과와 함께 분석하는 데 널리 사용된다. 그러나 이러한 모델은 그 생존 부모델(submodels)의 한계, 즉 분리(separation) 문제를 그대로 물려받는다. 분리는 범주형 공변량이 특정 범주에서 사건의 부재를 완벽하게 예측할 때(예: 특정 직업 분야에서 중도 탈락자가 없는 경우) 발생한다. 이는 **단조 가능도(monotone likelihood)**로 이어져 회귀 계수가 무한대로 발산하거나 불안정해지게 만들며, 표준 최대 가능도 추정(MLE)을 효과적이지 않게 만든다. Firth 보정은 이진 회귀 및 Cox 비례 위험 모델에서 편향을 완화하기 위해 확립되었으나, 결합 모델 프레임워크에는 공식적으로 통합되지 않아 희귀 사건이나 매우 불균형한 공변량을 가진 설정에서 결합 모델의 적용성을 제한해 왔다.

방법론
저자들은 기댓값 최대화(EM) 알고리즘을 사용하는 빈도주의 추정 프레임워크 내에서 구현된 Firth 보정 결합 모델을 제안한다.

1. 모델 구조: 모델은 두 개의 연결된 부모델로 구성된다:
   • 랜덤 절편과 기울기를 사용하여 내생적 공변량 $m_i(t)$의 궤적을 포착하는 종단적 부모델(선형 혼합 모델).
   • 기초 공변량과 현재의 종단적 과정 $m_i(t)$의 값에 연관 매개변수 $\alpha$를 통해 의존하는 생존 부모델(Cox 유형의 비례 위험 모델).
2. Firth 보정 구현:
   • 저자들은 생존 부모델 계수($\theta_{surv}$)의 스코어 함수(score function)에 필요한 보정 항을 도출한다.
   • MLE의 편향은 스코어 함수의 2차 테일러 전개를 사용하여 근사된다. 보정 항 $c(\theta)$는 $c(\theta) = \frac{1}{2} \text{tr}\left[ I(\theta)^{-1} \frac{\partial I(\theta)}{\partial \theta} \right]$로 도출되며, 여기서 $I(\theta)$는 피셔 정보 행렬(Fisher Information matrix)이다.
   • 이 항은 EM 알고리즘의 M-단계(M-step), 구체적으로 생존 계수의 뉴턴-래프슨 업데이트 단계인 $\hat{\theta}^{(t+1)}_{surv} = \hat{\theta}^{(t)}_{surv} + [I(\hat{\theta}^{(t)}_{surv})]^{-1} S^*(\hat{\theta}^{(t)}_{surv})$에 추가된다 (여기서 $S^*$는 보정된 스코어이다).
   • 초기화: 수렴을 보장하기 위해, 저자들은 고전적인 Firth 보정 Cox 모델(R 패키지 coxphf를 통해)로부터 얻은 페널티 최대 가능도 추정치를 사용하여 외생적 회귀 계수를 초기화한다.
   • 추론: 표준 오차는 전체 헤시안(Hessian) 행렬의 전방 차분 근사를 사용하여 도출된다.

시뮬레이션 연구 결과
Firth 보정 결합 모델(FC-JM)의 성능을 고전적 결합 모델(JM) 및 Firth 보정 시작값을 사용한 결합 모델(JMc)과 비교 평가하기 위해 시뮬레이션 연구가 수행되었다.

• 편향 감소: 분리가 발생하는 시나리오에서, FC-JM은 분리 공변량에 대해 JM보다 유의미하게 적은 편향을 보였다. 추정치는 비분리 시나리오에서 관찰된 값에 근접했다.
• 정보 의존성: 보정의 성능은 가능도의 곡률에 의해 결정되며, 이는 사건의 절대 수에 따라 달라진다. FC-JM은 분리 문제가 가장 심각한 저정보 설정(작은 표본 크기, 높은 검열)에서 가장 우수한 성능을 보였다.
• 안정성: FC-JM은 편향을 줄였으나, 매우 희소한 데이터 설정에서는 분석적 헤시안이 불량한 상태(ill-conditioned)가 되어 소수의 이상치가 관찰되었다. 이는 BFGS를 통해 헤시안을 근사하는 표준 JM에는 없는 한계점이다.
• 기타 계수: 보정은 비분리 계수의 추정치를 유의미하게 변화시키지 않았으며, 모델 전체에 걸쳐 정확성을 유지했다.

실제 적용: 직업 훈련 중도 탈락
이 방법은 독일 국립 교육 패널 연구(NEPS)의 직업 훈련 중도 탈락 데이터를 대상으로 적용되었다.

• 맥락: 연구는 훈련 만족도(종단적)의 궤적과 중도 탈락 위험(시간-사건)을 모델링했다.
• 분리 문제: 여성 하위 집단에서 "기타 상업 서비스 분야 직업"이 분리를 나타냈으며(중도 탈락 사건 0건), 이로 인해 고전적 JM은 무한한 계수와 팽창된 표준 오차를 생성했다.
• 결과:
  • FC-JM은 분리된 섹터에 대해 유한하고 안정적인 추정치를 제공하였으며, 이는 참조 섹터와 비교했을 때 중도 탈락 위험에 유의미한 차이가 없음을 나타냈다.
  • 모델은 효과를 직접 효과(예: 교육 수준, 직업적 타협이 중도 탈락 위험에 직접 영향을 미침)와 간접 효과(만족도를 통해 매개됨)로 성공적으로 분해하였다.
  • 결과는 사회경제적 요인과 타협 수준이 만족도에 유의미한 영향을 미치지만, 만족도 궤적을 고려하면 중도 탈락에 대한 직접적인 효과는 종종 비유의적임을 확인시켜 주었다. 반면, 교육과 직업적 타협은 보호 또는 위험 증가 효과를 유지하는 직접적인 효과를 가졌다.

의의 및 주장
본 논문은 제안된 Firth 보정 추정 루틴이 단조 가능도로 인해 고전적 방법이 실패하는, 희귀 사건이나 매우 불균형한 범주형 공변량을 특징으로 하는 데이터셋에 대한 결합 모델의 적용성을 확장한다고 주장한다.

• 방법론적 기여: 결합 모델 EM 알고리즘 내에 Firth 페널티를 적용하는 형식을 공식적으로 도출 및 구현함으로써, 분리 사례에서도 유한하고 편향이 적은 계수를 추정할 수 있게 하였다.
• 실질적 기여: 직업 훈련 적용 사례에서, 본 모델은 만족도를 명시적으로 모델링함으로써 더 엄격한 인과적 프레임워크를 제공한다. 이는 구조적 예측 변수가 정서적 상태(만족도)를 통해 간접적으로 중도 탈락 위험에 영향을 미친다는 것을 보여주며, 이는 표준적인 2단계 또는 정적 예측 방식에서는 가려질 수 있는 메커니즘이다.
• 한계: 저자들은 현재 구현이 현재값 연관(current-value associations) 및 시간 불변 외생 공변수에 제한되어 있다고 언급했다. 또한, 분석적 헤시안에 대한 의존도가 매우 희소한 데이터에서 수치적 불안정성을 초래할 수 있음을 지적하며, 향후 안정화 전략의 필요성을 제시했다.

이 연구는 특정 추정 실패 모드에 대한 해결책으로 제시되었으며, 이를 통해 연구자들이 기존에는 부적합하다고 여겨졌던 분리 현상이 존재하는 맥락에서도 결합 모델을 활용할 수 있게 함으로써, 희귀 사건을 다루는 사회과학 및 생물 통계학적 응용 분야의 추론 강건성을 개선하였다.