Counterfactual Survival Q-learning via Buckley-James Boosting, with Applications to ACTG 175 and CALGB 8923

기술 요약: Buckley-James 부스팅을 통한 반사실적 생존 Q-러닝

문제 정의
본 논문은 우측 검열(right-censored)된 생존 시간을 갖는 종단적 무작위 임상 시험으로부터 최적의 동적 치료 체계(DTR)를 추정하는 과제를 다룹로다. 이 분야의 주요 어려움은 환자의 중도 탈락이나 행정적 검열로 인한 불완전한 추적 관찰 데이터의 존재이며, 이는 잠재적 결과(potential outcomes)의 추정을 복잡하게 만듭니다. 또한, 기존 방법들은 종종 비례 위험(proportional hazards, PH) 가정(예: Cox 회귀)에 의존하는데, 이는 공변량의 효과가 비선형적이거나 위험비(hazard ratio)를 임상적으로 해석하기 어려운 경우 성립하지 않을 수 있습니다. 선형 Buckley–James (BJ) Q-learning과 같은 기존 접근 방식은 비선형 관계를 처리하는 데 어려움이 있으며, 실제 데이터 생성 메커니즘이 복잡할 때 수렴 문제가 발생할 수 있습니다. 저자들은 PH 가정을 피하고, 비선형 공변량 효과를 처리하며, 검열 상황에서도 견고한 단계별 Q-함수 추정을 제공하는 유연한 프레임워크를 개발하고자 합니다.

방법론
제안된 방법인 BJ Boost Q-learning은 가속 실패 시간(accelerated failure time, AFT) 프레임워크 내에서 반사실적 Q-learning과 Buckley–James (BJ) 부스팅 알고리즘을 통합합니다.

1. 프레임워크 설정: 본 연구는 $K$개의 결정 단계가 있는 순차적 무작위 시험을 고려합니다. 단계별 지속 시간($T_{i,k}$)과 누적 생존 시간을 정의하기 위해 잠재적 결과 표기법을 활용합니다. 목표는 Q-함수의 역방향 재귀(backward recursion)를 통해 기대 누적 생존 시간을 최대화하는 결정 규칙 $d_k^*$를 학습하는 것입니다.
2. 임퓨테이션(Imputation)을 위한 Buckley–James 부스팅: 우측 검열된 결과를 처리하기 위해, 본 방법은 검열된 생존 시간을 임퓨테이션하기 위해 BJ 부스팅을 사용합니다. 위험 함수를 모델링하는 대신, 로그 변환된 생존 시간의 조건부 평균을 직접 모델링합니다.
   • 임퓨테이션 메커니즘: 주어진 단계와 처치 군에 대해 회귀 함수 $f_{k,a}(\cdot)$를 적합시킵니다. 검열된 관측치의 경우, 잔차 분포를 Kaplan–Meier 추정량을 사용하여 추정합니다. 검열된 결과는 적합된 값에 관측된 시간을 초과하는 잔차의 조건부 평균을 더한 값으로 임퓨테이션됩니다.
   • 유연한 베이스 러너(Base Learners): 본 논문은 회귀 함수 $f_{k,a}$를 추정하기 위해 두 가지 부스팅 전략을 구현합니다.
     • BJ-LS: 트윈 부스팅 정교화(twin boosting refinement)를 포함한 구성 요소별 최소제곱법(componentwise least squares)을 사용합니다 (알고리즘 1).
     • BJ-Tree: 회귀 트리(regression trees)를 사용합니다 (알고리즘 2).
   • 반복 과정: 임퓨테이션과 모델 적합은 반복적으로 수행됩니다. 각 단계 및 처치 군 내에서 교차 검증을 사용하여 부스팅 단계 수를 선택하며, 검열을 고려하여 점수를 매기기 위해 임퓨테이션된 응답을 사용합니다.
3. 역방향 Q-러닝: 검열된 결과가 임퓨테이션되면, 표준 역방향 재귀를 진행합니다. 마지막 단계 $K$에서는 임퓨테이션된 결과로부터 Q-함수를 직접 추정합니다. 이전 단계 $k < K$의 경우, 임퓨테이션된 단계 결과에 다음 단계의 최대 추정 Q-값을 더하여 의사 결과(pseudo-outcomes)를 구성합니다. 그 후, 동일한 부스팅 러너를 사용하여 이 의사 결과들을 히스토리 및 현재 처치에 대해 회귀함으로써 $Q_k$를 추정합니다.
4. 식별 가능성(Identifiability): 이 접근 방식은 순차적 무작위 시험에 대한 표준 가정인 일관성(consistency), 순차적 무작위성(sequential randomization), 양의성(positivity), 그리고 간섭 없음(no interference)에 의존합니다.

주요 기여

• 새로운 프레임워크: 본 논문은 우측 검열된 생존 데이터를 위해 특별히 설계된 AFT 모델과 반복적 부스팅을 결합한 반사실적 Q-learning 프레임워크를 도입합니다.
• 유연성 및 견고성: BJ 프레임워크 내에서 유연한 베이스 러너(구성 요소별 최소제곱법 및 회귀 트리)를 활용함으로써, PH 가정에 의존하지 않고 비선형 공변량-처치 상호작용을 포착합니다.
• 시간의 직접적 모델링: 위험 함수를 모델링하는 Cox 기반 Q-learning과 달리, 이 접근 방식은 조건부 생존 시간을 직접 모델링하여 임상적으로 해석 가능한 시간 척도 대비(time-scale contrasts)를 산출합니다.
• 알고리즘 구현: 저자들은 BJ 트윈 부스팅과 반복적 Buckley–James 임퓨테이션을 포함한 BJ 트리 부스팅을 구현하기 위한 상세한 알고리즘(알고리즘 1 및 2)을 제공합니다.

결과
BJ Boost Q-learning의 성능은 시뮬레이션 연구와 실제 데이터 적용을 통해 평가되었습니다.

• 시뮬레이션 연구:
  • 단일 단계 설정: 50% 검열 및 비선형 공변량 효과가 있는 환경에서, BJ-Tree는 가장 높은 처치 결정 정확도(n=1000일 때 중앙값 >91%)를 달이어, 선형 BJ-Q 및 Cox 기반 Q-learning(중앙값 <45%)을 크게 앞질렀습니다. BJ-LS 또한 좋은 성능을 보였으나 BJ-Tree보다는 약간 낮은 정확도를 보였습니다.
  • 이단계 설정: 다단계 설정에서는 추정 오차가 누적될 수 있습니다. BJ-Tree는 가장 높은 정확도(중앙값 >84%)를 유지한 반면, Cox 기반 Q-learning은 저조한 성능(중가값 <20%)을 보였습니다. 이 결과는 복잡한 구조를 포착하는 데 있어 유연한 비모수 모델이 매우 중요하다는 점을 강조합니다.
• ACTG 175 (HIV 임상 시험) 적용:
  • ddI 단독 요법과 AZT+ddI 병용 요법을 비교하는 2,139명의 환자를 분석했습니다.
  • BJ-LS와 BJ-Tree 모두 대다수의 참가자에게 병용 요법을 강력하게 권고했습니다.
  • 학습된 규칙은 처치 권고와 관련된 임상적으로 해석 가능한 공변량(예: Karnofsky 점수, 증상 상태, 이전 항레트로바이러스제 사용 여부)을 식별하였으며, 이는 기존 문헌과 일치합니다.
• CALGB 8923 (백혈병 임상 시험) 적용:
  • 유도 요법(induction) 및 관해 후 요법(post-remission therapy)을 포함하는 2단계 시험을 388명의 참가자를 대상으로 분석했습니다.
  • ACTG 175 결과와 달리, Cox, BJ, BJ-LS 모델은 한 처치를 선호하는 통계적으로 유의미한 쌍별 차이(paired differences)를 생성하여 결정적인 권고를 도출했습니다.
  • 반면, BJ-Tree는 평균 생존 이득이 없다는 해당 임상 시험의 보고 내용과 일치하도록, 반사실적 생존의 평균 차이가 통계적으로 유의하지 않은 균형 잡힌 권고를 생성했습니다. 이는 BJ-Tree가 약한 처치 효과가 있는 설정에서 과적합되거나 대비를 부풀릴 가능성이 적음을 시사합니다.

의의 및 주장
본 논문은 BJ Boost Q-learning이 검열된 생존 데이터로부터 동적 처치 체계를 학습하기 위한 견고하고 유연한 대안이 될 수 있다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 모델 오설정 방지: PH 가정을 피하고 유연한 러너를 사용함으로써, 비선형 효과가 있는 환경에서의 편향을 줄입니다.
2. 결정 정확도 향리: 시뮬레이션 결과는 이 방법, 특히 트리 기반 변형이 선형 또는 위험 기반 접근 방식에 비해 처치 결정 정확도를 크게 향상시킨다는 것을 입증합니다.
3. 다단계 설정에서의 안정성: 이 방법은 초기 단계의 오류가 누적될 수 있는 다단계 임상 시험에서 특히 가치 있는 것으로 나타났으며, 보다 안정적인 반사실적 대비를 제공합니다.
4. 임상적 해석 가능성: 생존 시간을 직접 모델링함으로써, 사건 발생 시간 이득 측면에서 해석 가능한 개별화된 결정 규칙을 도출할 수 있습니다.

저자들은 높은 검열율 하에서의 추가 평가 필요성, 초기 부스팅 단계에서의 잠재적 편향 전파, 그리고 현재 관찰 데이터로의 확장이 필요한 무작위 시험에 국한된 점 등 한계점을 조심스럽게 언급하였습니다.