How to optimize dynamic borrowing in basket trials - A utility-based framework and results of a comparison study

기술 요약: 바스켓 임상시험의 동적 정보 차입 최적화

문제 정의
바스켓 임상시험(Basket trials)은 통일된 임상 구조 내에서 여러 하위 집단(층, strata)에 걸쳐 단일 치료법을 조사하며, 이는 초기 단계 종양학 및 희귀 질환 연구에서 흔히 볼 수 있는 설계이다. 각 층을 별도로 분석하는 것은 제1종 오류(Type-I error) 제어를 보존하지만, 표본 크기가 작을 경우 통계적 검정력(Power)이 낮아지는 결과를 초래한다. 반면, 모든 데이터를 통합하는 것은 검정력을 높이지만, 비활성 층에서 제1종 오류율(TOER)을 팽창시킬 위험이 있다. 반응 유사성에 기반하여 층 간 정보를 동적으로 공유하기 위해 정보 차입(Information borrowing) 방법들이 제안되어 왔으나, 이는 검정력 이득과 제1종 오류 팽창 사이의 균형을 맞추는 것을 목표로 한다. 그러나 이러한 방법들의 성능은 튜닝 파라미터에 크게 의존하며, 가능한 모든 결과 시나리오에 대해 보편적으로 최적화된 설계는 존재하지 않는다. 본 논문은 이러한 설계들을 최적화하기 위한 체계적인 프레임워크의 부재와 어떤 최적화 알고리즘 및 목적 함수(Utility functions)가 최선의 절충안을 제공하는지에 대한 불확실성을 다룬다.

방법론
저자들은 튜닝 파라미터의 선택을 제약 조건이 있는 최적화 문제로 취급하여, 바스켓 임상시험 설계를 최적화하기 위한 구조화된 프레임워크를 제안한다. 이 방법론은 세 가지 주요 구성 요소로 나뉜다:

1. 최적화 프레임워크: 저자들은 임상시험별 측면(층의 수, 종점 유형, 시나리오 세트), 운영 특성(검정력과 같은 목표, 제1종 오류율과 같은 제약), 그리고 분석 전략을 포함하는 바스켓 임상시험 계획을 위한 체크리스트를 정의한다. 프레임워크의 핵심은 제약 조건($v \leq c$, 오류율에 대한 제약) 하에서 최대화할 목적 함수($u$, 예: 올바른 결정의 기대 횟수)를 정의하는 것이다.
2. 비교 연구 설계: 다양한 최적화 알고리즘(Grid Search, Simulated Annealing, COBYLA, Differential Evolution, Particle Swarm Optimization)이 최적의 튜닝 파라미터를 찾는 데 있어 신뢰성과 효율성이 어떠한지 평가하기 위해 사전 지정된 비교 연구가 수행되었다:
   • Part I: 다양한 최적화 알고리즘의 신뢰성 및 효율성 평가.
   • Part II: 7개의 서로 다른 결과 시나리오 세트에 대한 12개의 독특한 목적 함수의 통계적 성능 평가. 시나리오는 층의 수($I=3$ ~ $20$)와 표본 크기에 따라 다양하게 구성되었다.
3. 특정 설계 및 구현: 본 연구는 Jensen-Shannon 발산을 통해 차입 가중치(Borrowing weights)가 결정되는 Fujikawa 등(2020)의 바스켓 임상시험 설계를 활용하였다. 이 설계에는 세 가지 튜닝 파라미터인 결정 임계값($\lambda$)과 차입 형상 파라미터($\varepsilon, \tau$)가 있다. 목적 함수는 목표(실험 전체 검정력, 올바른 결정의 기대 횟수, 국소 검정력)에 따라 달랐으며, 제1종 오류 임계값을 초과하는 것에 대한 페널티 항을 포함하였다. 시뮬레이션은 고성능 컴퓨팅 클러스터 상의 R을 사용하여 수행되었으며, 작은 규모의 시나리오에서는 정확한 계산을, 큰 규모의 시ナ리오에서는 몬테카를로 근사법을 사용하였다.

주요 기여

• 체계적인 프레임워크: 본 논문은 시나리오 세트, 목적 함수, 최적화 알고리즘의 명시적 규정을 명확히 다루며 바스켓 임상시험 설계를 최적화하기 위한 종합적인 체크리스트와 수학적 정식화를 제공한다.
• 알고리즘 평가: 연구는 최적화 알고리즘을 경험적으로 비교하여, 특히 병렬 처리가 가능할 때 테스트된 Fujikawa 설계에 대해 Grid Search가 가장 신뢰할 수 있고 효율적인 방법임을 확인하였다.
• 목적 함수 분석: 저자들은 서로 다른 목적 함수가 어떻게 구별되는 차입 행동(보수적, 중간적, 또는 자유로운 차입)을 유도하는지 입증한다. 또한 엄격한 제1종 오류 제약을 강제하는 페널티 목적 함수(예: $u\_ecd\_avg\_pen$)를 도입하고 평가한다.
• 수학적 한계: 본 논문은 바스켓 임상시험에 대해 가장 강력한 검정(Uniformly Most Powerful, UMP)이 존재하지 않음을 증명하는 수학적 반례를 제시한다. 이는 단일 설계가 제1종 오류를 엄격히 제어하면서 동시에 모든 가능한 대립 가설에 대해 최적일 수는 없음을 확립한다.

결과

• 최적화 알고리즘: Grid search는 런타임과 최적 파라미터를 찾는 일관성 측면 모두에서 확률적 메타-휴리스틱 알고리즘(Simulated Annealing 및 PSO 등)보다 우수한 성능을 보였다. 확률적 알고리즘은 목적 함수 지형의 "평탄한(flat)" 영역에서 어려움을 겪는 경우가 많았다.
• 목적 함수 성능:
  • 보수적 차입(Conservative Borrowing): $u\_ewp\_avg\_pen$(페널티가 포함된 실험 전체 검정력)과 같은 목적 함수는 보수적인 차입을 유도하여, 가족 오류율(Family-Wise Error Rate, FWER)을 빈도주의 수준에 가깝게 유지했다.
  • 중간적 차입(Moderate Borrowing): $u\_ecd\_avg\_pen$(페널티가 포함된 올바른 결정의 기대 횟수)과 같은 함수는 중간 정도의 절충안을 제공하며, 여러 활성 층이 있는 시나리오에서 검정력을 얻는 동시에 FWER을 허용 가능한 범위(예: 명목 FWER의 $\leq 1.5 \times$) 내에서 제어했다.
  • 자유로운 차입(Liberal Borrowing): $u\_2pow\_avg\_pen$은 더 공격적인 차입을 유도하여 더 높은 검정력을 얻었으나, 동시에 더 높은 FWER 팽창을 초래했다.
  • 시나리오 의존성: 최적의 목적 함수는 임상 환경에 따라 달랐다. 층의 수가 많고 환자 수가 많은 시나리오에서는 최적화 결과 차입이 전혀 발생하지 않는(no borrowing) 경우가 많았는데, 이는 설계 파라미터가 오직 결정 임계값 $\lambda$에만 의존하여 오류를 제어하도록 튜닝되었음을 시사한다. 이러한 대규모 설정에서 Fujikawa 설계의 명시적인 차입 제한 부재는 다른 암(arm)으로부터 오는 정보에 의해 "압도될" 수 있는 취약성을 드러냈다.
• 기본 파라미터: Fujikawa 등이 제안한 기본 파라터($fuj1$)는 대부분의 시나리오에서 너무 자유로운(liberal) 것으로 나타났으며, $fuj2$는 더 중간적인 접근 방식을 제공했으나 여-전히 엄격한 오류 제어를 위해 결정 임계값의 튜닝이 필요했다.

의의 및 주장
저자들은 정보 차입이 검정력 이득을 가져올 수 있지만, "원 사이즈 피츠 올(one-size-fits-all)" 식의 최적 설계는 존재하지 않는다고 주장한다. 이 연구의 의의는 투명한 최적화 절차가 바스켓 임상시험 계획에 필수적임을 입증했다는 점에 있다. 저자들은 목적 함수의 선택이 차입 행동과 그에 따른 검정력 및 제1종 오류 간의 절충안을 결정한다고 주장한다.

본 논문은 UMP 검정이 존재하지 않기 때문에, 연구자들은 반드시 자신들의 목표 시나리오와 허용 가능한 오류 팽창 수준을 명시적으로 정의해야 한다고 강조한다. 이 프레임워크는 기존의 많은 임상시험이 차입 파라미터가 어떻게 선택되었는지에 대한 투명성이 부족하다는 점을 고려할 때, 이러한 절충안을 소통하는 데 매우 중요하다. 저자들은 자신의 결과가 Fujikawa 설계와 테스트된 시나리오들에 특화되어 있다는 점을 겸허히 인정하면서도, 본 프레임워크가 다른 차입 메커니즘(예: 베이지안 계층 모델) 및 임상 환경에도 일반화될 수 있다고 밝힌다. 또한 엄격한 제1종 오류 제어를 위해서는 차입이 없는 빈도주의적 검정이 가장 안전한 방법이지만, 최적화된 차입은 특정하게 사전 지정된 시나리오에 대해 제약 조건을 준수하도록 튜닝될 수 있음을 언급한다.