BUDS: Benchmark Uncertainty Design Selection for Two-Stage Single-Arm Phase II Trials

당신이 도둑을 잡으려는 형사라고 상상해 보세요. 하지만 도둑이 어떻게 생겼는지 정확히 모릅니다. 스케치가 하나 있긴 하지만, 약간 흐릿합니다. 의학 과학의 세계, 특히 신약 테스트의 초기 단계에서 연구자들은 이와 유사한 게임을 수행합니다. 그들은 새로운 치료법이 기존의 방식보다 더 효과적인지 알고 싶어 합니다. 이를 위해 그들은 '2상 임상시험(Phase II trials)'이라고 불리는 것을 진행합니다. 이것은 마치 새로운 배우의 첫 번째 진지한 오디션을 보는 것과 같습니다. 연구자들은 신약의 성과를 '역사적 벤치마크(historical benchmark)', 즉 현재 최선의 치료법으로 환자들이 보통 어떻게 되는지에 기반한 표준 수치와 비교합니다. 이는 마치 "만약 신약이 10% 이상의 사람들을 치료한다면 계속 진행하고, 그렇지 않다면 중단하겠다"라고 말하는 것과 같습니다.

문제는 그 "10%"라는 숫자가 종종 추측에 불과하다는 점입니다. 그것은 작은 규모의 연구에서 나왔을 수도 있고, 환자들이 약간 다를 수도 있으며, 혹은 그동안 의학이 조금 변했을 수도 있습니다. 만약 연구자들이 벤치마크로 잘못된 숫자를 선택한다면, 쓸모없는 약을 영웅이라고 착각하거나, 좋은 약을 너무 빨리 버려버릴 수도 있습니다. 이 논문은 벤치마크가 무엇인지 100% 확신할 수 없을 때 이러한 약물 오디션을 설계하는 까다로운 수학 문제를 다룹니다. 이는 당신의 추측이 조금 틀리더라도 비용이 많이 드는 실수를 저지르지 않도록 안전망을 구축하는 것에 관한 것입니다.

---

"BUDS" 솔루션: 미지의 것을 위한 설계

이 논문은 BUDS(Benchmark Uncertainty Design Selection, 벤치마크 불확실성 설계 선택)라고 불리는 새로운 프레임워크를 소개합니다. BUDS를 다리를 설계하는 똑똑하고 신중한 건축가라고 생각해 보세요. 보통 다리를 지을 때, 예를 들어 무게가 정확히 2,000파운드인 자동차처럼 단 하나의 특정 무게를 기준으로 하중을 계산합니다. 그리고 그 자동차를 완벽하게 견딜 수 있도록 다리를 설계합니다. 하지만 현실에서 다리를 건너는 자동차들의 무게가 1,800파운드에서 2,200파운드 사이라면 어떻게 될까요? 만약 당신이 오직 2,000파운드만을 위해 설계했다면, 무거운 트럭이 지나가다 다리를 끊어버릴 수도 있습니다.

저자들은 전통적인 약물 시험 설계가 바로 그 '단일 무게'를 가진 다리와 같다고 주장합니다. 그들은 하나의 특정 "벤치마크"(예: 10% 완치율)를 선택하고 그 벤치마크를 중심으로 전체 연구를 설계합니다. 논문은 만약 실제 벤치마크가 (예를 들어 15%처럼) 더 높다면, 이러한 전통적인 설계들이 처참하게 실패할 수 있음을 보여줍니다. 그들은 실제로는 가치가 없는 약을 성공이라고 선언할 수도 있습니다. 시뮬레이션에서 저자들은 실제 벤치마크가 계획보다 약간만 더 높았을 때, "사이먼 최적(Simon Optimal)"이라 불리는 인기 있는 설계의 오류율이 의도했던 10% 대신 0.407(즉, 40.7%의 확률로 가짜 알람이 울림!)까지 치솟는다는 것을 발견했습니다.

이를 해결하기 위해 BUDS는 "단일 추측" 게임을 멈출 것을 제안합니다. 하나의 숫자를 고르는 대신, 연구자들은 벤치마크가 될 수 있는 타당한 범위(예: "완치율은 5%에서 15% 사이일 가능성이 높다")를 정의해야 합니다. 그런 다음 BUDS는 그 전체 범위 내에서 안전하게 작동하도록 시험을 설계합니다.

BUDS의 작동 방식: "최악의 경우"와 "평균" 전략

논문은 이 새로운 넓은 안전망에 부합하는 여러 옵션 중에서 최선의 시험 설계를 선택하는 두 가지 주요 방법을 제 제안합니다:

1. BUDS-Worst-Regret (최악의 후회): 이것은 "편집증적인" 전략입니다. 이 전략은 "우리 범위 내에서 최악의 시나리오는 무엇이며, 그 특정 최악의 경우를 감당하기 위해 얼마나 많은 추가 작업(환자)이 필요한가?"라고 묻습니다. 그런 다음 최악의 경우가 실제로 발생했을 때의 최대 실망 또는 "후회"를 최소화하는 설계를 선택합니다. 이는 마치 무거운 코트, 가벼운 재킷, 혹은 아무것도 필요 없는 상황을 모두 고려하여 짐을 싸는 것과 같습니다. 당신은 햇볕이 내리쬐는 날에 약간 덥더라도, 가장 추운 날씨를 마주하게 될 경우를 대비해 가장 편안함을 유지할 수 있는 옷을 선택하는 것입니다.
2. BUDS-Avg-EN (평균 EN): 이것은 "평균" 전략입니다. 이 전략은 가능한 모든 범위를 살펴보고 평균적으로 가장 적은 환자를 사용하는 설계를 선택합니다. 이는 여행을 위해 짐을 쌀 때, 다양한 날씨를 예상하며 전반적으로 효율적이기를 바라지만, 특정 하루에 조금 춥게 느낄 수도 있는 상황과 같습니다.

시뮬레이션 결과

저자들은 이 새로운 설계들이 기존 설계들과 어떻게 비교되는지 보기 위해 수천 번의 컴퓨터 시뮬레이션을 실행했습니다. 그 결과는 다음과 같습니다:

• 안전 우선: 가장 중요한 발견은 BUDS 설계가 실제 벤치마크가 범위 내 어디에 위치하든 "가짜 알람" 비율(제1종 오류)을 통제한다는 것입니다. 벤치마크가 추측 범위의 낮은 쪽에 있든 높은 쪽에 있든, 시험은 나쁜 약을 승자로 잘못 선언하지 않을 것입니다. 반면, 기존의 단일 벤치마크 설계들은 실제 벤치마크가 예상보다 높을 때 오류율이 폭발했습니다.
• 안전의 대가: 여기에는 트레이드오프(절충 관계)가 존재합니다. 넓은 범위의 가능성에 대해 안전을 확보하기 위해, BUDS 설계는 때때로 기존 설계보다 더 많은 환자를 필요로 합니다. 예를 들어, 벤치마크가 불확실한 시나리오에서 전통적인 설계는 최대 37명의 환자가 필요할 수 있습니다. 하지만 최악의 시나리오에 대비해 안전을 확보하려는 BUDS 설계는 54명 또는 72명의 환자가 필요할 수도 있습니다. 논문은 이러한 추가 등록이 실수를 방지하기 위한 비용이라고 언급합니다. 작동하지 않는 약에 대해 수백만 달러를 들여 3상 임상시험을 진행하는 것보다 몇 명의 환자를 더 테스트하는 것이 낫습니다.
• 실제 사례: 저자들은 글리오블라스트마(뇌종양의 일종)와 같은 실제 시나리오에 그들의 아이디어를 테스트했습니다. 그들은 벤치마크가 0.10(10%)인 시험을 살펴보았습니다. 여기에 현실적인 범위인 0.05에서 0.13을 적용했을 때, 기존 설계는 0.25(25%) 이상의 가짜 알람율을 보였을 것입니다. 반면 BUDS 설계는 오류율을 0.093(9.3%) 미만으로 유지했지만, 원래의 50명 대신 최대 샘플 크스는 89명이 필요했습니다.

결론

이 논문은 BUDS가 의료 역사의 불확실성을 다루는 투명한 방법을 제공한다고 결론짓습니다. 이것은 불확실성을 마법처럼 사라지게 만드는 것이 아니라, 대신 "우리는 100% 확신할 수 없으니, 범위를 계획하자"라고 연구자들이 인정하도록 강제합니다. 그렇게 함으로써 효율성(더 적은 환자 사용)과 견고함(가짜 양성 방지) 사이의 절충 관계를 명시적으로 드러냅니다. 저자들은 다른 과학자들이 자신만의 시험을 설계할 수 있도록 무료 컴퓨터 도구(R 패키지 및 Shiny 앱)를 구축해 두었습니다.

요약하자면, BUDS는 약물 테스트라는 고도의 위험이 따르는 게임에서, 단 하나의 완벽한 추측에 도박을 거는 것보다 다양한 무게를 견딜 수 있는 다리를 설계하는 것이 더 현명하다고 제안합니다. 이 논문은 이것이 모든 의학적 시험에 대한 최종적인 해답이라고 주장하는 것이 아니라, 추측을 멈추고 미지의 것을 계획하기 위한 수학적으로 탄탄한 방법을 제공하는 것입니다.