📊 statistics

Micro-randomized Trials with Categorical Treatments and Binary Proximal Outcome: Causal Effect Estimation and Sample Size Calculation

이 논문은 범주형 처치와 이진 근접 결과를 가진 미세 무작위 시험의 과제를 인과적 일탈 효과(causal excursion effect)를 정의하고, EMEE-catA 추정량을 제안하며, 시뮬레이션과 실제 사례 적용을 통해 입증된 바와 같이 처치 수준 간의 비교를 위한 충분한 검정력을 보장하는 강건한 표본 크기 공식을 도출함으로써 이를 다룬다.

원저자: Jeremy Lin, Tianchen Qian

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeremy Lin, Tianchen Qian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 승무원들에게 채소를 먹도록 유도하려는 우주선 선장이라고 상상해 보십시오. 당신에게는 승무원들의 손목에 달린 스마트 기기 군단이 있어 작은 자극(nudge)을 보낼 수 있습니다: 재미있는 만화, 엄격한 경고, 또는 다정한 하이파이브 같은 것들 말이죠. 하지만 당신은 어떤 자극이 가장 효과적인지, 혹은 메시지를 보낼 때 승무원들이 정말로 손목을 보고 있는지조차 모릅니다. 이것이 바로 모바일 헬스(mHealth)의 세계입니다. 스마트폰과 웨어러블 기기를 사용하여 음주를 줄이거나 운동을 하는 것과 같은 사람들의 습관 변화를 돕는 것이죠.

무엇이 효과적인지 알아내기 위해 과학자들은 마이크로 무작위 시험(Micro-Randomized Trial, MRT)이라는 특별한 종류의 실험을 사용합니다. 이것은 마치 거대하고 초고속인 '당신의 선택에 따라 이야기가 바뀌는 게임(choose your own adventure)'과 같습니다. 한 사람에게 한 달 내내 하나의 전략을 배정하는 대신, 컴퓨터는 하루에도 수백 번씩 동전을 던집니다. 매 순간 결정이 내려질 때마다, 컴퓨터는 서로 다른 종류의 자극을 무작위로 선택하여 보냅니다. 이 과정은 매우 빠르고 빈번하게 일어나기 때문에, 연구자들은 특정 자극이 보낸 직후에 누군가가 앱을 열거나 걸음 수를 기록했는지 거의 즉각적으로 확인할 수 있습니다. 여기서 핵심 질문은 "바로 지금, 이 특정 메시지가 그 사람이 좋은 행동을 하도록 유발했는가?"입니다.

까다로운 점은 메시지가 단순히 '예/아니오'로만 나뉘지 않는다는 것입니다. 때로는 짧은 메시지, 긴 이야기, 비디오, 혹은 아무 메시지도 보내지 않는 것 등 다양한 옵션 메뉴가 있을 수 있습니다. 또한 우리가 관찰하고자 하는 결과 역시 단순한 '예/아니오'(앱을 열었는가? 예/아니오)인 경우가 많습니다. 이러한 실험을 설계할 때, 명확한 답을 얻을 수 있을 만큼 충분한 인원을 확보하면서도 시간과 비용을 낭비하지 않도록 구성하는 것은, 정확히 몇 개의 달걀이 필요한지 알지 못한 채 케이크 반죽을 시작하는 것과 같습니다.

이 논문은 그 케이크를 올바르게 굽는 법에 관한 것입니다. 저자인 제레미 린(Jeremy Lin)과 티안첸 첸(Tianchen Qian)은 통계학자들로, 이 모바일 헬스 실험을 위한 새로운 레시피를 만들었습니다. 그들은 연구자들이 실험이 실제로 성공할 수 있도록 정확히 몇 명의 인원을 모집해야 하는지 알려주는 도구를 개발했습니다.

그들이 해결한 문제는 다음과 같습니다: 과거의 도구들은 오직 두 가지 선택지(예: "메시지를 보낸다" 대 "보내지 않는다")가 있는 경우에만 잘 작동했습니다. 하지만 현실 세계에서 과학자들은 종로히 여러 가지 유형의 메시지를 동시에 테스트하고 싶어 합니다. 예를 들어 "재미있는 농담", "진지한 경고", "동기 부여 문구"가 담긴 메뉴를 상상해 보십시오. 기존의 도구들은 이러한 메뉴를 제대로 처리하지 못했으며, 특히 결과가 단순한 '예/아니오'(예: 앱을 열었는가?)인 경우에 더욱 그러했습니다.

저자들은 여러 선택지의 효과를 측정하는 새로운 방법을 발명했습니다. 그들은 이를 EMEE-catA라고 부릅니다. 이것은 마치 강력한 계산기처럼 수천 개의 무작위 자극 기록을 살펴보고, "이봐, 이 재미있는 농담은 아무것도 하지 않았을 때보다 사람들이 앱을 열 확률을 3.6배 더 높였어!"라고 말해줄 수 있습니다. 훨씬 더 좋은 점은 이 계산기가 매우 견고하다는 것입니다. 연구자들이 사람들이 보통 어떻게 행동하는지에 대한 세부 사항을 잘못 예측하더라도 이 계산기는 고장 나지 않습니다. 이는 현실 세계가 무질서하고 예측 불가능하더라도 올바른 답을 내놓을 수 있도록 설계된 '강건함(robustness)'을 갖추고 있다는 뜻입니다.

하지만 진짜 마법은 **표본 크기 공식(sample size formula)**에 있습니다. 이 수학적 규칙은 연구자에게 다음과 같이 알려줍니다: "만약 당신이 '재미있는 농담'과 '진지한 경고' 사이의 차이를 80%의 확신으로 구분해내고 싶다면, 정확히 1,197명의 사람이 필요합니다." 이 논문이 나오기 전까지 연구자들은 종종 이 숫자를 추측에 의존해 결정하곤 했으며, 이는 실험이 아무것도 찾아내지 못할 만큼 너무 작거나, 너무 커서 자원을 낭비하게 만드는 결과를 초래했습니다.

저자들은 이 새로운 레시피를 Drink Less라는 실제 연구 데이터를 통해 테스트했습니다. 이 연구는 사람들이 술을 줄이도록 돕는 프로젝트였습니다. 이 연구에서 349명의 사람들이 30일 동안 매일 자극을 받았습니다. 저자들이 이 데이터에 새로운 공식을 적용했을 때, 연구 설계가 탄탄하다는 것이 확인되었습니다. 또한 그들은 가상의 실험 상황을 설정하여 자신들이 연구자가 된 것처럼 수천 번의 컴퓨터 시뮬레이션을 돌려, 현실의 규칙이 완벽하게 따르지 않을 때도 공식이 실패하는지 확인했습니다.

결과는 유망했습니다. 규칙이 지켜질 때는 공식이 아주 잘 작동했습니다. 심지어 연구자들이 시뮬레이션에서 규칙을 깨뜨렸을 때(예: 사람들의 가용성이 이상하게 변하거나 메시지의 효과가 지연되어 나타나는 경우 등)도, 공식은 놀라울 정도로 견고했습니다. 항상 '완벽한' 숫자를 제시하는 것은 아니었지만, 실험이 성공할 수 있도록 충분히 근접한 숫자를 제공했습니다.

또한 이 논문은 이 도구를 사용하는 모든 이들을 위한 "최선의 실천 방안(best practices)"을 제공합니다. 만약 세부 사항을 확신할 수 없다면, 조금 더 보수적으로 접근하는 것이 좋다고 제안합니다. 예를 들어, 메시지가 50%의 확률로 효과가 있을 것이라고 예상되지만 확신이 없다면, 공식은 메시지가 40%의 확률로 작동하는 시나리오를 계획하도록 권장합니다. 이렇게 함으로써 실험 중간에 참여자가 부족해지는 상황을 방지할 수 있습니다.

요약하자면, 이 논문은 복잡한 모바일 헬스 실험의 세계를 항해하기 위한 새롭고 신뢰할 수 있는 지도를 제공합니다. 이를 통해 과학자들은 여러 옵션과 단순한 예/아니오 결과가 포함된 연구를 설계할 때 수학적 난관에 부딪히지 않고도 연구를 진행할 수 있습니다. 이 새로운 도구를 사용함으로써, 연구자들은 자신들의 실험이 사람들의 삶을 변화시키는 데 있어 어떤 디지털 자극이 가장 효과적인지를 확실하게 알려줄 수 있다는 자신감을 가질 수 있게 되었습니다.

기술 요약: 범주형 처치 및 이진 근접 결과가 포함된 미세 무작위 시험(Micro-randomized Trials)

문제 정의
미세 무작위 시험(MRT)은 여러 결정 시점에서 참가자들을 중재 옵션들 사이에서 반복적으로 무작위 배정함으로써 모바일 헬스(mHealth) 중재를 최적화하기 위한 표준적인 실험 설계이다. 기존 문헌은 이진 처치(예: 메시지 전송 vs. 전송 안 함)와 연속형 결과에 대한 방법론을 확립해 왔으나, 많은 실제 mHealth 응용 사례에서는 범주형 처치(예: 다양한 메시지 내용 또는 전달 전략)와 이진 근측 결과(예: 앱 참여도, 행동 완료 여부)의 조합을 포함한다. 기존의 인과적 일탈 효과(Causal Excursion Effect, CEE) 추정량들은 이러한 특정 조합을 직접적으로 수용하지 못한다. 또한, MRT에서 다수의 범주형 처치 수준 간의 차등 효과를 탐지하기 위한 엄격한 표본 크기 계산 방법이 부족하며, 이는 적절한 검정력을 갖춘 연구를 계획하는 데 매우 중요하다.

방법론
본 논문은 다음 세 가지 주요 방법론적 발전을 통해 이러한 공백을 해결한다:

범주형 처치에 대한 인과적 일탈 효과(CEE)의 정의:
저자들은 $A_t \in \{0, 1, \dots, K\}$ 인 범주형 처치(여기서 0은 참조 수준)에 대해 로그 상대 위험도(log-relative risk) 척도에서의 CEE를 정의한다. CEE는 시점 $t$ 에서 처치 $k$ 를 받고 이후 $\Delta-1$ 번의 시점 동안 처치를 받지 않는 일탈(excursion)이 발생했을 때의 기대 근접 결과 $Y_{t,\Delta}$ 를, 시점 $t$ 에서 처치를 받지 않고 이후 $\Delta-1$ 번의 시점 동안 처치를 받지 않았을 때의 결과와 대조한다. 이 정의는 결정 시점의 가용성( $I_t=1$ )을 조건으로 하며, 시험의 무작위 배정 프로토콜에 따른 처치 이력을 주변화(marginalize)한다.
추정량: EMEE-catA:
저자들은 EMEE-catA(이진 결과를 가진 범주형 처치에 대한 한계 일탈 효과 추정량)를 제안한다. 이 추정량은 Qian 등(2021)의 연구를 범주형 설정으로 확장한 것이다.
- 모델: 이는 $CEE_{tk}(S_t) = f_t(S_t)^T \beta_k$ 라는 파라미터 모델을 가정하며, 여기서 $S_t$ 는 효과 수정 변수(effect modifiers)를 나타낸다.
- 추정 방정식: 이 추정량은 $P_n m(\alpha, \beta) = 0$ $P_{n} m (α, β) = 0$ 인 방정식계를 푼다. 추정 함수 $m(\alpha, \beta)$ $m (α, β)$ 는 다음을 포함한다:
  - 한계적 성격(marginal nature)의 추정량과 이후 $\Delta-1$ 단계 동안 처치가 없어야 한다는 요구 사항을 처리하기 위한 안정화된 역확률 가중치(stabilized inverse probability weight) 성분( $J_t$ ).
  - 인과적 파라미터 $\beta$ 의 추정과 넌스 파라미터 $\alpha$ (참조 처치 하에서의 결과를 모델링함) 사이의 직교성(orthogonality)을 보장하기 위한 중심화된 처치 지표 $C_k(A_t) = \mathbb{1}(A_t=k) - \tilde{p}_t(k|S_t)$ .
- 강건성: 추정량은 넌스 결과 회귀 모델( $g_t(H_t)^T \alpha$ )이 잘못 지정(misspecified)되더라도, CEE 모델이 올바르다면 일관성(consistency)과 점근적 정규성(asymptotic normality)을 갖는 것으로 입증되었다. 이는 MRT의 고차원적 이력( $H_t$ )을 고려할 때 매우 중요한 강건성을 제공한다.
표본 크기 공식:
본 논문은 $H_0: L \times \text{MEE}_{1:K}(t) = 0$ (여기 여기서 MEE는 $\Delta=1, S_t=\emptyset$ 인 한계 CEE임) 형태의 가설을 검정하기 위한 통계적 검정력을 보장하는 표본 크기 공식을 도출한다.
- 작동 가정(Working Assumptions, WA): 도출 과정은 다섯 가지 작동 가정을 기반으로 한다: (a) MEE의 파라미터 형태, (b) 처치 없음 하에서의 성공 확률의 알려진 함수 형태, (c) 알려진 가용성 확률, (d) 과거 처치 조건 하에서의 결과에 대한 자기 상관 없음, (e) 외생적 가용성.
- 검정 통계량: 추정량의 점근적 정규성에 기초하여 왈드 유형(Wald-type) 검정 통계량을 구성한다. 소표본 편향을 교정하기 위해, 기각역은 카이제곱 분포 대신 스케일링된 F-분포를 활용한다.
- 알고리즘: 작동 가정 하에서 도출된 비중심 파라미터(non-centrality parameter)를 사용하여, 특정 대립 가설 하에서 목표 검정력 $(1-\beta)$ 를 달이트기 위해 필요한 최소 표본 크기 $n$ 을 계산하는 반복 알고리즘(Algorithm 1)을 제공한다.

주요 결과

이론적 특성: 정리 1은 EMEE-catA 추정량의 점근적 정규성을 확립한다. 정리 2는 작동 가정 하에서 제안된 표본 크기 공식이 제1종 오류율을 공칭 수준에서 제어하고 원하는 검정력을 보장함을 입증한다.
시뮬레이션 연구: (부록에 상세히 기술된) 광범-한 시뮬레이션을 통해 제안된 방법들의 작동 특성을 평가하였다:
- 제1종 오류: 작동 가정이 위반되더라도 제1종 오류율은 공칭 수준에서 잘 제어된다.
- 검정력: 표본 크기 공식은 모든 가정이 충족될 때 적절한 검정력을 제공한다. 가정이 위반될 경우 검정력 성능은 다음과 같다:
  - 처치 효과의 크기(ATE) 또는 평균 성공 확률(ASPN)과 관련된 위반은 검정력에 상당한 영향을 미친다(과소 추정은 검정력 과잉을, 과대 추정은 검정력 부족을 초래함).
  - 효과의 패턴(시간적 변화) 또는 가용성과 관련된 위반은 일반적으로 검정력에 미치는 영향이 덜 치명적이지만, 특정 패턴(예: 선형 vs. 상수)은 특정 생성 모델에서 검정력 부족을 야기할 수 있다.
  - 자기 상관 및 외생적 가용성 위반은 크기 미스스펙(magnitude misspecification)보다 검정력에 미치는 영향이 적은 것으로 나타났다.
데이터 적용: 본 방법론은 음주 감소를 위한 앱 최적화 연구인 Drink Less MRT에 적용되었다.
- 추정량은 표준 메시지와 새로운 메시지 뱅크의 메시지 모두가 알림이 없을 때보다 앱 실행 확률을 유의미하게 높인다는 것을 성공적으로 식별하였다.
- 표본 크기 공식은 Drink Less 설계를 사후 분석하는 데 사용되었으며, 상수 효과 및 가용성을 가정할 때 두 활성 처치 수준 간의 관찰된 차이를 80% 검정력으로 탐지하기 위해 1,197명의 참가자가 필요함을 결정하였다.

의의 및 주장
본 논문은 이진 근접 결과를 가진 다수의 범주형 처치 수준 간의 세밀한 비교를 가능하게 함으로써, 기존의 MRT 문헌을 확장한다고 주장한다. 이는 이전에는 지원되지 않았던 mHealth의 흔한 시나리오이다.

저자들은 다음과 같은 장점을 강조한다:

복잡한 넌스 결과 모델의 올바른 지정 없이도 작동하는 강건한 추정량(EMEE-catA)을 제공하여, MRT의 고차원적 이력 문제를 해결한다.
제1종 오류를 제어하고 검정력을 보장하는 실용적인 표본 크기 공식을 제공한다.
연구자들이 효과의 크기와 평균 성공 확률에 대해 보수적인 추정치를 입력하여, 효과의 시간적 패턴이나 가용성이 작동 가정에서 벗어나더라도 충분한 검정력을 확보할 수 있도록 하는 실질적인 지침(Box 1에 요약됨)을 제공한다.

본 연구는 Drink Less 연구의 실제 데이터를 통해 제안된 추정량과 표본 크기 계산기의 적용 가능성을 입증하였다. 저자들은 비록 프레임워크가 도출을 위한 특정 작동 가정을 상정하고 있으나, 시뮬레이션을 통해 핵심 파라미터의 크기를 보수적으로 추정한다면 효과의 패턴이나 가용성의 변화와 같은 많은 위반 사항에 대해서도 방법론이 강건함을 확인하였다.

유사한 논문