How accurate are Bayes factor-based null hypothesis tests? A simulation study

기술 요약: 베이즈 인자 기반 귀무가설 검정은 얼마나 정확한가? 시뮬레이션 연구

문제 제기
베이즈 인자(Bayes factors, BFs)는 인지 과학, 특히 선형 혼합 효과 모델(LMMs)을 이용한 요인 설계에서의 귀무가설 검정을 위해 증거를 정량화하고 모델을 비교하는 표준적인 도구가 되었습니다. 그러나 심리학 및 심리언어학에서 흔히 사용되는 복잡한 모델의 경우, 베이즈 인자를 분석적으로 계산할 수 있는 경우가 많습니다. 대신, 연구자들은 일반적으로 마르코프 연쇄 몬테카를로(MCMC) 샘플링과 브리지 샘플링(bridge sampling)을 결합하여 주변 가능도(marginal likelihoods)를 추정하는 수치적 근사법(예: bridgesampling 및 brms R 패키지 사용)에 의존합니다.

본 연구가 다루는 핵심 문제는 이러한 근사치의 정확성을 알 수 없다는 점입니다. 계산된 베이즈 인자가 실제 베이즈 인자에 부합하는지, 아니면 MCMC 또는 주변 가능도 추정 단계에서의 계산적 불정밀함으로 인해 편향(낙관적 혹은 보수적 편향)이 발생하는지 여부가 불분명합니다. 편향된 근사치는 가설의 증거 강도에 대한 잘못된 결론을 초래할 수 있습니다.

방법론
저자들은 베이즈 인자에 맞게 특별히 조정된 한계 시뮬레이션 기반 보정(Marginal Simulation-Based Calibration, SBC) 기법을 채택하였습니다. 이 기법은 데이터를 생성하는 데 사용된 사전 모델 확률이 시뮬레이션된 데이터로부터 도출된 사후 모델 확률과 일치하는지 테스트합니다. 만약 추정이 정확하다면, 평균 사후 확률은 사전 확률과 같아야 합니다. 이들 사이의 편차는 편향을 나타냅니다.

연구는 다음의 워크플로우를 활용합니다:

1. 시뮬레이션 설계: 인지 심리학 및 심리언어학의 세 가지 일반적인 실험 설계를 시뮬레이션했습니다:
   • 설계 1: 피험자(subjects)에 대한 무작위 효과만을 포함하는 2x2 반복 측정 설계 (2단계 의사결정 과제에서 영감을 얻음).
   • 설계 2: 하나의 2-레벨 고정 요인과 피험자 및 아이템(items)에 대해 교차하는 무작위 효과를 포함하는 라틴 방격(Latin square) 설계.
   • 설계 3: 피험자 및 아이템에 대해 교차하는 무작위 효과를 포함하는 2x2 라틴 방격 설계.
2. 절차: 데이터는 "참" 모델($H_1$)과 특정 고정 효과가 0으로 설정된 귀무 모델($H_0$)로부터 시뮬레이션되었습니다. 사전 모델 확률은 (예: $p(H_0)=0.5$ 또는 $0.8$)로 설정되었습니다.
3. 추정: 모델은 brms를 사용하여 MCMC 샘플링(10,000 또는 40,000 반복)을 통해 적합되었으며, 주변 가능도는 bridgesampling 패키지(사용된 방법: "warp3")를 사용하여 추정되었습니다.
4. 진단: 저자들은 브리지 샘플러가 경고 메시지("logml could not be estimated within maxiter...")를 발행했는지 여부에 따라 결과를 분석했습니다. 이들은 다음을 비교했습니다:
   • 평균 사후 확률의 사전 확률 대비 편차.
   • 이러한 편차에 대한 베이지안 t-검정.
   • 사후 확률이 실제 모델을 적절히 예측하는지 평가하기 위한 신뢰도 도표(reliability diagrams/calibration plots).
5. 민감도 분석: MCMC 반복 횟수(10k vs. 40k), SBC 시뮬레이션 횟수(200 vs. 1000회), 사전 모델 확률($p(H_0)=0.8$ vs. $0.2$)을 변화시켜 견고성을 테스트했습니다.

주요 결과
연구 결과는 경고 메시지의 존재 여부에 따라 두 갈래의 결론을 보여줍니다:

• 경고 메시지가 없는 경우: 브리지 샘플러가 경고를 발생시키지 않았을 때, 베이즈 인자 추정치는 정확한 것으로 나타났습니다.

  • 평균 사후 모델 확률은 사전 확률과 일치했습니다.
  • 신뢰도 도표는 추정치가 대각선에 정렬되어 있음을 보여주었으며, 이는 적절한 보정이 이루어졌음을 의미합니다.
  • 베이지안 t-검정은 사전과 사후 사이의 편차가 없다는 귀무가설을 지지했습니다 (예: $BF_{01} > 10$).
  • 이는 세 가지 설계 및 다양한 고정 효과(주효과 및 상호작용) 모두에서 동일하게 나타났습니다.

• 경고 메시지가 있는 경우: 브리지 샘플러가 경고를 발생시켰을 때, 베이즈 인자 추정치는 편향되어 있으며 변동성이 매우 높았습니다.

  • 편향의 방향: 편향은 일방향적이지 않았으며, 사전 확률에 따라 달라졌습니다.
    • $p(H_0)$가 높을 때 (0.8), 경고가 발생하면 $H_1$에 대한 사후 확률이 너무 높게 나타났습니다 (낙관적 편향). 이는 효과가 존재하지 않음에도 효과가 있는 것처럼 나타날 수 있음을 의미합니다.
    • $p(H_0)$가 낮을 때 (0.2), 경고가 발생하면 $H_1$에 대한 사후 확률이 너무 낮게 나타났습니다 (보수적 편향). 이는 실제 효과를 가릴 수 있음을 의미합니다.
  • 메커니즘: 이러한 편향은 추정된 로그 주변 가능도의 높은 분산에 의해 유발되었습니다. 경고는 사후 분포의 기하학적 구조가 불규칙함(예: 잔차 표준 편차나 무작위 효과의 분산이 0에 가까움)을 나타내며, 이로 인해 브리지 샘플링 알고리즘이 주변 가능도를 정확하게 추정하는 데 실패했음을 보여줍니다.
  • 완화 시도: MCMC 반복 횟수를 10,000에서 40,000으로 늘리는 것은 경고 발생 빈도를 약간 줄였으나(~37%에서 ~32.5%로), 경고가 발생한 사례에서의 편향 문제를 해결하지는 못했습니다. SBC 시뮬레이션 횟수를 1,000회로 늘린 결과, 경고가 발생한 사례의 편향이 견고하고 명확하다는 것이 확인되었습니다.

의의 및 주장
본 논문은 인지 과학에서 흔히 사용되는 요인 설계 내 베이즈 인자 추정의 실질적인 검증을 제공한다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 표준 도구의 검증: brms/bridgesampling 워크플로우가 표준 설계에 대해 정확한 베이즈 인자를 생성함을 확인했습니다. 단, 알고리즘이 경고를 발생시키지 않는다는 조건 하에 그렇습니다.
2. 경고의 진단적 유용성: 저자들은 브리지 샘플러의 경고 메시지가 단순한 기술적 번거로움이 아니라 신뢰할 수 없는 결과를 나타내는 중요한 지표라고 주장합니다. 그들은 경고가 동반된 베이즈 인자 결과는 신뢰해서는 안 되며, 편향되어 있고 정보 가치가 낮다고 단언합니다.
3. 방법론적 권고: 연구는 개별 분석 결과를 신뢰하기 전에 베이즈 인자 추정치의 정확성을 검증하기 위한 단계로서 한계 SBC(marginal SBC)와 신뢰도 도표의 사용을 권장합니다.
4. 실무적 지침: 경고에 직면한 연구자들에게 저자들은 재매개변수화(예: 합계-영(sum-to-zero) 제약, 무작위 효과 제거)가 문제를 해결할 수도 있지만, 그렇지 않을 경우 베이즈 인자를 보고하는 것을 피하거나 다른 방법(예: ROPE, 사후 신뢰 구간, 또는 자체 검증이 선행된 Savage-Dickey와 같은 다른 BF 추정법)을 고려할 것을 제안합니다.

저자들은 자신의 결과가 테스트된 설계, 사전 확률 및 소프트웨어 버전에 국한된다는 점을 인정하며 신중한 태도를 유지합니다. 그들은 현재의 도구들이 특정 조건 하에서 잘 작동하지만, 커뮤니티가 계산적 경고에 계속 주의를 기울여야 하며 시뮬레이션 기반 보정을 통해 자신의 구체적인 분석 설정을 검증해야 한다고 강조합니다.