Widespread use of invalid statistical tests in biomedical machine learning

본 논문은 생체의학 머신러닝에서 교차검증 폴드 의존성을 무시한 무효 통계 검정의 광범위한 사용으로 인해 위양성률이 과대평가된다는 사실을 밝혀냈으며, 이에 따라 저자들은 견고한 해결책으로 SHARP 검정을 제안하고 유효한 모델 비교를 위한 새로운 보고 지침을 마련했다.

핵심

두 가지 새로운 레시피 중 어떤 것이 더 맛있는 케이크를 만드는지 결정하려는 판사를 상상해 보십시오. 공정하게 판단하기 위해 각 레시피로 케이크 하나씩만 구워 한 번씩 맛보는 것이 아니라, 레시피 A 로 케이크 열 개를 구우고 레시피 B 로도 열 개를 구운 뒤, 서로 다른 열 명의 친구에게 맛을 보게 합니다.

문제: "그룹 허그" 실수

생물의학 머신러닝 (의료 데이터에서 패턴을 찾기 위해 컴퓨터를 사용하는 분야) 세계에서는 과학자들이 "교차 검증 (cross-validation)"이라는 유사한 작업을 수행합니다. 그들은 데이터를 열 개의 조각으로 나누고, 컴퓨터 모델 중 아홉 조각으로 훈련시킨 뒤 나머지 한 조각으로 테스트합니다. 이 과정을 열 번 반복합니다.

해당 논문은 대부분의 과학자들이 여기서 치명적인 오류를 범한다고 주장합니다. 그들은 열 번의 테스트 결과를 비교할 때, 각 테스트 결과가 완전히 독립적이라고 가정하는 표준 수학 도구 (예: 쌍체 t-검정) 를 사용합니다. 마치 서로 한 번도 만난 적이 없는 열 명의 낯선 사람에게 케이크 맛을 보게 하는 것과 같습니다.

하지만 실제로는 이 열 번의 테스트가 독립적이지 않습니다. 모두 동일한 근본 데이터를 서로 다른 방식으로 잘라낸 것뿐입니다. 이는 마치 같은 열 명의 친구에게 케이크를 열 번 연속으로 맛보게 하는 것과 같습니다. 친구들은 서로 알고 있으며 비슷한 취향을 가지고 있기 때문에, 그들의 의견은 "상관관계"가 있습니다.

논문은 이러한 연결 관계를 무시함으로써 과학자들이 약간 휘어진 자를 사용하고 있다고 주장합니다. 그들은 매우 정밀하다고 생각하지만, 실제로는 "통계적 유령"을 보고 있는 것입니다. 실제로 존재하지 않는 모델 간의 차이를 발견하게 되어, 엄청난 수의 **거짓 경보 (false positives)**가 발생합니다.

수사: 글로벌 감사

저자들은 단순히 추측한 것이 아니라 탐정처럼 조사했습니다. 그들은 최고 수준의 의학 저널 (높은 "임팩트 팩터"를 가진, 즉 매우 유명하고 영향력 있는 저널) 에 게재된 210 건의 고위험 연구를 검토했습니다.

• 발견: 놀랍게도 이러한 연구의 **97%**가 "그룹 허그" 실수를 저지르고 있었습니다. 그들은 의존적인 테스트 결과를 마치 독립적인 것처럼 취급했습니다.
• 범위: 이는 몇몇 "나쁜" 연구만의 문제가 아니었습니다. 저널의 명성이 어떠하든, 규칙이 얼마나 엄격하든, 과학자들이 데이터를 공개적으로 공유하든 상관없이 발생했습니다. 이는 전체 분야에서 널리 퍼진 습관입니다.

시뮬레이션: 얼마나 심각한가?

이 문제가 얼마나 위험한지 증명하기 위해 저자들은 420 가지의 서로 다른 컴퓨터 시뮬레이션을 실행했습니다. 그들은 테스트 결과가 서로 연결되어 있다는 사실을 무시할 때 다음과 같은 일이 발생함을 발견했습니다.

• "거짓 경보" 비율이 급증합니다.
• 테스트를 여러 번 반복할 경우 (반복 교차 검증이라고 하는 일반적인 관행), 거짓 경보를 얻을 확률은 거의 **100%**까지 치솟을 수 있습니다. 마치 동전을 던졌는데 한 번도 이기지 않았음에도 매번 로또에 당첨되었다고 말하는 것과 같습니다.

해결책: "SHARP" 테스트

논문은 이를 해결하는 것이 어렵다고 설명합니다. 표준 방법을 사용하면, 결과가 유사한 것이 모델이 실제로 뛰어나서인지, 아니면 데이터 조각들이 서로 너무 비슷해서인지 구분할 수 없기 때문입니다. 이는 친구들이 동의하는 것이 그들이 똑똑해서인지, 아니면 단순히 서로를 모방해서인지 파악하려는 것과 같습니다.

이를 해결하기 위해 저자들은 SHARP(Split-HAlf RePeated, 분할 - 반복) 라는 새로운 방법을 제안합니다.

• 작동 원리: 열 명의 친구에게 케이크를 열 번 맛보게 하는 대신, 그들을 두 개의 별도 그룹으로 나눈다고 상상해 보십시오. 그룹 1 은 실험의 전반부에서 케이크를 맛보고, 그룹 2 는 후반부에서 맛봅니다. 이 두 그룹은 명확히 구분되고 분리되어 있기 때문에, "에코 챔버" 효과 없이 그들이 스스로 얼마나 동의하는지 측정할 수 있습니다.
• 결과: 저자들이 SHARP 를 다른 12 가지 방법과 비교했을 때, SHARP 가 명백한 승자였습니다. 이는 모델 간의 실제 차이를 감지할 수 있으면서도 거짓 경보를 낮게 유지한 유일한 방법이었습니다.

결론

논문은 의료 AI 모델을 비교하는 현재의 방식이 고장 났다고 결론짓습니다. 이는 생명 구제 의약품의 재료를 저울질할 때 망가진 저울을 사용하는 것과 같습니다. 저자들은 과학자들이 수학을 수정할 수 있도록 돕는 새롭고 간단한 규칙집 (최적 사례) 을 제공하며, 한 모델이 다른 모델보다 낫다고 주장할 때 실제로 진실을 말하고 있음을 보장합니다.

기술 요약

기술적 요약: 생물의학 머신러닝에서의 부적절 통계 검정 광범위한 사용

문제
머신러닝은 생물의학 연구의 핵심 기둥이 되었으며, 알고리즘 벤치마킹 및 바이오마커 순위 결정과 같은 과학적 통찰력 도출에 빈번히 활용된다. 예측 성능 평가의 표준 접근법은 교차 검증 (CV) 이다. 그러나 이 관행을 훼손하는 치명적인 통계적 결함이 존재한다: 서로 다른 CV 폴드 (fold) 에서 도출된 예측 성능 추정치는 독립적이지 않다. 이러한 성능들을 비교하는 데 사용되는 표준 통계 검정 (예: 쌍체 t-검정) 은 독립성 가정에 의존한다. 이 가정이 위반될 경우, 검정은 거짓 양성률을 통제하지 못하여 무효한 추론을 초래한다. 이 문제의 보편성에도 불구하고, 고영향력 과학 문헌에서는 여전히 대부분 다루어지지 않고 있다.

방법론
저자들은 이 문제를 진단하고 해결하기 위해 다각적인 방법론적 접근을 활용하였다:

1. 메타 분석: 2020 년 6 월 1 일부터 2025 년 6 월 1 일까지 임팩트 팩터가 15 이상인 저널에 게재된 210 건의 연구를 PRISMA 가이드라인에 따라 검토하였다. 이 검토는 연구들이 예측 성능을 어떻게 비교했는지, 그리고 폴드 의존성을 고려했는지를 구체적으로 조사하였다.
2. 시뮬레이션 연구: 4 가지 다양한 데이터셋을 활용하여 420 가지 시나리오에 걸쳐 광범위한 시뮬레이션을 수행하였다. 이러한 시뮬레이션은 반복 교차 검증의 사용 포함하여 다양한 조건 하에서 표준 검정의 성능을 시험하였다.
3. 통계 분석: 저자들은 기존 '폴드 의존성 인지형' 검정의 이론적 한계를 분석하였다. 그 결과, 표준 교차 검증 하에서는 폴드 수준 통계량의 분산과 폴드 간 상관관계를 분리할 수 없어, 기존 방법들이 종종 검증되지 않은 강력한 가정에 의존할 수밖에 없음을 확인하였다.
4. 새로운 검정 제안: 이러한 한계를 극복하기 위해 저자들은 SHARP(Split-HAlf RePeated) 검정을 제안하였다. 이 방법은 표준 교차 검증 절차를 수정하여 분산과 상관관계를 직접 추정할 수 있게 함으로써, 검증 불가능한 가정에 의존하지 않고 유효한 통계적 추론에 필요한 요건을 충족시킨다.

주요 결과

• 오류의 만연성: 메타 분석 결과, 검토된 연구의 97% 가 예측 성능 비교 시 폴드 의존성을 무시한 것으로 나타났다. 이러한 소홀함은 과학 분야 전반에 걸쳐 보편적으로 발견되었으며, 높은 임팩트 팩터, 엄격성 장려 정책, 또는 오픈 사이언스 관행에 의해 완화되지 않았다.
• 거짓 양성에 미치는 영향: 시뮬레이션은 폴드 의존성을 무시하는 것이 대부분의 설정에서 무효한 거짓 양성 통제를 초래함을 보여주었다. 이 문제는 반복 교차 검증에 의해 악화되며, 반복 횟수가 증가함에 따라 거짓 양성률은 100% 에 근접할 수 있다.
• SHARP 의 성능: 12 가지 다른 통계 검정과 비교 벤치마킹 시, SHARP 검정은 거짓 양성 통제, 통계적 검정력, 그리고 신뢰구간 보정이라는 세 가지 핵심 지표 전반에서 가장 우수한 균형을 보였다. 이는 다양한 시뮬레이션 계획 전반에 걸쳐 일관되게 달성된 성과였다.

의의 및 주장
본 논문은 생물의학 연구에서 머신러닝 모델 비교를 위한 표준 검정에 대한 현재의 의존성이 근본적으로 결함이 있으며, 이로 인해 허위 과학적 결론의 높은 위험이 초래된다고 주장한다. 높은 편집 기준에도 불구하고 이 문제가 지속됨을 규명함으로써, 저자들은 통계적 엄격성에서의 체계적 격차를 부각시켰다.

이 연구의 주요 기여는 필요한 통계 매개변수를 직접 추정할 수 있게 함으로써 폴드 의존성 문제에 대한 실용적 해결책을 제시하는 SHARP 검정의 도입이다. 또한, 저자들은 생물의학 머신러닝 및 관련 분야에서 모델 비교 추론의 유효성을 회복하기 위한 구체적인 최적 사례 및 보고 가이드라인을 제공하며 결론을 맺는다. 이 연구는 바이오마커 순위 결정과 같은 과학적 응용이 통계적으로 건전한 증거에 기반하도록 보장하기 위해 해당 커뮤니티가 이러한 수정된 방법론을 채택할 것을 촉구하는 행동 호소이다.