Validation of a two-stage automated screening pipeline for medical systematic reviews: a stratified concordance study with three independent human reviewers, using PABAK and Gwet's AC1

기술 요약: 의학 체계적 문헌고찰을 위한 2단계 자동 스크리닝 파이프라인의 검증

문제 제기
체계적 문헌고찰(Systematic Reviews, SRs)은 생물 의학 문헌의 기하급수적인 증가로 인해 제목-초록 스크리닝 단계에서 점점 더 큰 병목 현상에 직면하고 있다. 거대언어모델(LLM)은 이 분야의 자동화를 위한 잠재적 경로를 제공하지만, 이 영역에서의 검증은 종종 부적절한 지표들로 인해 저해된다. 코헨의 카파(Cohen's kappa)와 같은 표준 척도는 체계적 문헌고찰에서 전형적으로 나타나는 낮은 유병률 및 불균형한 클래스 분포 하에서 수학적으로 불안정하다. 더욱이, 기존의 검증 연구들은 다음과 같은 핵심 설계 요소들의 조합이 결여된 경우가 많다: 하이브리드 2단계 파이프라인(규칙 + LLM), 별도로 샘플링된 '불확실(uncertain)' 클래스를 포함한 3방향 분류 체계, 층화 샘플링, 그리고 유병률에 강건한 일치 계수(PABAK 및 Gwet's AC1)의 사용이다. 또한, 파이프라인 설계자가 인간 검증자 역할을 겸할 경우 비교의 타당성에 의문이 제기되기도 한다.

방법론
본 연구는 의학 체계적 문헌고찰 맥락(고혈소판 반응성, 아스피린 저항성, 경동맥 플라크) 내에서 세 명의 독립적인 인간 검토자를 대상으로 2단계 자동 스크리닝 파이프라인의 적합성을 검증하는 전향적 일치도 연구를 제시한다.

• 데이터셋: 여러 데이터베이스(PubMed, Scopus, Europe PMC, OpenAlex, arXiv)에서 검색된 904개의 레코드.
• 파이프라인 구조:
  • 1단계 (규칙 기반): PICO에서 유도된 키워드 휴리스틱을 사용하는 Python 스크립트(ML/LLM 미사용)가 레코드를 INCLUDE, EXCLUDE 또는 UNCERTAIN으로 분류한다.
  • 2단계 (LLM 판정): 1단계에서 UNCERTAIN으로 분류된 레코드는 고정된 프롬프트를 통해 DeepSeek V4 Pro(zero-shot, temperature = 0)를 거쳐 INCLUDE 또는 EXCLUDE로 결정된다.
• 검증 설계:
  • 샘플링: 185개의 레코드로 구성된 층화 샘플을 추출하였다: 1단계의 세 가지 층위(INCLUDE, EXCLUDE, UNCERTAIN)에서 각각 50개씩, 그리고 2단계 LLM 출력물에서 35개를 추출하였다.
  • 검토자: 세 명의 의사가 자동 레이블을 모른 상태에서(blind) 샘플을 독립적으로 판단하였다:
    1. E.P. (파이프라인 설계자, 코퍼스에 익숙함).
    2. D.C. (프로젝트 외부 인력).
    3. P.P.B. (프로젝트 외부 인력).
  • 지표: 일치도를 측정하기 위해 민감도(sensitivity), 특이도(specificity), PABAK, Gwet's AC1($q=3$)을 활용하였다. 또한 ML/GenAI의 체계적 문헌고찰 평가를 위한 편집 가이드라인에 따라 Work Saved over Sampling(WSS)과 Number Needed to Read(NNR)를 보고하였다. 다수 레이블(2명 중 2명)은 보조 패널로서 계산되었으나, 민감도의 기본 참조로서 쌍별 테이블(pairwise tables)을 대체하지는 않았다.

주요 기여
본 논문은 다음 다섯 가지 특정 방법론적 차원을 동시에 결합한 첫 번째 연구라고 주장한다:

1. 의학 도메인 적용.
2. 하이브리드 2단계 파이프라인 (규칙 + LLM).
3. 별도로 샘플링된 불확실 클래스를 포함한 3방향 분류.
4. 세 명의 독립적인 인간 검토자를 포함한 층화 샘플링.
5. WSS 및 작업량 지표와 함께 유병률에 강건한 계수(PABAK 및 Gwet's AC1)의 이중 보고.

본 연구는 외부 검토자 2명을 포함하고, 1차 제외 결정과 2차 포함 정밀 분류를 분리하여 분석함으로써 "설계자-검증자" 문제를 명시적으로 해결하였다.

결과

• 주요 대상 (1단계 자동 제외): 파이프라인은 레코드를 자동으로 제외하는 결정에 있어 인간 검토자와 거의 완벽한 일치도를 보였다.
  • 1단계-EXCLUDE 층위: 파이프라인은 904개 중 670개(74.1%)의 레코드를 제외했다.
  • 일치도: PABAK와 AC1은 E.P.(48/48) 및 D.C.(50/50)에 대해 1.000이었다. P.P.B.에 대해서는 PABAK = 0.940 / AC1 = 0.959 (48/50 EXCLUDE, 2 UNCERTAIN)의 일치도를 보였다.
  • 인간 간 일치도: 인간 간의 일치도는 두 외부 검토자 사이에서 가장 높았으며(PABAK = 0.854), E.P.가 포함되었을 때 더 낮았다. 이는 잠재적인 친숙도 효과를 시사하지만, 이는 측정된 변수는 아니다.
• 보조 대상 (정밀 분류/INCLUDE): 파이프라인은 "INCLUDE" 레코드를 식별하는 데 있어 성능이 저조했다.
  • 전체 민감도: E.P. 대비 0.800, D.C. 대비 0.500, Berti 대비 0.833이었다.
  • 위음성(False Negatives): 파이프라인은 특히 2단계에서 인간이 식별한 INCLUDE 레코드를 놓쳤다. 인간 다수가 "INCLUDE"라고 동의한 4개의 레코드 중, 기계는 이를 UNCERTAIN 또는 EXCLUDE로 레이블링했다 (회복률 0/4).
  • 2단계 성능: 94개의 불확실 레코드에 대한 LLM 판정 결과, 11개 INCLUDE 및 83개 EXCLUDE로 나타났으나, 인간 레이블에 대한 민감도는 여전히 낮았다.
• 작업량 지표: WSS 74.1%는 1단계 필터에 의해 제거된 레코드의 비율을 반영하며, 이는 샘플링된 EXCLUDE 층위에 의해 검증되었다.

의의 및 주장
본 논문은 그 범위와 의의를 겸손하게 정의한다:

• 검증된 능력: 본 연구는 특정 의학적 맥락에서 레코드의 약 74%("명백히 주제에서 벗어난" 논문들)를 제거하는 방법으로서 1단계 자동 제외 결정의 신뢰성을 검증하였다. 세 명의 독립적인 의사들이 이 제외 슬라이스를 확인하였다.
• 검증되지 않은 능력: 본 연구는 INCLUDE 레코드의 정밀 분류는 검증되지 않았음을 명시적으로 밝힌다. 인간들 스스로도 어떤 잔여 레코드가 "INCLUDE"인지에 대해 낮은 일치도를 보였으며(삼중 교집합은 단 1개 레코드뿐임), 기계는 인간이 포함되었다고 동의한 소수의 레코드를 회복하는 데 실패했다.
• 방법론적 시사점: 결과는 자동화가 대다수의 스크리닝 작업량을 효과적으로 처리할 수는 있지만, 잔여 작업인 관련 연구 식별은 여전히 인간의 전문 지식이 필요한 영역임을 시사한다. 본 연구는 결과가 이 특정 PICO와 파이프라인에 국한되며 다른 주제로 자동 일반화되지 않음을 경고한다.
• 지표 권고: 저자들은 유병률 불안정성으로 인해 체계적 문헌고찰 스크리닝 검증 시 코헨의 카파 대신 PABAK와 Gwet's AC1을 사용할 필요성을 강조한다.

결론적으로, 본 논문은 규칙 기반 필터가 특정 의학적 맥락에서 스크리닝 작업의 대부분을 안전하게 분담할 수 있음을 입증하지만, LLM이 체계적 문헌고찰의 핵심 과업인 관련 연구 식별을 현재 인간의 판단을 대체할 수 있다고 주장하지는 않는다.