A large language model-assisted workflow for generating a living evidence base for climate-sensitive foodborne disease

기술 요약: 기후 민감성 식중독에 관한 리빙 에비던스(Living Evidence)를 위한 LLM 지원 워크플로우

문제 정의
기후 변화는 식중독 전파를 유발하는 환경 조건을 변화시키고 있으며, 이로 인해 증거 기반이 급격히 확장되고 파편화되고 있습니다. 전통적인 체계적 문헌고찰(Systematic Review)은 엄격하지만, 이러한 성장의 속도를 따라잡기에는 너무 느리고 자원 집약적입니다. 영국 보건안보청(UKHSA)의 2023년 기후-보건 검토와 같은 국가적 규모의 평가는 수만 개의 레코드를 스크리닝해야 하며, 이 과정은 공중보건 기관이 적응 전략을 위해 신속하고 반복 가능하며 정책적으로 유의미한 "리빙 에비던스(Living Evidence)"를 생성하는 능력을 제한합니다. 머신러닝이 잠재적인 해결책을 제시할 수는 있지만, 운영 중인 공중보건 환경 내에서 LLM 워크플로우를 테스트하거나 이를 리빙 리뷰를 위해 구체적으로 설계한 연구는 거의 없습니다.

방법론
저자들은 SysRev 플랫폼 내에 구현된, GPT-4-Turbo를 자동 레이블러(auto-labeller)로 활용한 LLM 지원 스크리닝 워크플로우를 개발하고 평가했습니다. 본 연구는 영국의 공중보건상 중요한 식중독 병원균(예: Campylobacter, Salmonella, Norovirus, Cryptosporidium, Listeria, VTEC, Yersinia)과 기후 동인(예: 온도, 강수량, 계절성) 간의 연관성에 초점을 맞추었습니다.

워크플로우는 다음과 같은 하이브리드 인간-LLM 접근 방식을 따랐습니다:

1. 데이터 수집: 구조화된 PubMed 검색(2010–2023)을 통해 초록 데이터셋을 확보했습니다.
2. 골드 스탠더드(Gold-Standard) 생성: 세 명의 인간 검토자가 선정 기준(기후/날씨와 명시적으로 연결된 인간 질병 결과 요구)에 따라 초기 365개의 초록을 독립적으로 스크리닝했습니다. 불일치 사항은 합의를 통해 해결하여 골드 스탠더드 데이터셋을 구축했습니다.
3. 반복적 정교화: 자동 레이블러는 처음에 선정 기준에서 도출된 프롬프트로 구성되었습니다. 저자들은 에이전트 기반의 정교화 프로세스를 구현했습니다:
   • 모델이 골드 스탠더드 세트를 스크리닝했습니다.
   • 오분류된 초록(위양성/위음성)을 샘플링했습니다.
   • 이 사례들을 LLM에 다시 입력하여 선정 기준 프롬프트를 업데이트하고 정교화했습니다.
   • 모델 성능이 안정될 때까지 이 과정을 반복했습니다.
4. 평가: 최종 모델은 별도의 1,044개 초록 세트를 대상으로 테스트되었습니다. 성능은 인간의 스크리닝과 비교하여 재현율(Recall), 정밀도(Precision), 특이도(Specificity), 정확도(Accuracy) 및 균형 정확도(Balanced Accuracy)를 사용하여 측정되었습니다.

주요 결과

• 모델 성능: 정교화된 선정 모델은 89.2%의 재현율, 59.2%의 정밀도, 84.5%의 특이도, 85.4%의 정확도를 달연했습니다.
• 스크리닝 출력: 평가 세트 전체에서 모델은 436개(41.7%)의 연구가 정교화된 기준을 충족하는 것으로 식별했습니다.
• 사후 분석(Post-Hoc Analysis): 모델에 의해 제외되었으나 인간에 의해 포함되었던 초록들을 최종 정교화된 기준에 따라 재평가한 결과, 해당 초록들은 기준을 충족하지 않는 것으로 판단되었습니다. 이는 반복적 정교화 과정이 단순히 유효한 연구를 놓치는 것이 아니라, 스크리닝 정의의 일관성을 개선했음을 시사합니다.
• 증거 특성: 포함된 연구들은 주로 강수량, 온도, 계절성 및 습도에 집중되었습니다. 가장 흔한 병원균은 노로바이러스, Salmonella, Campylobacter, Cryptosporidium였습니다. 지리적으로는 유럽, 아시아, 북미에 집중되었습니다.

핵심 기여

• 운영 워크플로우: 본 연구는 구조화된 검색, 인간의 전문 지식, 그리고 반복적인 LLM 정교화를 보안이 확보된 기관 환경 내에서 통합하는 확장 가능하고 감사 가능하며 재현 가능한 워크플로우를 입증했습니다.
• 반복적 프롬프트 엔지니어링: 정적인 프롬프트 평가와 달리, 본 연구는 오분류된 사례를 명시적으로 사용하여 선정 기준을 업데이트함으로써 운영 파이프라인 내에서 모델 성능을 향상시키는 방법을 보여줍니다.
• 리빙 에비던스의 토대: 이 접근 방식은 정적인 리뷰의 한계를 해결하여, 새로운 문헌이 등장함에 따라 신속하게 업데이트될 수 있는 증거 기반을 생성하는 방법을 제공함으로써 호라이즌 스캐닝(Horizon Scanning)과 기후-보건 위험 평가를 지원합니다.
• 전략적 트레이드오프: 워크플로우는 정밀도보다 높은 재현율(민감도)을 우선시하며, 이는 유효한 문헌을 놓치지 않으면서도 인간의 후속 검토를 위한 관리 가능한 수준의 위양성 사례를 유지하기 위한 의도적인 선택입니다.

의의 및 주장
저자들은 이 LLM 지원 워크플로우가 전통적인 수동 스크리닝에 대한 저비용의 확장 가능한 대안을 제공하며, 관련 문헌에 대한 높은 민감도를 유지하면서 수동 부담을 줄일 수 있다고 주장합니다. 본 연구는 이 워크플로우를 전체 체계적 문헌고찰을 대체하는 도구가 아니라, 후보 증거 세트를 좁히고 선정 기준을 표준화함으로써 의사결정을 보조하는 도구로 규정합니다.

이러한 시스템은 비정상성(Non-stationary) 관계와 급격한 증거 증가로 인해 정적인 리뷰가 빠르게 구식이 되는 기후 민감성 감염병 분야에서 특히 중요하다고 주장합니다. 반복 가능하고 감사 가능한 프로세스를 지원함으로써, 이 접근 방식은 불확실성 속에서 감시 우선순위, 위험 평가 및 정책 대응을 알릴 수 있는 "리빙 에비던스" 시스템의 토대를 제공합니다. 저자들은 공식적인 시간 절감 효과를 수치화하지는 않았으나, 이 워크플로우가 수동 스크리닝이 필요한 레코드의 수를 크게 줄여줄 것으로 기대한다고 언급했습니다.

인정된 한계점
저자들은 본 연구가 초록 스크리닝에 집중했기 때문에 이후 단계인 전체 텍스트 평가로의 일반화가 제한될 수 있음을 겸허히 인정했습니다. 또한, 평가가 단일한 도메인 특화 데이터셋과 하나의 LLM 모델을 사용하여 수행되었으며, 관찰된 정밀도는 위양성을 걸러내기 위한 인간의 감독이 여전히 필요함을 나타냅니다. 마지막으로, 본 연구는 연구 식별 문제를 다루고 있으며, 데이터 추출, 위험 편향 평가 또는 메타 분석과 같은 다운스트림 작업의 자동화는 아직 다루지 않습니다.