Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

매년 전 세계적으로 엄청난 양의 새로운 과학 논문이 쏟아져 나오고 있습니다. 의학에서 환경 보건에 이르는 다양한 분야에서 연구자들은 그 어느 때보다 많은 연구를 발표하고 있으며, 이는 단 한 팀의 인간이 평생 동안 다 읽는 것이 불가능한 정보의 범람을 만들어내고 있습니다. 이러한 혼돈을 정리하기 위해 과학자들은 체계적 문헌 고찰(systematic review)이라는 엄격한 과정에 의존합니다. 이것은 문헌을 가볍게 훑어보는 것이 아닙니다. 특정 화학 물질이 해를 끼치는지, 혹은 신약이 기존 약보다 효과적인지와 같은 구체적인 질문에 답하는 모든 연구를 찾아내는 체계적인 추적입니다. 이 추적 과정에서 첫 번째이자 종종 가장 소모적인 단계는 스크리닝(screening)입니다. 연구자들은 수천 편의 논문 제목과 짧은 요약문을 읽으며, 어떤 것을 남기고 어떤 것을 버릴지 즉각적으로 결정해야 합니다. 만약 이 단계에서 관련 있는 연구를 놓친다면, 전체 검토 결과가 왜곡되어 건강과 안전에 대한 잘못된 결론으로 이어질 수 있습니다. 수십 년 동안 이 작업은 전적으로 인간의 눈에 의해 수행되어 왔으며, 이는 중요한 답변을 지연시키는 느리고 비용이 많이 들며 노동 집약적인 병목 현상이었습니다.

독일 연방 방사선 보호국(Federal Office for Radiation Protection)의 연구팀은 이제 인공지능을 사용하여 이 문제를 해결하는 새로운 방법을 테스트했습니다. 그들은 거대 언어 모델(인간의 언어를 이해하고 생성할 수 있는 고급 컴퓨터 프로그램)이 첫 번째 필터 역할을 수행하여, 이 수천 개의 제목과 초록을 읽고 어떤 것이 인간의 주의를 끌 가치가 있는지 결정할 수 있는지 탐구했습니다. 목표는 인간 검토자를 대체하는 것이 아니라, 방대한 양의 무관한 논문을 제거하면서도 중요한 연구가 실수로 버려지는 일이 없도록 보장하는 강력한 조수 역할을 하는 것이었습니다. 연구진은 이를 하나의 과학 실험으로 취급하여, 컴퓨터에게 업무를 수행하도록 요청하는 수십 가지의 서로 다른 방식을 구축하고 테스트했으며, 실제 데이터에 적용하기 전에 각 방법이 얼마나 잘 작동하는지 면밀히 측정했습니다.

연구팀은 먼저 통제된 테스트 환경을 만드는 것으로 시작했습니다. 그들은 100개의 합성 논문 요약본을 생성했는데, 그중 절반은 엄격한 포함 기준을 충족하도록 설계되었고 나머지 절반은 기준에 미달하도록 설계되었습니다. 이 작은 세트를 사용하여 그들은 매우 다양한 전략을 시도했습니다. 어떤 전략은 컴퓨터에게 단순한 '예' 또는 '아니오'의 답변을 요구했습니다. 다른 전략은 연구 설계를 구성하는 다섯 가지 특정 요소인 대상자, 노출 또는 처치, 비교 집단, 측정된 결과, 그리고 연구 유형을 각각 별도로 평가하도록 하여 결정을 세분화했습니다. 또한, 컴퓨터에게 새로운 논문을 판단하게 하기 전에 좋은 논문과 나쁜 논문의 몇 가지 예시를 제공하는 것이 도움이 되는지, 그리고 컴퓨터에게 각 결정에 대한 근처(reasoning)를 설명하도록 요청하는 것이 정확도를 높이는지도 테스트했습니다. 그들은 로컬 컴퓨터에서 실행할 수 있는 오픈 소스 모델과 주요 기술 기업의 독점 모델 모두에서 이 테스트를 수행하며 속도, 비용 및 정확도를 비교했습니다.

가장 우수한 접근 방식을 좁혀낸 후, 연구진은 이미 전문가들에 의해 완료된 세 가지 실제 체계적 문헌 고찰에 가장 유망한 후보들을 적용하여 더 엄격한 단계의 테스트를 진행했습니다. 이 검토들은 연구팀이 잘 알고 있는 주제인 고주파 전자기장의 건강 영향에 관한 것이었습니다. 여기서 컴퓨터의 임무는 원래 검색 결과에서 나온 수천 개의 제목과 초록을 살펴보고, 인간이 최종적으로 선택한 것이 무엇인지 결정하는 것이었습니다. 결과는 놀라웠습니다. 가장 성공적인 워크플로(workflow)는 인간이 포함시킨 거의 모든 연구를 식별해 냈으며, 96% 이상의 민감도(sensitivity)를 달성했습니다. 이는 만약 수천 개의 더미 속에 100개의 관련 연구가 숨겨져 있다면, 컴퓨터가 최소 96개를 찾아낼 수 있음을 의미합니다. 동시에, 시스템은 무관한 논문의 대다수를 정확하게 식별하여 폐기함으로써 인간이 읽어야 할 기록의 수를 80% 이상 줄였습니다.

또한 이 연구는 컴퓨터 모델의 크기보다 어떻게 요청하느냐가 더 중요하다는 것을 밝혀냈습니다. 연구진은 가장 크고 비싼 모델을 사용하는 것보다, 특정한 방법에 따라 안내되는 더 작고 비용 효율적인 모델을 사용하는 것이 가장 효과적이라는 것을 발견했습니다. 이 방법은 모델에게 연구 설계의 다섯 가지 핵심 요소를 개별적으로 살펴보게 하고, 각 부분을 수용하거나 거부한 이유에 대해 짧은 설명을 제공하도록 요청하는 것을 포함했습니다. 이러한 단계별 추론 방식은 좋은 연구와 나쁜 연구의 예시를 몇 가지 결합함으로써, 심지어 더 작은 규모의 저렴한 모델조차도 인간에 가까운 정확도로 수행할 수 있게 했습니다. 연구진은 컴퓨터가 각 부분을 상세히 분석하더라도, 다섯 가지 질문에 병렬적으로 답하게 하는 것이 오히려 정확도를 떨어뜨린다는 것을 발견했는데, 이는 컴퓨터가 각 부분을 상세히 분석하면서도 전체적인 맥락을 한꺼번에 고려할 때 가장 잘 작동한다는 점을 시사합니다.

연구팀이 가장 성능이 좋은 워크플로를 가져와 암 연구부터 관절염 치료에 이르는 완전히 다른 여덟 가지의 체계적 문헌 고찰에 테스트했을 때도 결과는 유지되었습니다. 시스템은 소음(noise)을 걸러내면서 거의 모든 관련 연구를 일관되게 찾아냈습니다. 이 과정을 실행하는 비용은 놀라울 정도로 낮았는데, 1,000개의 기록을 스크리닝하는 데 약 1달러 정도였습니다. 이는 이 기술이 단순히 이론적인 가능성에 그치는 것이 아니라, 예산이 한정된 연구팀이 사용할 수 있는 실질적인 도구임을 시사합니다. 연구진은 시스템이 완벽하지는 않다고 언급했습니다. 예를 들어, 제목만 있고 초록이 없는 경우처럼 정보가 매우 적은 논문에는 어려움을 겪었습니다. 이러한 경우, 시스템은 중요한 것이 누락되지 않도록 해당 논문을 인간이 확인하도록 현명하게 표시(flag)했습니다.

이 연구는 인공지능이 이제 과학적 과정에서 매우 신뢰할 수 있는 파트너 역할을 할 수 있다고 결론짓습니다. 컴퓨터에게 기준을 단계별로 생각하고 선택의 이유를 설명하도록 요청하는 정교하게 설계된 워크플로를 사용함으로써, 연구자들은 문헌 검토에 필요한 시간과 노력을 획기적으로 줄일 수 있습니다. 이것은 인간이 불필요해진다는 의미가 아닙니다. 오히려 컴퓨터가 이미 초기 작업을 마쳤다는 확신을 가진 상태에서, 인간이 정말 중요한 논문에 에너지를 집중할 수 있음을 의미합니다. 이 연구는 이 기술을 책임감 있게 사용하는 방법에 대한 명확하고 투명한 프레임워크를 제공하며, 과학적 지식이 그 어느 때보다 빠르게 성장하는 세상에서 더 빠르고 효율적인 증거 합성(evidence synthesis)을 위한 길을 제시합니다.