Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

의학 연구의 세계에서 질문에 답하는 가장 신뢰할 수 있는 방법은 해당 주제에 대해 지금까지 작성된 모든 연구를 모으고, 그것들을 모두 읽고, 그 결과들을 하나의 명확한 그림으로 결합하는 것입니다. 이 과정을 체계적 문헌고찰(systematic review)이라고 부릅니다. 이것은 어떤 치료법이 효과가 있고 어떤 것이 그렇지 않은지를 결정하는 데 있어 골드 스탠다드(gold standard)이며, 현대 임상 지침의 중추를 형성합니다. 하지만 이러한 검토를 만드는 것은 엄청난 작업입니다. 연구팀이 수백만 개의 논문을 검색하고, 어떤 것이 중요한지 결정하기 위해 초록을 읽으며, 전체 본문에서 특정 수치를 추출하고, 연구가 신뢰할 수 있는지 확인하기 위해 연구의 질을 점검하는 데 몇 달 또는 몇 년을 소비해야 합니다. 이 과정은 노동 집약적이어서 수십만 달러의 비용이 들 수 있으며, 의사와 환자에게 생명을 구하는 정보가 전달되는 것을 지연시킬 수 있습니다.

최 최근, 거대 언어 모델(large language model)로 알려진 새로운 종류의 컴퓨터 프로그램이 등장했습니다. 이들은 방대한 양의 인간 텍스트를 학습하여 인간의 지능을 모방하는 방식으로 언어를 읽고, 이해하고, 생성할 수 있는 시스템입니다. 연구자들은 이 도구들이 체계적 문헌고찰을 수행하는 무거운 짐을 대신 맡아, 몇 달이 걸리던 고된 일을 단 몇 시간 만에 끝낼 수 있을지 궁금해하기 시작했습니다. 희망적인 부분은 이 기계들이 반복적이고 데이터 집약적인 작업을 처리함으로써, 인간 전문가들이 깊은 판단력을 필요로 하는 복잡한 결정에 집중할 수 있도록 해준다는 것입니다. 하지만 이를 위해서는 기계가 환자의 생명을 맡길 수 있을 만큼 충분히 정확해야 합니다.

몬트리올 대학교와 맥길 대학교의 연구팀은 매우 실질적인 접근 방식을 통해 이 아이디어를 테스트하기로 했습니다. 그들은 처음부터 끝까지 전체 검토 과정을 실행하는 복잡하고 완전히 자동화된 로봇을 만들려고 시도하지 않았습니다. 대신, 그들은 특정 고급 버전의 거대 언어 모델에게 단순한 지시와 이미 발표된 5개의 의학 문헌고찰 데이터를 사용하여, 체계적 문헌고찰의 각 주요 단계를 하나씩 수행하도록 요청했습니다. 목표는 인공지능에 대한 특별한 훈련을 받지 않은 일반 사용자도 컴퓨터가 인간 팀만큼 잘 수행하게 할 수 있는지 확인하는 것이었습니다. 연구진은 다섯 가지 뚜렷한 단계에 집중했습니다: 논문을 찾기 위한 검색어 생성, 관련 연구를 선별하기 위한 제목 및 초록 스크리닝, 전체 본문에서 특정 데이터 포인트 추출, 연구의 품질 및 잠재적 편향 평가, 그리고 마지막으로 데이터를 결합하여 최종 결과 도출입니다.

결과는 놀라운 강점과 명확한 한계를 동시에 보여주었습니다. 의학 논문의 텍서 내에서 특정 숫자와 사실을 뽑아내는 일에 있어서, 컴퓨터 모델은 놀라울 정도로 뛰어났습니다. 사실, 모델은 검토를 작성했던 원래의 인간 저자들보다 더 우수한 성과를 보였습니다. 연구진이 컴퓨터가 추출한 데이터를 전문가 리뷰어가 만든 새롭고 매우 엄격한 기준과 비교했을 때, 기계의 정확도는 93%에 달했습니다. 또한 기계는 인간이 몇 시간 걸릴 일을 단 몇 분 만에 해내며 더 빨랐습니다. 마찬가지로, 연구의 품질을 판단하고 잠재적인 결함이나 편향을 식별하라는 요청을 받았을 때, 컴퓨터는 다시 한번 인간보다 더 나은 성능을 보였으며 83%의 정확도를 기록했습니다. 연구진은 컴퓨터가 품질을 판단할 때 실수를 하는 경우, 위험할 수도 있는 연구를 안전하다고 표시하는 등 지나치게 조심스러운 경향이 있다고 언급했는데, 이는 실제 문제를 놓치는 것보다 더 안전한 오류입니다.

하지만 기계는 불완전한 정보에 기반하여 판단을 내려야 하는 초기 단계에서 상당한 어려움을 겪었습니다. 컴퓨터가 논문을 찾기 위해 데이터베이스에서 사용하는 특정 단어 목록인 검색식(search strings)을 생성하도록 요청받았을 때, 컴퓨터는 인간이 찾았던 관련 논문의 약 85%를 찾아냈습니다. 이는 괜찮은 결과였지만, 문헌의 상당 부분을 놓쳤음을 의미했습니다. 상황은 컴퓨터가 최종 검토에 포함할 논문을 결정하기 위해 전체 본문을 스크리닝하려고 할 때 더욱 악화되었습니다. 이 단계에서 모델은 인간 검토자들이 정확하게 식별했던 중요한 논문 중 절반 이상을 놓쳤습니다. 컴퓨터는 무엇을 포함하지 않아야 하는지는 잘 알았지만, 무엇을 유지해야 하는지에 대해서는 미흡했습니다. 이는 기계가 데이터를 읽고 정리하는 데는 강력한 도구가 될 수 있지만, 어떤 연구가 관련이 있는지 결정하는 초기 핵심 단계에서 아직 인간을 대체할 준비가 되지 않았음을 시사합니다.

마지막 단계는 검토의 전체 결과를 계산하기 위해 데이터를 결합하는 것이었습니다. 여기서 컴퓨터는 인간의 결과와 매우 유사한 수치를 산출했지만, 항상 완전히 일치하지는 않았습니다. 차이는 미미했으며, 이는 기계가 모호한 데이터를 해석하거나 사소한 계산 세부 사항을 처리하는 방식 때문일 가능성이 큽니다. 연구진은 컴퓨터가 인간보다 훨씬 오래 걸리는 이 작업을 단 몇 초 만에 생성할 수 있다는 것을 발견했습니다. 그러나 이 과정을 완벽하게 수행하려면 누락된 데이터를 어떻게 처리할지, 어떤 통계적 방법을 사용할지에 대한 매우 구체적이고 상세한 지침이 필요하다는 점이 밝혀졌습니다. 이러한 세심한 안내 없이는 결과가 진실에서 약간 벗어날 수 있습니다.

이 연구는 의료 연구의 자동화로 가는 길이 단 한 번의 도약이 아니라, 서로 다른 작업에 서로 다른 도구가 필요한 일련의 단계라고 결론짓습니다. 표에서 데이터를 추출하거나 연구 품질을 판단하는 것과 같이 텍스트를 읽고 사실을 추출하는 작업의 경우, 이 컴퓨터 모델들은 이미 인간보다 우수하며 업무 속도를 높이기 위해 즉시 사용될 수 있습니다. 그러나 검색할 논문을 결정하거나 어떤 전문을 포함할지 결정하는 것과 같은 더 주관적인 작업의 경우, 기계는 아직 혼자 작동할 만큼 신뢰할 수 없습니다. 연구진은 가장 효과적인 접근 방식은 하이브리드 모델이라고 제안합니다. 즉, 컴퓨터가 데이터 추출과 품질 점검 같은 힘든 일을 처리하게 하고, 인간 전문가는 검색을 가이드하고 최종 스크리닝 결정을 내리는 데 투입하는 것입니다. 이러한 파트너십은 환자가 의존하는 정확성을 희생하지 않으면서도 의학적 근거를 생산하는 시간과 비용을 획기적으로 줄일 수 있습니다.