Label-free, low-cost AI ranking for systematic review screening

매년 의사들과 연구자들은 방대한 의료 연구의 바다를 이해하기 위해 체계적 문헌 고찰(systematic reviews)에 의존합니다. 이러한 검토 보고서들은 임상 지침의 근간이 되며, 어떤 치료법이 효과가 있고 없는지를 실무자들에게 알려줍니다. 하지만 이를 만드는 과정은 매우 힘들고 느린 작업으로, 시작부터 끝까지 1년 이상이 걸릴 수 있습니다. 가장 진을 빼는 부분은 분석이 아니라 스크리닝(screening)입니다. 인간 전문가 팀이 수천 개의 제목과 초록을 하나하나 읽으며, 각 연구가 전체 내용을 읽을 만큼 충분히 관련이 있는지 결정해야 합니다. 이는 고도의 집중력을 요구하며 막대한 양의 인간 시간을 소비하게 만들고, 종종 생명을 구하는 정보가 필요한 사람들에게 도달하는 것을 지연시킵니다.

수년 동안 과학자들은 이 분류 작업을 돕기 위해 컴퓨터를 활용하여, 가장 유망한 연구들을 먼저 보여줌으로써 인간이 더 빨리 읽기를 멈출 수 있도록 노력해 왔습니다. 하지만 이러한 도구들은 대개 인간이 어떻게 작동하는지 학습할 수 있도록 수백 개의 사례에 레이블을 붙이는 사전 작업이 필요하며, 언제 읽기를 멈추는 것이 안전한지 정확히 아는 데 어려움을 겪습니다. 최근에는 특정 의학 주제에 대한 사전 학습 없이도 텍스트를 이해할 수 있는 강력하고 새로운 인공지능 모델들이 등장했습니다. 연구자들이 직면한 질문은, 이 새로운 도구들이 단 한 명의 인간이 손을 대기도 전에 이 거대한 연구 목록을 정리할 수 있는 저렴하고 빠르며 정확한 필터 역할을 할 수 있느냐는 것이었습니다.

최근 인디애나 대학교 의과대학의 한 팀은 'Jev'라고 불리는 새로운 유형의 인공지능을 이 과제에 투입하여 테스트했습니다. 그들은 AI에게 연구를 읽고 최종 결정을 내리라고 요청한 것이 아니라, 단순히 순위를 매기라고 요청했습니다. 목표는 AI가 해당 특정 리뷰들에 대한 단 하나의 인간 레이블 예시도 보지 못한 상태에서, 128개의 서로 다른 의학 리뷰로부터 추출된 약 17만 개의 기록을 가장 관련성이 높은 것들이 맨 상단에 오도록 정렬할 수 있는지 확인하는 것이었습니다. 연구진은 이 새로운 도구를 기존의 무료 소프트웨어 및 현재 사용 가능한 가장 발전되고 값비싼 생성형 AI 모델들과 비교했습니다.

결과는 이 새로운 AI가 자신의 업무를 놀라울 정도로 효과적으로 수행했음을 보여주었습니다. 연구진이 AI가 정렬한 기록들을 확인했을 때, AI는 무료 소프트웨어가 할 수 있는 것보다 훨씬 더 높은 위치에 관련 연구들을 배치했습니다. 실제로 이 AI는 테스트한 모든 리뷰에서 무료 도구들보다 뛰어난 성능을 보였습니다. 가장 강력한 생성형 AI 모델들과 비교했을 때, 이 새로운 도구는 최고 성능의 모델보다 약간 뒤처졌지만, 비용 면에서는 아주 적은 부분만을 차지했습니다. 가장 발전된 모델들이 1,000개의 기록을 처리하는 데 약 14달 65센트를 소요하는 반면, 이 새로운 도구는 동일한 작업에 단 2센트만을 소요했습니다. 이 도구는 단순히 더 저렴했을 뿐만 아니라, 훨씬 더 많은 비용이 드는 중간 단계 모델들보다 더 빠르고 정확했습니다.

연구진은 이 순위 매기기가 시간을 절약하기 위해 어떻게 인간의 작업과 결합될 수 있는지 탐구했습니다. 그들은 만약 인간이 AI가 제안한 순서대로 목록을 읽기 시작한다면, 무작위 순서로 읽거나 기존의 정렬 방식을 사용할 때보다 훨씬 더 빠르게 관련 연구들을 찾아낼 수 있다는 것을 발견했습니다. AI의 순위를 출발점으로 삼고 진행하면서 인간의 피드백을 추가함으로써, 연구팀은 거의 모든 중요한 연구를 찾아내면서도 읽는 시간을 상당 부분 절약할 수 있다고 계산했습니다. 그러나 이 연구는 한 가지 결정적인 한계점도 밝혀냈습니다. 즉, AI는 목록을 아름답게 정렬할 수는 있지만, 팀에게 언제 읽기를 멈춰야 하는지를 신뢰성 있게 알려줄 수는 없다는 점이었습니다.

AI의 점수가 관련성을 예측하는 데 있어 완벽하게 보정되지 않았기 때문에, 읽기를 멈추기 위한 고정된 기준점을 설정하는 것은 위험했습니다. 몇몇 사례에서 단순한 점수 임계값을 사용하는 것은 팀이 포함되어야 할 중요한 연구들을 놓치게 만드는 원인이 되었습니다. 연구진은 안전하게 멈추는 유일한 방법은 통계적 확인을 통해 자신들이 관련 연구를 모두 찾았을 가능성이 높다는 것을 확인될 때까지 계속 읽는 것뿐이라는 사실을 발견했습니다. 이는 AI가 작업의 순서를 정리하고 인간이 어디를 먼저 살펴봐야 할지 알려주는 데는 탁-월한 도구이지만, 검색이 진정으로 완료되었는지를 결정하는 데 필요한 인간의 판단력을 아직 대체할 수는 없음을 의미합니다.

궁극적으로, 이 연구는 레이블이 필요 없는 저비용 AI가 의학 연구 스크리닝의 효율성을 극적으로 향고할 수 있음을 입증합니다. 이는 첫 번째 기록으로부터 바로 고품질의 읽기 순서를 얻을 수 있는 방법을 제시하며, 연구팀이 몇 가지 중요한 연구를 찾기 전까지 수천 개의 무관한 연구를 읽어야 하는 수고를 덜어줍니다. 비록 이것이 '언제 멈출 것인가'라는 문제 전체를 해결하지는 못하지만, 인간의 작업을 훨씬 더 집중적이고 효과적으로 만드는 강력하고 저렴한 출발점을 제공합니다. 근거 기반 의학 분야에서, 이는 임상 지침의 작성을 더 빠르고 덜 부담스럽게 만들어 최상의 의학 지식이 환자들에게 더 빨리 전달되도록 하는 중요한 진전입니다.