High Average Accuracy Coexists with Substantial Between-Setting Variability: A Systematic Review and Meta-analysis of Large Language Models for Data Extraction in Evidence Synthesis

연구팀이 의학적 치료법을 이해하기 위해 나설 때마다, 그들은 먼저 수십 개, 때로는 수백 개의 개별 연구로부터 사실을 수집해야 합니다. 체계적 문헌 고찰(systematic review)이라고 알려진 이 과정은 현대 의학적 근거의 토대입니다. 이 과정은 과학자들이 밀도 높은 보고서들을 읽고 환자 수가 몇 명인지, 투여량은 얼마였는지, 결과는 어떠했는지와 같은 구 구체적인 수치들을 뽑아낼 것을 요구합니다. 만약 단 하나의 숫자라도 잘못 복사된다면, 검토 전체의 결론이 바뀔 수 있으며, 이는 잠재적으로 의사들이 잘못된 치료법을 권고하게 만들 수도 있습니다. 수십 년 동안 이 작업은 인간의 손에 의해 수행되어 왔으며, 실수를 잡아내기 위해 두 사람이 독립적으로 동일한 문서를 읽는 매우 느리고 세심한 작업이었습니다. 이것은 정확성의 황금 표준이지만, 동시에 엄청나게 많은 시간과 비용이 소요됩니다.

최 recent 몇 년 동안, 새로운 도구가 이 영역에 등장했습니다. 바로 거대 언어 모델(large language models)입니다. 이들은 방대한 양의 텍스트를 학습하여 과학 논문을 읽고 인간이 하는 것과 동일한 수치를 추출하려고 시도할 수 있는 강력한 컴퓨터 프로그램입니다. 인공지능 시스템이 힘든 일을 대신 수행함으로써 과정을 가속화하고, 인간 전문가들이 더 복잡한 사고에 집중할 수 있도록 자유롭게 해줄 것이라는 기대가 있었습니다. 하지만 이러한 도구들이 점점 더 흔해짐에 따라, 한 가지 중요한 질문이 제기되었습니다. 우리는 이 도구들이 인간만큼 정확하다고 믿을 수 있는가, 그리고 이들의 성능은 요청받는 정보의 종류에 관계없이 일관되게 유지되는가 하는 점입니다.

카를로스 다르시 알베스 베르소트(Carlos Darcy Alves Bersot)와 그의 동료들이 수행한 새로운 연구는 이 질문에 대해 심층적인 통계적 분석을 수행했습니다. 그들은 단순히 기계가 작동하는지를 묻는 데 그치지 않고, 이 모델들을 인간이 만든 표준과 비교하여 테스트한 데 사용 가능한 모든 보고서를 수집하여 전체적인 그림을 보기 위해 결과를 결합했습니다. 그들이 발견한 것은 매우 다른 두 가지 현실이 공존하고 있다는 이야기였습니다. 한편으로는, 이 인공지능 시스템의 평균 성능은 놀라울 정도로 높습니다. 다른 한편으로는, 그 평균치는 특정 과업에 따라 성능이 극단적으로 요동칠 수 있다는 혼란스러운 현실을 숨기고 있습니다.

연구진은 45개의 독립적인 조사를 나타내는 46개의 서로 다른 보고서에서 데이터를 수집했습니다. 그들은 특히 인간이 기계의 작업물을 보기 전의 순간에 초점을 맞추었습니다. 그들은 알고 싶었습니다. 만약 거대 언량 모델에게 특정 정보를 추출하도록 요청했을 때, 첫 번째 시도에서 정답을 맞히는 경우가 얼마나 되는가 하는 점입니다. 엄격한 기준을 충족하는 8개의 핵심 연구 결과를 통합했을 때, 답은 고무적이었습니다. 모델들은 약 86.4%의 확률로 정답을 맞혔습니다. 이 수치는 일반적인 관점에서 볼 때 이 도구들이 상당히 유능하다는 것을 시사합니다.

하지만 이야기는 그 평균 수치에서 끝나지 않습니다. 연구진은 더 깊이 조사하여 이 높은 평균치가 극심한 불일치라는 토대 위에 구축되었다는 것을 발견했습니다. 그들은 새로운, 보지 못한 상황에서 어떤 종류의 성능을 기대할 수 있는지 보여주는 범위를 계산했습니다. 그 범위는 최저 19.2%에서 최고 99.4%까지 뻗어 있었습니다. 이를 이해하기 위해, 평균 86점을 받는 학생이 시험을 치르는 상황을 상상해 보십시오. 만약 그 학생의 개별 시험 점수가 낙제부터 만점까지 들쑥날쑥하다면, 당신은 그 학생을 교실에 보내 채점 업무를 맡길 수 없을 것입니다. 여기에 동일한 논리가 적용됩니다. 평균이 높다는 사실이 기계가 특정, 실제 상황에서 잘 수행할 것이라는 보장을 의미하지는 않습니다.

이 연구는 추출되는 정보의 유형이 엄청난 차이를 만든다는 것을 보여줍니다. 과업이 단순하고 명확하게 기술된 사실을 포함할 때 모델은 매우 잘 수행합니다. 하지만 복잡한 표 속에 숨겨진 숫자를 찾거나, 모호한 텍스트를 해석하거나, 누락되었거나 보고가 부실한 데이터를 추출해야 하는 과업의 경우 정확도가 현저히 떨어집니다. 모델이 단순히 복사하는 것이 아니라 기억으로부터 세부 사항을 회상해야 하는 개방형 정보를 찾아야 했던 한 특정 사례에서는 정확도가 단 17%로 급락했습니다. 이 단일 연구는 매우 다른 과업을 가지고 있었기에 전체 평균을 낮추고 결과의 범위를 넓혔습니다. 연구진이 이 이상치(outlier)를 제거하고 더 유사하고 구조화된 과업들을 살펴보았을 때 평균 정확도는 91.2%로 상승했지만, 그럼에도 불구하고 성능은 설정에 따라 여전히 크게 달라질 수 있었습니다.

연구진은 또한 의료 검토에서 가장 중요한 부분인 수치 데이터를 이 도구들이 어떻게 다루는지 조사했습니다. 여기서 결과는 엇갈렸습니다. 매우 구조화된 일부 테스트에서 모델은 거의 완벽한 정확도를 달성하여 99%의 숫자를 정확히 맞혔습니다. 그러나 다른 유형의 데이터를 가진 다른 연구들에서는 정확도가 약 63%로 떨어졌습니다. 이러한 불일치는 연구자가 모델이 한 가지 일을 잘한다고 해서 모든 일을 잘할 것이라고 가정할 수 없음을 의미합니다. 약물 이름을 찾는 데 탁월한 모델이 부작용을 경험한 정확한 환자 수를 찾는 데는 처참하게 실패할 수 있습니다.

또 다른 중요한 발견은 워크플로우에 관한 것입니다. 많은 연구가 인간이 프로세스에 참여하는 경우, 예를 들어 인간이 기계의 작업을 확인하거나 기계가 보조 독자 역할을 하는 경우에 이 도구들이 어떻게 수행되는지를 살펴보았습니다. 이러한 인간 보조 워크플로우는 종종 더 나은 결과를 보여주며 시간을 절약해 줍니다. 그러나 연구는 명확한 구분을 둡니다. 인간이 기계와 함께 작업할 때의 속도와 정확도는 기계가 단독으로 작업할 때와는 다릅니다. 일부 연구에서 보고된 시간 절감은 대개 기계가 초안을 작성함으로써 발생하지만, 인간은 여전히 작업 내용을 검증하고 수정하는 데 시간을 써야 합니다. 기계는 인간의 감독 필요성을 제거하는 것이 아니라, 단지 업무의 성격을 변화시킬 뿐입니다.

연구진은 검토한 연구들의 품질도 조사하였으며, 많은 연구에 방법론적 결함이 있음을 발견했습니다. 일부 연구는 모델을 어떻게 테스트했는지 명확하게 설명하지 않았거나, 모델을 훈련시키는 데 사용한 데이터와 테스트하는 데 사용한 데이터를 동일하게 사용하여 결과가 실제보다 더 좋게 보이도록 만들었습니다. 이러한 한계와 진정으로 독립적인 연구의 적은 수 때문에, 연구진은 이 도구들이 미래의 모든 상황에서 완벽하게 작동할 것이라고 절대적인 확신을 가지고 말할 수 없습니다. 증거는 이 도구들이 강력하긴 하지만, 아직 인간 검토자를 완전히 대체할 만큼 신뢰할 수 있는 수준은 아니라는 점을 시사합니다.

이 연구의 결론은 인공지능이 실패했다는 것이 아니라, 주의 깊은 취급이 필요한 도구라는 것입니다. 높은 평균 정확도는 실재하지만, 맥락을 고려하지 않는다면 오해의 소지가 있는 벤치마크입니다. 그것은 기술이 잠재력을 가지고 있음을 말해주지만, 동시에 성능이 취약하다는 경고를 보냅니다. 한 유형의 데이터 추출에는 잘 작동하는 시스템이 다른 유형에는 완전히 실패할 수도 있습니다. 연구진은 앞으로 나아갈 최선의 길은 기계를 맹목적으로 신뢰하는 것이 아니라, 위험 적응형 전략(risk-adapted strategy)의 일부로 사용하는 것이라고 주장합니다. 단순하고 명확한 과업의 경우, 자신 있게 사용할 수 있습니다. 복잡하거나 수치적이거나 모호한 데이터의 경우, 인간의 검증이 필수적입니다.

궁극적으로, 이 연구는 대화의 초점을 "기계가 할 수 있는가?"에서 "어떤 조건 하에서 기계가 할 수 있는가?"로 전환시킵니다. 답은 기계가 할 수 있지만, 오직 조건이 갖춰졌을 때만 가능하다는 것입니다. 높은 평균 점수는 능력에 대한 약속이지만, 넓은 변동성은 예측 불가능성에 대한 경고입니다. 의료 실무를 안내하기 위해 이러한 검토에 의존하는 과학자들에게 교훈은 명확합니다. 기계는 유능한 조수이지만, 아직 인간 전문가의 세심하고 비판적인 시각을 대체할 수는 없습니다. 증거 합성의 미래는 아마도 기계가 양을 처리하고 인간이 타당성을 보장하는 파트너십, 즉 기계의 성능이 보장이 아닌 끊임없이 확인되어야 할 변수라는 이해를 바탕으로 한 협력의 형태가 될 것입니다.