Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
본 연구는 정책 증거 합성을 위한 AI 도구인 Elicit을 평가하며, 이 도구가 예비 주제 범위 설정(topic scoping)을 효과적으로 신속하게 수행하지만, 상당한 수준의 인간 감독 없이는 복잡한 신속 검토(rapid reviews)에 필요한 정밀도와 신뢰성이 현재 부족하다는 점을 밝히고 있다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
공중 보건과 정부 정책의 세계에서, 어떤 치료법이나 프로그램에 자금을 지원할지를 결정하는 것은 근거에 기반합니다. 새로운 규칙이 작성되기 전에, 전문가들은 주제에 관한 기존의 모든 연구를 수집하고, 이를 주의 깊게 읽으며, 무엇이 효과가 있고 무엇이 효과가 없는지를 요약해야 합니다. '증거 합성(evidence synthesis)'이라고 알려진 이 과정은 공정하고 효과적인 선택을 하는 데 필수적이지만, 믿기 힘들 정도로 시간이 많이 소갈립니다. 전통적으로 연구팀은 수천 편의 과학 논문을 검색하고, 각 논문이 당면한 특정 질문에 부합하는지 확인하며, 명확한 그림을 그리기 위해 데이터를 추출하는 데 수개월을 소비합니다. 정책 입안자들의 요구가 더욱 시급하고 복잡해짐에 따라, 정확성을 잃지 않으면서도 이 작업을 가속화하려는 욕구가 커지고 있습니다. 바로 이 지점에서 인공지능이 등장하며, 인간이 따라잡을 수 없는 속도로 정보를 읽고 분류할 수 있는 강력한 조수 역할을 할 것을 약속합니다.
영국 대학의 연구진들은 이러한 새로운 AI 도구 중 하나를 실제로 테스트해 보기로 했습니다. 그들은 'Elicit'이라는 소프트웨어 프로그램이 정책 연구가들의 업무를 정말로 더 빠르고 더 잘 수행하도록 도울 수 있는지 확인하고 싶었습니다. 연구진은 두 가지 다른 방식으로 이 도구를 평가하기로 했습니다. 첫째, AI가 본격적인 검토가 시작되기 전 단계인 '범위 설정(scoping)' 단계에서 광범위한 주제에 대한 빠른 개요를 파악하는 데 유용한 가이드 역할을 할 수 있는지 물었습니다. 둘 둘째, AI가 복잡한 주제에 대한 완전하고 신속한 증거 검토를 수행하는 데 있어 인간 연구자를 대체할 수 있는지 테스트했습니다. 그들이 선택한 주제는 까다로운 것이었습니다. 사회적, 경제적 불이on에 처한 노인층의 신체 활동을 성공적으로 장려하는 프로그램이 무엇인지 찾아내는 것이었습니다. 이 주제는 다양한 유형의 사람들, 다양한 종류의 활동, 그리고 구체적인 성공 척도를 포함하여 많은 움직이는 요소들을 포함하고 있었기에, 자동화된 시스템에 대한 엄격한 시험대가 되기에 충분했습니다.
연구진은 먼저 AI에게 일차 의료 현장에서 사용되는 신체 활동 도구들의 지형을 이해하는 데 도움이 될 만한 문헌의 빠른 스캔을 요청하며 시작했습니다. 이 역할에서 소프트웨어는 상당히 유용함을 입증했습니다. 소프트웨어는 단 6분 만에 가용한 증거의 요약을 생성해 냈으며, 전문가들이 사고를 형성하는 데 도움이 될 만한 주제에 대한 폭넓은 관점을 제공했습니다. 출력물은 완벽하지 않았고, 정보가 어떻게 발견되었는지에 대한 상세한 설명이 부족했지만, 출발점으로서의 역할은 충분히 수행했습니다. 그것은 팀에게 무엇이 존재하고 어디에 공백이 있는지에 대한 감각을 주었으며, 전체 영토를 그리는 더 어려운 작업을 시작하기 전의 빠르고 예비적인 지도 역할을 효과적으로 수행했습니다.
그러나 연구진이 AI에게 완전하고 엄격한 과업인 '신속 검토(rapid review)'를 수행하도록 요청했을 때, 결과는 훨씬 덜 고무적이었습니다. 그들은 불리한 처지에 놓인 노인 인구의 신체 활동에 관한 동일한 복잡한 질문을 시스템에 입력하고 AI가 이 일을 어떻게 처리하는지 지켜보았습니다. 과정은 3시간 이상 걸렸으며, 그동안 인간 연구자들은 질문을 다듬고 AI의 가정을 수정하는 데 상당한 시간을 보내야 했습니다. 최종 보고서가 작성되었을 때, AI는 관련이 있다고 주장하는 40개의 연구 목록을 포함했습니다. 그러나 인간 전문가들이 엄격한 검토 규칙에 따라 이 연구들을 대조해 보았을 때, 그중 36개가 실제로는 적절하지 않다는 것을 발견했습니다. AI는 잘못된 결과(outcomes)를 보거나, 잘못된 집단에 초점을 맞추거나, 기준에 맞지 않는 중재(interventions)를 조사한 연구들을 포함시켰습니다. 사실, 소프트웨어는 인간 팀이 성공적으로 찾아내어 자체 검토에 포함시킨 34개의 연구를 놓쳤습니다.
핵심적인 문제는 AI가 과학 논문에 사용된 언어의 뉘앙스를 파악하는 데 어려움을 겪는다는 점에 있는 듯 보였습니다. AI는 '노인(older)'이나 '신체 활동(physical activity)'과 같은 단어는 쉽게 식별할 수 있었지만, 특정 연구가 실제로 적절한 집단을 대상으로 적절한 것을 테스트하고 있는지에 대한 더 깊은 의미를 이해하는 데는 실패했습니다. 예를 들어, AI는 일반적인 건강을 개선하기 위한 프로그램과 신체 활동을 구체적으로 증가시키기 위한 프로그램을, 비록 표현이 유사하더라도 구분하지 못했습니다. 이러한 오류 때문에 AI가 생성한 최종 요약은 원래의 질문에 답하지 못하는 정보들로 채워졌습니다. 그것은 관련 없는 결과들을 논했고, 검토 대상에 부합하지 않는 증거를 바탕으로 결론을 도출했습니다. 반면, 인간이 주도한 검토는 소음(noise)을 걸러내고 진정으로 중요한 연구들에만 집중할 수 있었으며, 그 결과 훨씬 더 정확하고 신뢰할 수 있는 결론을 낼 수 있었습니다.
연구진은 또한 소프트웨어가 찾아낸 데이터를 어떻게 처리하는지도 살펴보았습니다. AI는 연구가 수행된 국가나 참가자 수와 같은 기본적인 세부 사항은 추출할 수 있었지만, 중재가 개인의 건강을 얼마나 개선했는지와 같은 구체적인 결과를 추출하는 데 있어서는 일관성이 없었습니다. 어떤 경우에는 데이터를 완전히 놓쳤고, 어떤 경우에는 무엇을 찾았는지 불분명했습니다. 더욱이, 소프트웨어는 연구의 질을 판단하는 능력이 없었기에, 설계가 허술한 약한 실험과 잘 수행된 강력한 실험을 동일하게 취급했습니다. 이러한 품질 관리의 부재는 정책 입안자들이 결함이 있는 증거에 의존하게 만들 수 있다는 점에서 중대한 위험 요소입니다.
궁극적으로, 이 연구는 인공지능이 주제에 대한 빠르고 높은 수준의 개요를 얻는 데는 가치 있는 도구가 될 수 있지만, 복잡한 질문이 따르는 완전한 증서 검토라는 핵심적인 과업에서 인간 연구자를 대체하기에는 아직 준비가 되지 않았음을 시사합니다. AI는 연구의 초기 단계 속도를 높일 수는 있지만, 후기 단계에서는 여로 독자적으로 신뢰하기에는 너무 많은 실수를 저지릅니다. 연구진은 현재로서는 소프트웨어를 인간 전문가와 함께 일하는 조수로 사용하는 것이 최선이며, 인간 전문가가 기계의 모든 결정을 확인해야 한다고 결론지었습니다. AI를 사용하여 절약한 시간은 현재로서는 불분명한데, 이는 AI의 오류를 수정하는 데 필요한 인간의 노력이 초기 속도 향상 효과를 상쇄할 수도 있기 때문입니다. 이러한 도구들이 계속 발전함에 따라, 인간의 언어와 연구의 미묘한 세부 사항을 더 잘 이해하게 되기를 희망하지만, 현재로서는 공공 정책을 안내하는 증거의 정확성과 신뢰성을 보장하기 위해 인간의 정신이 필수적입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.