Comparative evaluation of large language models for guideline-based oral cancer management: a standardized assessment of GPT-4o, DeepSeek-R1, and Grok-3

구강암은 정밀하고 조율된 관리가 필요한 심각한 질환입니다. 환자가 진단되면 의사들은 종양의 정확한 위치와 전이 정도에 따라 수술, 방사선 치료 또는 약물 치료를 포함하는 치료 경로를 결정해야 합니다. 이러한 결정은 전문가들이 최신 과학을 바탕으로 모든 환자가 최선의 케어를 받을 수 있도록 작성한 임상 가이드라인이라는 엄격한 의료 규칙에 의해 안내됩니다. 최근에는 대규모 언어 모델이라고 불리는 새로운 유형의 컴퓨터 프로그램이 등장했습니다. 이 프로그램들은 방대한 양의 텍스트를 읽고 질문에 유창하게 답할 수 있어, 많은 이들이 이 도구가 의사들이 복잡한 규칙을 요약하거나 치료 계획을 제안하는 데 도움을 줄 수 있을지 궁금해하고 있습니다. 그러나 컴퓨터가 명확하게 말을 한다고 해서 그 의학적 조언이 반드시 옳은 것은 아닙니다. 생사가 오가는 암 치료의 세계에서, 자신만만하지만 틀린 답변은 위험할 수 있으므로, 이러한 디지털 도구가 진정으로 의료 가이드라인을 이해하고 적용할 수 있는지 테스트하는 것이 필수적입니다.

중국 지린 대학교의 연구진은 세 가지 가장 진보된 대규모 언어 모델을 구강암 사례에 투입하여 이 아이디어를 테스트하기 위해 연구를 시작했습니다. 연구진은 GPT-4o, DeepSeek-R1, Grok-3라는 세 가지 특정 모델을 선택했습니다. 이 프로그램들의 성능을 확인하기 위해 연구진은 두경부암에 대한 공식 국립 종합 암 네트워크(NCCN) 가이드라인을 기반으로 표준화된 테스트를 만들었습니다. 테스트는 두 부분으로 구성되었습니다. 첫째, 모델들에게 전문 외과의 역할을 맡아 의료 지식이 없는 사람에게 구강암 치료 규칙을 설명하도록 했습니다. 이들은 원인, 질병 발견 방법, 그리고 치료 및 회복 단계에 대해 다루어야 했습니다. 둘째, 모델들에게 표준화된 구강암 시나리오와 임상 사례를 제공하고, 진단명, 병기 결정, 그리고 적절한 수술이나 방사선 치료를 포함한 전체 관리 계획을 제공하도록 요청했습니다.

답변을 평가하기 위해 세 명의 숙련된 구강악안면외과 의사들이 결과물을 검토했습니다. 이들은 요약 과제에 대해서는 0점에서 10점 사이의 점수를, 사례 관리 과제에 대해서는 0점에서 100점 사이의 점수를 부여하며 정확성, 명료성, 그리고 치료 계획이 공식 규칙을 따르는지 등의 요소를 살펴보았습니다. 결과는 모델마다 서로 다르게 나타났으며, 모든 면에서 완벽한 단일 프로그램은 없었습니다. 일반 대중을 위한 가이드라인 요약 과제에서 DeepSeek-R1 모델은 10점 만점에 8.8점으로 가장 높은 종합 점수를 받았으며, GPT-4o가 8.3점, Grok-3가 7.8점으로 그 뒤를 이었습니다. DeepSeek-R1은 명료성과 논리적 흐름과 같은 특정 영역에서도 가장 높은 점수를 받았습니다.

모델들이 더 어려운 과제인 특정 환자 사례 관리로 넘어갔을 때, 전반적인 점수는 더 높았지만 모델 간의 차이는 더욱 뚜렷해졌습니다. DeepSeek-R1은 다시 100점 만점에 87.44점을 기록하며 가장 높은 종합 점수를 달랐습니다. 이 모델은 특히 적절한 치료 계획 제안, 수술 범위 계획, 그리고 환자의 예후(예상되는 결과) 평가에서 뛰어난 성능을 보였습니다. Grok-3는 77.77점으로 2위를 차지했고, GPT-4o는 68.61점을 받았습니다. 흥란하게도, DeepSeek-R1이 대부분의 카테고리에서 앞섰지만, Grok-3는 적절한 방사선 조사량을 제안하는 데 있어 가장 높은 점수를 받았습니다. 연구진은 또한 컴퓨터의 단어가 정답과 얼마나 유사한지를 측정하는 텍스트 유사도 점수가 인간 전문가가 판단한 의학적 정확성과 항상 일치하지는 않는다는 점에 주목했습니다. 이는 컴퓨터가 정답과 매우 유사한 단어를 쓸 수는 있지만, 의학적 세부 사항은 틀릴 수 있음을 시사합니다.

최고 성능을 보인 모델의 높은 점수에도 불구하고, 본 연구는 이러한 도구들이 독립적인 의사 결정자로 사용되기에는 중대한 결함이 있음을 발견했습니다. 세 모델 모두 때때로 구강암과 인후암을 혼동했는데, 이는 두 질환의 치료법이 다르기 때문에 매우 치명적인 오류입니다. 또한 이들은 환자의 사례나 공식 가이드라인에 근거하지 않은 구체적인 세부 사항, 예를 들어 정확한 수술 절제 마진이나 항생제 일정 등을 가끔씩 지어내기도 했습니다. 연구진은 모델들이 정보를 조직화하는 능력은 뛰어나지만, 특정 환자의 고유한 상황에 맞춰 계획을 세우는 데 필요한 깊은 맥락적 이해가 부족하다고 관찰했습니다. 연구는 이러한 인공지능 도구가 자율적인 의사라기보다는 의사가 계획을 초안하거나 정보를 요약하는 것을 돕는 보조 도구로 간야되어야 한다고 결론지었습니다. 저자들은 인간 전문가가 반드시 결과물을 검증해야 한다고 강조하며, 이러한 기술이 암 치료를 안전하게 지원할 수 있도록 하는 방법을 더욱 정교화하기 위한 더 큰 규모의 연구를 촉구했습니다.