Comparative Performance of Large Language Models in Answering Guideline-Based Questions on Juvenile Idiopathic Arthritis: A Blinded Expert Evaluation

소아 의학의 세계에는 소아 특발성 관절염이라는 질환이 있습니다. 이는 명확한 이유 없이 아이의 관절이 붓고 통증을 느끼는 일련의 질병들로, 아이의 성장과 움직임에 영향을 미칠 수 있습니다. 이 질환은 매우 다양한 형태로 나타나기 때문에, 의사들은 아이가 정확히 어떤 유형을 앓고 있는지 식별하고 적절한 치료법을 선택하는 데 매우 신중해야 합니다. 이러한 결정을 내리기 위한 규칙들은 의료 전문가들이 만든 상세한 가이드라인에 기록되어 있습니다. 이 가이드라인은 의사들에게 언제 약물 치료를 시작할지, 부작용을 어떻게 관찰할지, 그리고 감염이나 안구 염증과 같은 복잡한 상황을 어떻게 다룰지를 알려줍니다. 수년 동안 이 가이드라인은 의사들을 위한 신뢰할 수 있는 지도 역할을 해왔지만, 이제 새로운 종류의 도구가 지평선 위에 나타났습니다. 바로 대규모 언어 모델입니다. 이들은 방대한 양의 텍text를 학습하여 유창하고 인간처럼 보이는 언어로 질문에 답할 수 있는 컴퓨터 프로그램입니다. 이들은 의료 정보를 찾는 데 인기를 얻고 있지만, 이들이 소아 관절염 케어의 엄격한 규칙을 따를 수 있을지, 혹은 그럴듯하게 들리지만 실제로는 틀린 사실을 지어낼지는 아무도 알지 못했습니다.

터키의 한 연구팀은 이 컴퓨터 프로그램들을 본격적으로 테스트해 보기로 했습니다. 그들은 가장 진보된 세 가지 모델이 소아 특발성 관절염에 관한 질문에 인간 전문가만큼 잘 답할 수 있는지 확인하고자 했습니다. 이를 위해 그들은 컴퓨터에게 이야기를 쓰거나 감정에 대해 대화하도록 시키지 않았습니다. 대신, 공식 의료 가이드라인을 바탕으로 한 21개의 구체적인 질문을 던졌습니다. 어떤 질문은 질병의 서로 다른 유형을 어떻게 구분하는지와 같은 단순한 사실을 물었습니다. 다른 질문은 치료 계획, 예를 들어 상태가 호전되지 않는 아이에게 어떤 약을 처방해야 하는지 등을 물었습니다. 가장 어려운 질문들은 가상의 환자 사례였으며, 컴퓨터에게 복잡한 병력을 가진 특정 아이를 위한 최선의 다음 단계가 무엇인지 판단하도록 요구했습니다. 연구진은 세 가지 서로 다른 컴퓨터 모델에 모든 질문에 답하도록 했습니다. 시험의 공정성을 기하기 위해, 그들은 컴퓨터의 이름을 숨기기 위해 중립적인 라벨을 사용했으며 답변이 보여지는 순서를 섞었습니다.

소아 관절 질환 전문가인 다섯 명의 전문의가 이 답변들을 검토했습니다. 그들은 어떤 컴퓨터가 어떤 답변을 작성했는지 알지 못했습니다. 그들은 각 답변이 공식 가이드라인과 비교했을 때 얼마나 정확한지, 실제 진료실에서 얼마나 유용할지, 그리고 전반적인 답변의 질이 어떠한지를 기준으로 점수를 매겼습니다. 결과는 기계들 사이에 명확한 차이를 보여주었습니다. 연구진이 GPT-5.6 Sol이라고 부른 한 모델이 일관되게 가장 좋은 답변을 제공했습니다. 이 모델은 정확성과 의사에게 유용하다는 점 모두에서 가장 높은 점수를 받았습니다. 나머지 두 모델인 Gemini 3.1 Pro와 Claude Opus 5도 좋은 성적을 거두었으나 선두를 따라잡지는 못했습니다. 질병 진단과 같은 일부 영역에서는 더 낮은 순위의 모델이 다른 모델보다 더 나은 모습을 보이기도 했지만, 치료 계획과 같은 다른 영역에서는 그 순위가 뒤바뀌었습니다. 이는 단 하나의 컴퓨터도 모든 면에서 완벽할 수는 없으며, 그 성능이 질문의 유형에 따라 달라진다는 것을 증명했습니다.

연구팀은 또한 답변이 어떻게 작성되었는지도 살펴보았습니다. 한 모델은 21개의 질문 전체에 걸쳐 수천 단어를 써 내려가며 매우 긴 답변을 생성했습니다. 연구진은 답변이 길수록 더 좋을 것이라고 예상했지만, 의사들은 동의하지 않았습니다. 가장 많은 단어를 쓴 모델이 가장 높은 점수를 받은 것은 아니었습니다. 사실, 가장 높은 점수를 받은 모델은 종종 더 직설적이었습니다. 의사들은 또한 모든 컴퓨터가 사용하는 언어가 상당히 읽기 어렵다는 점을 발견했는데, 이는 의학적 배경이 없는 일반 성인이 이해하기 힘든 수준으로 작성되었습니다. 이는 이러한 도구들이 유창한 텍스트를 생성할 수는 있지만, 복잡한 의료 규칙을 일반 대중이 이해하기 쉽게 단순화하는 방법은 알지 못한다는 것을 시사합니다.

이 연구의 가장 중요한 발견은 이러한 컴퓨터 프로그램이 인간 의사를 대체할 수 없다는 것입니다. 이들은 정보를 검색하고 이를 일관된 답변으로 정리할 수는 있지만, 엄격한 규칙과 질병의 일반적인 특징 사이의 경계를 모호하게 만들 때가 있습니다. 그들은 가능한 치료 옵션 중 하나를 제안할 수는 있지만 그것이 최선은 아닐 수도 있고, 질병 분류의 세부 사항을 혼동할 수도 있습니다. 연구진은 이러한 도구들이 반드시 사실 관계를 확인할 수 있는 전문가의 감독 하에 사용되어야 한다고 결론지었습니다. 이 연구는 최고의 컴퓨터 모델이라 할지라도, 특히 아이의 건강이 걸려 있는 상황에서는 자신의 작업을 검증할 인간 전문가가 필요하다는 것을 보여주었습니다. 기술은 강력하지만, 섬세한 분야인 소아 류마티스학에서 이 기술은 독자적인 결정권자가 아니라 보조 도구로 남아 있습니다.