Diagnostic Performance of Agentic AI for Rare Disease Diagnosis: A Systematic Review, Meta-analysis, Workflow Development, and Benchmark-based Validation

전 세계 수백만 명의 사람들에게 진단은 시작점이 아니라 도달하기 어려운 목적지입니다. 희귀 질환은 그 본질상 매우 파악하기 어렵습니다. 이들은 종종 모호하거나, 증상이 중첩되거나, 혹은 단 한 명의 개인에게만 나타나는 독특한 양상을 보이며, 이러한 점들을 연결하는 데 필요한 의학적 지식은 일상적인 진료에서 드물게 접하게 되는 전문 분야들에 흩어져 있습니다. 이는 환자와 가족들이 방대한 의료 데이터 속에 숨겨져 있을지도 모르는 답을 찾기 위해 수년간 헤매는 '진단 여정(diagnostic odyssey)'이라 불리는 좌절스러운 과정으로 이어집니다. 최근 몇 년 동안 인공지능은 이러한 수수께끼를 풀 수 있는 새로운 희망을 제시했습니다. 특히, 단순히 텍스트를 읽는 것을 넘어 능동적으로 문제를 생각하는 새로운 세대의 지능형 시스템이 등장했습니다. 흔히 '에이전트(agent)' 시스템이라 불리는 이들은 인간 전문가가 일하는 방식을 모방하도록 설계되었습니다. 즉, 복잡한 문제를 작은 단계들로 나누고, 외부 데이터베이스에서 정보를 찾아보며, 단순히 하나의 프롬프트에 기반해 추측하는 것이 아니라 더 많은 증거를 수집함에 따라 자신의 추측을 정교화합니다.

절강중의학대학교와 그 부속 병원의 연구진은 이러한 고급 사고 기계들이 희귀 질환이라는 특수한 과제에 직면했을 때 얼마나 잘 수행하는지를 이해하기 위해 연구를 진행했습니다. 그들은 새로운 기계를 직접 만든 것이 아니라, 조사관 역할을 맡아 2025년과 2026년 사이에 이미 발표되었거나 프리프린트(preprints) 형태로 공유된 7개의 서로 다른 연구 결과를 수집하고 분석했습니다. 이 연구들은 다양한 버전의 지능형 에이전트를 수천 건의 희귀 질환 사례에 적용하여, "시스템이 첫 번째 추측에서 올바른 질병을 정확히 식별하는 빈도가 얼마나 되는가?"라는 단순하지만 결정적인 질문을 던졌습니다. 연구진은 이러한 개별 조사들의 데이터를 결합하여 기술의 현재 상태에 대한 대규모 그림을 그려냈습니다. 그 결과, 33,000건 이상의 사례 전반에 걸쳐 이 지능형 시스템들이 첫 시도에서 정확한 진단을 내린 비율은 약 절반 정도였습니다. 이는 단일하고 정적인 모델에 의존했던 기존 방식보다 크게 향상된 수치이지만, 결과는 완벽과는 거리가 멀었습니다. 성능은 사용된 특정 시스템과 테스트된 데이터의 유형에 따라 크게 달랐는데, 어떤 설정에서는 거의 80%까지 성공하기도 했으나 어떤 경우에는 30%에도 미치지 못하며 고전하기도 했습니다. 이러한 불일치는 이 기술이 유망하기는 하지만, 아직 통일된 해결책은 아님을 시사합니다.

이러한 시스템이 왜 성공하거나 실패하는지를 이해하기 위해, 연구팀은 서로 다른 에이전트들이 사용하는 내부 '워크플로(workflow)' 또는 단계별 과정을 면밀히 살펴보았습니다. 그들은 가장 성공적인 시스템들이 공통된 행동 양식을 공유한다는 것을 발견했습니다. 거의 모든 효과적인 에이전트는 진단 과제를 작고 관리 가능한 단계로 나누고, 그 단계들을 통해 추론하며 자신의 초기 아이디어를 정교화하는 전략을 사용했습니다. 또한 이들은 가설을 검증하기 위해 유전 정보 데이터베이스나 희귀 질환 등록부와 같은 외부 의학 지식 베이스에 자주 접근했습니다. 연구진은 이러한 공통적이고 성공적인 패턴을 바탕으로 단순화되고 경량화된 버전의 워크플로를 구축했습니다. 그런 다음 이 새로운 워크플로를 표준적인 50가지 희귀 질환 사례에 대해 테스트하였으며, '생각하는' 에이전트를 단계별 과정이나 외부 조회를 도움 없이 스스로 추측해야 하는 '독립형(standalone)' 모드의 동일한 컴퓨터 모델과 맞붙였습니다.

이 직접적인 비교 결과는 미묘한 이야기를 들려주었습니다. 모델이 단독으로 작동했을 때는 50건 중 단 5건에서만 최우선 진단을 정확히 식별했습니다. 반면, 구조화된 워크플로의 안내를 받은 동일한 모델은 성능이 향에게하여, 50건 중 11건에서 정답을 먼저 맞혔습니다. 이는 명확한 개선을 보여주기는 했지만, 이 작은 표본 크기에서는 결정적인 승리로 간주될 만큼 통계적으로 큰 차이는 아니었습니다. 그러나 연구진은 단 하나의 정답이 아닌 상위 5개의 추측을 살펴보았을 때 더욱 고무적인 현상을 발견했습니다. 워크플로의 도움을 받은 모델은 정답을 상위 5개 선택지 안에 포함시키는 비율이 50%에 달했는데, 이는 기준점(baseline)에서 상당히 뛰어오른 수치였습니다. 이는 시스템이 항상 완벽한 답에 즉시 도달하지는 못할지라도, 구조화된 사고 과정이 올바른 질병을 후보군 안에 유지시켜 주어 가능성의 범위를 크게 좁혀준다는 것을 시사합니다.

본 연구는 이러한 지능형 에이전트들이 희귀 질환 진단을 돕는 실질적인 능력을 입증했으나, 아직 완성된 제품은 아니라고 결론짓습니다. 서로 다른 시스템 간의 넓은 성능 편차는 워크플로의 구체적인 설계와 그 시스템이 접근하는 데이터의 품질이 매우 중요하다는 것을 나타냅니다. 연구진은 자신들의 발견이 최종적인 해결책이라기보다는 개념 증명(proof of concept)임을 강조합니다. 그들이 구축한 워크플로는 이러한 시스템이 생각하는 방식을 개선하는 재현 가능한 방법을 제공하지만, 신뢰성을 입증하기 위해서는 훨씬 더 큰 규모와 실제 임상 환경에서의 추가적인 테스트가 필요합니다. 궁극적인 목표는 기계로 의사를 대체하는 것이 아니라, 방대한 양의 정보를 처리하고 엄격한 추론 과정을 따르는 기계의 능력이 임상의의 판단을 뒷받침함으로써, 답을 기다리는 환자들의 길고 고통스러운 여정을 단축할 수 있는 협력적 파트너십을 만드는 것입니다.