Comparative performance of DeepSeek-R1 and GPT-4o on standardized ophthalmic diagnostic and treatment tasks

현대적인 진료실에서 의사의 정신은 환자의 이야기, 신체적 징후, 그리고 검사 결과를 하나의 명확한 그림으로 연결하여 무엇이 잘못되었는지 파악하도록 수년간 훈련된 강력한 도구입니다. 이러한 임상적 추론 과정은 의학의 근간이지만, 숙달하는 데 오랜 시간이 걸리는 기술이기도 합니다. 최근 새로운 종류의 디지털 정신이 등장했습니다. 바로 대규모 언어 모델(LLM)입니다. 이들은 방대한 양의 텍스트로 훈련된 인공지능 시스템으로, 놀라운 유창함을 바탕으로 인간의 언어를 읽고, 이해하며, 생성할 수 있습니다. 이들은 편지를 쓰는 것부터 일반적인 질문에 답하는 것에 이르기까지 다양한 분야를 돕는 데 유망한 가능성을 보여주었습니다. 그러나 이미지의 미세한 세부 사항이나 특정 증상 패턴에 따라 진단이 결정될 수 있는 안과처럼 정밀하고 시각적인 분야에서, 이 디지털 조수들이 질병의 복잡성을 진정으로 이해하고 있는지는 여전히 불분ట명합니다. 문제는 이제 그들이 의학의 언어를 말할 수 있느냐가 아니라, 어려운 사례에 직면했을 때 전문의처럼 생각할 수 있느냐는 것입니다.

한 연구팀은 두 가지 가장 진보된 인공지능 시스템인 DeepSeek-R1과 GPT-4o를 사용하여 이 질문을 테스트하기 위해 연구를 시작했습니다. 연구진은 안과 분야에 초점을 맞추기로 했는데, 안과는 높은 수준의 전문 지식과 다양한 정보를 가중하여 판단하는 능력을 요구하기 때문입니다. 공정하고 엄격한 테스트를 위해, 연구팀은 컴퓨터에게 실제 환자를 보거나 실제 안구 스캔을 보라고 요청하지 않았습니다. 대신, 중국의 안과 의사들을 훈련시키고 시험하는 데 사용되는 국가 데이터베이스에서 추출한 33개의 표준화된 사례 연구를 사용했습니다. 이 사례들은 망막 질환, 녹내장에서부터 외상 및 종양에 이르기까지 폭넓은 질환을 다루었으며, 이는 전문가가 일상 업무에서 접할 수 있는 시나리오들을 나타냅니다. 연구진은 두 인공지능 모델에게 선임 안과 의사 역할을 수행하도록 요청했습니다. 각 사례의 텍스트를 제공하고 진단, 증상을 설명할 수 있는 다른 가능한 질환 목록, 그리고 치료 계획을 요청했습니다.

결과의 객관성을 보장하기 위해, 세 명의 숙련된 전문의(board-certified eye doctors)가 두 인공지능 시스템이 제공한 답변을 검토했습니다. 전문가들은 어떤 모델이 작성한 답변인지 알지 못하는 상태에서 검토를 진행했습니다. 그들은 정확성과 완결성이라는 두 가지 주요 기준에 따라 각 응답을 채점했습니다. 정확성은 의학적 조언이 얼마나 옳은지를 측정했고, 완결성은 필요한 세부 사항을 빠뜨리지 않고 모두 다루었는지를 측정했습니다. 전문가들은 훈련 데이터베이스에 있는 표준 정답과 답변이 얼마나 잘 일치하는지에 따라 점수를 부여하는 간단한 채점 방식을 사용했습니다. 이 과정을 통해 연구진은 두 디지털 정신의 성능을 인간의 전문성이라는 '골드 스탠다드(gold standard)'와 직접 비교할 수 있었습니다.

결과는 두 시스템 사이에 명확한 차이를 보여주었습니다. 검토된 모든 사례에 걸쳐, DeepSeek-R1은 GPT-4o보다 일관되게 더 정확하고 더 완전한 답변을 제공했습니다. 전문가들이 정확한 질환을 식별하는 특정 과업을 살펴보았을 때, DeepSeek-R1은 10점 만점에 평균 8.04점을 받은 반면, GPT-4o는 6.46점을 받았습니다. 격차는 모델들에게 다른 가능한 질환을 나열하도록 요청했을 때, 즉 감별 진단(differential diagnosis)이라고 알려진 과업에서 더욱 벌어졌습니다. 여기서 DeepSeek-R1은 7.52점을 기록한 데 비해 GPT-4o는 5.50점을 기록했습니다. 치료 계획 측면에서도 DeepSeek-R1은 7.62 대 6.65로 다른 모델을 앞질렀습니다. 차이는 단순히 최종 수치에만 있었던 것이 아닙니다. 전문가들은 또한 DeepSeek-R1의 답변이 더 철저하며, 설명에 필요한 요소들을 더 많이 포함하고 있다고 언급했습니다.

연구 결과, DeepSeek-R1의 우위는 복잡하고 다단계적인 사고를 요구하는 안과 영역에서 가장 두드러졌습니다. 망막 질환, 녹내장, 시신경 질환, 그리고 안구 정렬 및 시력 발달 문제와 같은 질환들에서 가장 큰 성능 격차가 나타났습니다. 이는 의사가 결론에 도달하기 위해 많은 다양한 단서들을 종합해야 하는 유형의 사례들입니다. 반면, 특정 안구 외상이나 표면 질환처럼 보다 명확하거나 뚜렷한 징후가 있는 질환의 경우, 두 모델 간의 차이는 더 작았습니다. 이는 고도의 추론에 중점을 둔 DeepSeek-R1의 특정 훈련 방식이, 정답이 즉각적으로 드러나지 않고 세심한 연역이 필요한 상황에서 우위를 점하게 할 수 있음을 시사합니다.

이러한 유망한 결과에도 불구하고, 연구진은 자신들의 발견을 최종 판결이라기보다는 예비 단계로 규정하는 데 주의를 기울였습니다. 본 연구는 텍스트 기반의 사례만을 사용했다는 점에서 한계가 있으며, 이는 인공지능 시스템이 실제 진단에 필수적인 실제 안구 이미지를 전혀 보지 못했음을 의미합니다. 또한 33개의 사례라는 표본 크기도 상대적으로 작았으며, 평가는 세 명의 인간 전문가의 주관적 판단에 의존했습니다. 저자들은 이러한 결과가 어느 인공지능 시스템도 인간 의사를 대체할 준비가 되었다거나, 환자를 위한 의사결정을 위해 병원에서 직접 사용될 수 있다는 것을 의미하지 않는다고 강조했습니다. 이 모델들의 성능은 업데이트됨에 따라 빠르게 변할 수 있으며, 2025년 초에 테스트된 특정 버전이 미래 시스템의 능력을 반영하지 못할 수도 있습니다.

궁극적으로, 이 연구는 안과라는 전문 분야에서 인공지능이 어디에 위치해 있는지 이해하기 위한 중요한 벤치마크 역할을 합니다. 이는 더 새로운 모델 중 하나인 DeepSeek-R1이 이 특정 맥락에서 기성 모델인 GPT-4o보다 복잡한 의료 사례를 추론하는 더 강한 능력을 보여주었음을 입증합니다. 그러나 연구는 더 많은 작업이 필요하다고 결론짓습니다. 향히 연구는 이 시스템들이 실제 이미지를 사용하고 실제 임상 환경에서 테스트되어, 환자 케어라는 무질서하고 복잡한 현실 속에서 의사들을 진정으로 지원할 수 있는지 확인해야 합니다. 현재로서는, 인공지능이 의료적 추론을 위한 강력한 도구가 되고 있지만, 여전히 발전 중인 과정에 있으며, 그 역할은 지속적인 검증과 인간의 전문성과의 신중한 통합에 달려 있다는 점을 이 결과는 시사합니다.