💻 computer science

Comparative Performance of General-Purpose Large Language Models and a Specialized Clinical AI Tool on OKAP-Style Ophthalmology Questions

본 연구는 OKAP 스타일의 안과 문제들을 대상으로 다섯 가지 거대 언어 모델을 평가하였으며, 범용 모델, 특히 Gemini-Pro-3가 정확도와 보정 측면에서 특화된 임상 AI 도구인 OpenEvidence보다 우수한 성능을 보였음을 밝히는 동시에, 모든 시스템에서 나타나는 상당한 성능 이질성과 공통된 추론 실패를 강조하였다.

원저자: Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alon Moore Galindo, Amit Ginsberg, Razan Saadi, Tomer Kerman, David Schwartzman, Anat Loewenstein, Igal Leibovitch

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

안과 의사들을 위한 고난도 의학 시험인 OKAP이라는 것을 상상해 보세요. 이제, 이 까다로운 안과 질문들에 답하기 위해 다섯 가지 서로 다른 "초스마트" 컴퓨터 프로그램들이 이 시험을 치른다고 상상해 봅시다. 이 연구의 목표는 어떤 컴퓨터 프로그램이 안과 질문에 가장 잘 답하는지, 그리고 무엇보다도 중요한 점은 어떤 프로그램이 자신이 틀렸을 수도 있다는 사실을 스스로 인지하는지를 확인하는 것이었습니다.

다음은 일상적인 비유를 사용한 결과 요약입니다:

참가자들

연구진은 다섯 명의 서로 다른 AI "학생"들을 줄 세웠습니다:

OpenEvidence: 의학 교과서만을 공부하고 유명한 의학 저널들과 직접 연결된 통로를 가진 특화된 학생입니다. 이것은 마치 의학 도서관의 내용을 모두 암기했지만, 그 외의 일반적인 지식은 부족한 의학 사서와 같습니다.
Gemini-Pro-3, Claude-Opus-4.6, ChatGPT-5.4-Pro, 그리고 DeepSeek-v3.2: 이들은 "범용" 학생들입니다. 이들은 요리 레시피부터 물리학 논문까지 모든 것을 읽습니다. 이들은 박학다식한 폴리매스(박식가), 즉 많은 분야에 대해 조금씩 다 아는 사람들과 같습니다.

테스트

테스트는 안 건강에 관한 659개의 객관식 질문으로 구성되었습니다. 이 질문들은 쉬운 사실(예: "이 눈 부위의 이름은 무엇인가?")부터 복잡한 추론이 필요한 시나리오(예: "환자가 X 증상과 Y 병력을 가지고 있다면, 최선의 치료법은 무엇인가?")에 이르기까지 다양했습니다.

결과: 누가 승리했는가?

결과는 전문가들에게 놀라움을 안겨주었습니다:

챔피언: Gemini-Pro-3 (범용 학생)가 가장 높은 점수를 받았으며, 질문의 **95.8%**를 정확히 맞혔습니다. 이 모델은 다른 모든 모델을 상당한 차이로 제치며 압도적인 성적을 거두었습니다.
준우승: Claude-Opus-4.6 (또 다른 범용 학생)가 2위를 차지했습니다.
전문가: OpenEvidence (의학 사서)가 3위를 차지했습니다. 이 모델은 매우 우수한 성적(88%)을 냈지만, 범용 학생들을 이기지는 못했습니다. 실제로 범용 학생들의 성적이 전문가 모델보다 더 높았습니다.
나머지: ChatGPT와 DeepSeek이 그 뒤를 이었으며, DeepSeek이 73.7%로 가장 낮은 점수를 기록했습니다.

핵심 결론: 의료용으로 특화된 도구를 갖추었다고 해서 반드시 의학 질문에 더 똑똑하게 답한다는 보장은 없었습니다. 오히려 범용 AI가 이 특정 테스트에서 더 뛰어난 성능을 보였습니다.

"확신도" 체크

연구진은 AI에게 다음과 같이 물었습니다: "당신의 답이 맞다고 확신하는 정도는 어느 정도입니까?" (0에서 100 사이의 척도). 이것은 마치 학생에게 손을 들어 100% 확신한다고 말하라고 하는 것과 같습니다.

가장 "자기 객관화"가 잘 된 학생: Gemini-Pro-3가 가장 정직했습니다. 이 모델이 확신을 가질 때, 그 확신은 대개 실제 정답과 일치했습니다. 즉, 모델의 확신도가 실제 성능과 완벽하게 일치했습니다.
"과잉 확신" vs "과소 확신": 다른 모델들은 정답을 구별해내는 능력(변별력)은 좋았으나, 자신의 확신도를 실제 정확도와 일치시키는 능력(교정)은 부족했습니다.
경고 신호: 한 모델인 DeepSeek은 이 부분에서 형편없었습니다. 이 모델은 틀렸을 때도 확신이 있다고 말하거나, 맞았을 때도 불확실하다고 말하는 경우가 잦았습니다. 이는 위험한 신호입니다. 만약 의사가 확신에 찬 오답을 믿게 된다면, 이는 의료 사고로 이어질 수 있기 때문입니다.

그들은 모두 어디에서 실패했는가?

연구진은 모든 AI가 공통적으로 틀린 9개의 질문을 살펴보았습니다. 그리고 그 이유를 찾아내려 노력했습니다.

성공한 부분: 그들은 단어와 기본적인 주제는 이해하고 있었습니다.
무너진 부분: 그들은 복잡한 추론과 출처 확인에서 무너졌습니다.
- 비유: 마치 학생이 질문은 완벽하게 읽었지만, 퍼즐을 풀기 위해 세 가지 서로 다른 사실을 연결해야 할 때 길을 잃는 것과 같습니다. 또는, 규칙집이 자신의 답을 뒷받침하는지 확인하지 않고 그냥 답을 찍는 것과 같습니다.
- AI는 단순히 사실을 기억하는 것이 아니라 "사고 단계"를 거쳐야 하는 질문에서 가장 큰 어려움을 겪었습니다.

제한 사항 (주의 사항)

저자들은 이 연구가 증명하지 않은 부분에 대해서도 주의 깊게 언급했습니다:

이미지 없음: 이 테스트는 텍스트로만 진행되었습니다. 실제 안과 진료에서는 눈 사진을 보게 됩니다. 이 연구 동안 이 AI들은 이미지를 보는 테스트를 받지 않았습니다.
실제 환자 아님: 이것은 시험 문제일 뿐, 복잡하고 까다로운 병력을 가진 실제 환자의 사례가 아닙니다.
일회성 테스트: AI는 테스트를 한 번만 수행했습니다. 만약 다시 질문한다면, 다른 답을 내놓을 수도 있습니다.

요약

간단히 말해, 현재는 범용 목적의 AI가 전문 의료용 AI보다 안과 의사 시험 질문에 더 잘 답하고 있습니다. 하지만 AI는 여전히 가장 어렵고 복잡한 추론 작업에서는 어려움을 겪고 있습니다. 또한, AI가 높은 점수를 받았다고 해서 이를 맹목적으로 신뢰해도 된다는 뜻은 아닙니다. AI가 자신이 불확실할 때 이를 제대로 인지하는지 확인해야 합니다. 이 연구는 우리가 AI가 실제 세상의 복잡성을 어떻게 다루는지 더 많이 알게 될 때까지, 현재로서는 이 도구들을 실제 의료 결정에 사용하는 것에 주의를 기울여야 함을 시사합니다.

기술 요약: OKAP 스타일 안과 문제에 대한 범용 LLM과 특화된 임상 AI의 성능 비교

문제 제기
대규모 언어 모델(LLM)이 의료 분야에 점점 더 통합되고 있지만, 범용 LLM이 특정 의학 세부 전문 분야 내에서 특화된 임상 지향적 AI 플랫폼과 어떻게 비교되는지에 대한 이해에는 결정적인 격차가 존재한다. 안과학 분야에서는 주요 의료 기관(예: NEJM Group, AAO)과의 파트너십을 통해 설계된 임상용 특화 도구인 OpenEvidence가 등장했다. 그러나 최근의 벤치마킹은 범용 모델이 일반적인 의학 지식에서 특화된 모델보다 더 뛰어난 성능을 보일 수 있음을 시사한다. 저자들은 OpenEvidence와 최첨단 범용 LLM 간의 직접적인 비교 증거가 안과 지식에 대해 부족하다는 점을 해결하고자 했으며, 단순히 원시 정확도뿐만 아니라 교정(calibration) 및 신뢰도 기반 변별력과 같은 신뢰성 지표를 함께 평가하였다.

방법론
본 연구는 OKAP(Ophthalmic Knowledge Assessment Program)에서 유래되었으며 OphthoQuestions 뱅크를 반영하도록 구조화된 659개의 고유한 텍는 기반 다지선다형 문제(MCQ) 데이터셋을 사용하여 5가지 LLM 기반 시스템을 평가하는 비교 설계를 채택하였다. 평가된 모델은 다음과 같다:

OpenEvidence (2026년 3월 버전): 특화된 임상 AI 플랫폼.
ChatGPT-5.4-Pro: 범용 LLM.
Gemini-Pro-3: 범용 LLM.
Claude-Opus-4.6: 범용 LLM.
DeepSeek-v3.2: 범용 LLM.

데이터 및 평가 프로토콜:

데이터셋: 13개 영역의 세부 전문 분야, 임상 영역, 문제 유형, Bloom의 교육 목표 분류 체계, 그리고 난이도(쉬움에서 매우 어려움까지)별로 수동 분류된 659개의 질문.
접근 방식: OpenEvidence를 제외한 모든 모델은 공식 API를 통해 접근하였으나(단일 실행), OpenEvidence는 당시 공개 API의 부재로 인해 웹 인터페이스를 통해 수동으로 접근하였다.
프롬프트: 확정적인 답변(A–D)을 요구하는 표준화된 프롬프트를 사용하였다. 대부분의 모델은 신뢰도 점수(0–100)를 제공하도록 지시받았으나, OpenEvidence는 신뢰도 점수를 제공하지 않았다.
통계 분석: 주요 결과 변수는 이진 정확도였다. 모델 유형, 난이도 및 분류 체계가 정답 여부에 미치는 독립적인 효과를 평가하기 위해 다변량 일반화 추정 방정식(GEE) 로지스틱 회귀를 사용하였으며, 다중 비교를 위해 Holm-Bonferroni 교정을 적용하였다. 이차 분석에는 쌍별 비교를 위한 Cochran's Q 및 McNemar 테스트, 신뢰도 기반 변별력을 위한 ROC 분석, 그리고 교정을 위한 기대 교정 오차(ECE) 및 Brier 점수가 포함되었다.
오류 분석: 모든 모델이 틀린 9개의 질문에 대해 사후 기술적 분석을 수행하였으며, 실패 패턴을 식별하기 위해 구조화된 재평가를 실시하였다.

주요 결과

전체 정확도: 성능은 모델별로 크게 달랐다. Gemini-Pro-3가 95.8%(95% CI, 93.9–97.0)로 가장 높은 정확도를 달 기록하였다. 순위는 다음과 같았다:
1. Gemini-Pro-3 (95.8%)
2. Claude-Opus-4.6 (89.2%)
3. OpenEvidence (88.0%)
4. ChatGPT-5.4-Pro (84.8%)
5. DeepSeek-v3.2 (73.7%)
  다변량 분석에서 다른 모든 모델은 Gemini-Pro-3에 비해 정답 확률의 조정된 오즈비(adjusted odds)가 유의하게 낮았다 ( $P < 0.001$ ). 주목할 점은, 범용 모델(Gemini-Pro-3 및 Claude-Opus-4.6)이 특화된 임상 플랫폼(OpenEvidence)보다 우수한 성능을 보였다는 것이다.
난이도 및 복잡성: 질문의 난이도가 높아짐에 따라 정확도가 유의하게 감소하였다. 고차원 Bloom의 분류 체계 질문과 논리적 질문은 저차원 및 정보 제공형 질문에 비해 낮은 정확도를 보였으나, 후자는 Holm 교정 후 통계적 유의성을 유지하지 못했다.
신뢰성 지표:
- 교정(Calibration): Gemini-Pro-s는 가장 우수한 교정 성능을 보였다 (최저 Brier 점수: 0.038; ECE: 0.008). DeepSeek-v3.2는 가장 낮은 교정 성능을 보였다.
- 신뢰도 기반 변별력: Claude-Opus-4.6과 ChatGPT-5.4-Pro는 스스로 보고한 신뢰도에 기반하여 정답과 오답을 구분하는 가장 강력한 능력을 보여주었다 (최고 AUC: 각각 0.779 및 0.775). DeepSeek-v3.2는 약한 변별력을 보였다 (AUC: 0.607).
- 임계값 설정: 90% 이상의 신뢰도 임계값에서 Claude-Opus-4.6은 99.6%의 정확도에 도달하였고 (커버리지 34.3%), Gemini-Pro-3는 97.0%의 정확도를 유지하였다 (커버리지 96.4%).
세부 전문 분야별 성능: Holm 교정 후 세부 전문 분야 간의 차이는 통계적으로 유의하지 않았으나, 기술적 경향성으로는 망막/유리체(Retina/Vitreous) 분야가 더 까다로웠고, 일반 의학(General Medicine) 분야가 기초(Fundamentals) 분야에 비해 더 높은 성적을 보였다.
실패 패턴: 모든 모델이 공통적으로 틀린 9개 질문에 대한 사후 분석 결과, 공유된 실패는 기본 문장 의미나 주제 이해보다는 논리적 추론(재평가 시 성공률 64.4%) 및 참조 타당성(성공률 53.3%)에 집중되어 있었다.

주요 기여 및 의의
본 논문은 다음과 같은 몇 가지 중요한 발견을 주장한다:

특화가 우월성을 보장하지 않음: 특화된 임상 AI 플랫폼(OpenEvidence)이 선도적인 범용 LLM보다 안과 지식에서 더 나은 성능을 보이지 못했으며, 오히려 Gemini-Pro-3와 Claude-Opus-4.6이 전체 정확도에서 이를 앞질렀다.
성능의 이질성: 현대적 LLM 간에는 정확도 및 신뢰성 지표에서 상당한 변동성이 존재하며, 이는 균일한 능력을 가정하기보다 모델별 검증이 필요함을 시사한다.
정확도를 넘어선 신뢰성: 본 연구는 정확도만이 충분하지 않다는 점을 강조한다. 가장 높은 정확도를 보인 Gemini-Pro-3는 교정 성능이 가장 좋았으며, 다른 모델들(Claude-Opus-4.6, ChatGPT-5.4-Pro)은 신뢰도 기반 변별력이 뛰어났다. 이는 잘 교정된 모델의 경우, 스스로 보고한 신뢰도가 신뢰성 필터 역할을 할 수 있음을 시사한다.
오류의 본질: 현재의 LLM은 사실적 회상에는 능숙하지만, 실제 임상 의사결정에 필수적인 고차원적 종합 및 참조 타당성 측면에서는 어려움을 겪는다.

한계 및 범위
저자들은 본 연구가 텍스트 기반의 OKAP 스타일 질문에 국한되어 있으며, 안과학의 핵심인 멀티모달 이미지 해석을 평가하지 않았음을 명시적으로 밝히고 있다. 또한, 평가는 질문당 단일 실행으로 이루어져 모델 내부의 변동성을 포착하지 못했다. OpenEvidence는 수동으로 접근하였으며, 신뢰도 점수의 부재로 인해 교정 지표에 대한 직접적인 비교가 제한되었다. 저자들은 이러한 모델들이 유망함을 보여주지만, 임상 의사결정 지원에 배치하기 전에는 실제 임상 시나리오를 사용하는 추가 연구가 필요하다고 결론지었다.