Performance of Generative Artificial Intelligence and Medical Students on Undergraduate Ophthalmology Examinations: A Cross-Sectional Comparative Study
이 단면 연구는 다섯 가지 생성형 AI 시스템이 학부 안과 텍스트 기반 문제에서 의과대학 4학년 학생들을 유의미하게 능가한 반면, 대부분의 시스템이 이미지 기반 문항에서는 고전했다는 점을 발견하였으며, 이는 교육 도구로서의 잠재력을 강조하는 동시에 시험 성적을 임상 역량과 동일시하는 것에 대해 경고한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 의학의 강의실에 새로운 종류의 학생이 조용히 입실했습니다. 이 학생은 잠을 자지도 않고, 잊어버리지도 않으며, 1초 만에 수천 페이지를 읽어낼 수 있습니다. 이것은 생성형 인공지능으로, 언어를 이해하고 인간이 말하는 것처럼 들리는 답변을 생성하도록 설계된 일종의 컴퓨터 프로그램입니다. 대규모 언어 모델이라고도 불리는 이 시스템들은 학생들이 복잡한 개념을 설명하거나 시험을 준비하는 것을 돕는 학습 도구로 흔히 사용되고 있습니다. 하지만 이 기계들이 읽기와 추론 능력은 향상되고 있는 반면, 한 가지 결정적인 질문이 남아 있습니다. 과연 이들이 의학의 시각적 세계를 진정으로 이해하고 있는가 하는 점입니다. 안과학과 같은 분야에서 진단은 종종 망막이나 안구 내부를 찍은 사진 속의 미세한 패턴을 포착하는 것에 달려 있습니다. 인간 의사에게 보는 것은 믿는 것입니다. 하지만 기계에게 보는 것은 훨씬 더 어려운 도전입니다. 이러한 도구들이 교육에 더 많이 통합됨에 따라, 교육자들은 이들이 단순히 지식을 흉내 내는 것인지, 아니면 실제로 학생이 보는 것을 볼 수 있는지 알아야 합니다.
그 답을 찾기 위해, 포르투갈 포르토 대학교의 연구진은 가장 진보된 다섯 가지 인공지능 시스템을 4학년 의대생들과 비교하여 테스트했습니다. 연구진은 2025년에 학생들에게 실시된 실제 안과 시험에서 89개의 객관식 문제를 수집했습니다. 이 질문들은 녹내장에서부터 망막 질환에 이르기까지 광범위한 안과 질환을 다루었습니다. 이 세트에는 텍스트만 읽어서 답할 수 있는 77개의 질문과, 정답을 찾기 위해 사진이나 의료 영상을 보아야 하는 12개의 질문이 포함되었습니다. 그 후 연구진은 모든 질문과 해당되는 경우 부수적인 이미지를 다섯 가지 서로 다른 AI 시스템인 GPT-4.1 Auto, GPT-5.2 Auto, Gemini 3 Flash, Grok 4.1 Auto, 그리고 Claude Sonnet 4.5에 입력했습니다. 컴퓨터에는 추가적인 도움도, 인터넷 검색도, 명확한 설명을 요구할 기회도 주어지지 않았습니다. 그들은 단지 학생처럼 제공된 다섯 가지 선택지 중 최선의 답을 골라야 했습니다.
결과는 텍스트와 이미지 사이에서 기계들이 어떻게 다르게 처리하는지에 대한 극명한 차이를 보여주었습니다. 텍스트 전용 질문에서 인공지능 시스템들은 놀라운 기술로 수행 능력을 보여주었습니다. 다섯 시스템 중 세 곳이 90퍼센트 이상의 정답률을 기록했으며, 최고 성능을 보인 Gemini 3 Flash는 95.5퍼센트의 정확도에 도달했습니다. 이에 비해 평균적인 의대생은 약 73퍼센트의 정답률을 보였습니다. 이는 종이 기반의 질문에 대해서는 최고의 AI 시스템들이 대다수의 인간 학생들을 능가하며 학급의 상위 백분위 안에 위치했음을 의미합니다. 그러나 질문에 이미지가 포함되었을 때 이야기는 완전히 바뀌었습니다. 질문이 눈 사진을 보는 것을 요구하자, 다섯 시스템 중 네 곳의 성능이 급격히 떨어졌습니다. 인간 학생들은 질문이 텍스트 기반이든 이미지 기반이든 상관없이 정확도를 유지한 반면, 기계들은 시각적 데이터를 해석하는 데 어려움을 겪었습니다. 예를 들어, 텍스트 질문에서 98.7퍼센트를 기록했던 한 시스템은 이미지 질문에서 75퍼센트로 떨어졌습니다. 또 다른 시스템은 96퍼센트에서 67퍼센트로 하락했습니다. 오직 GPT-4.1 Auto만이 두 형식 사이에서 유의미한 차이를 보이지 않았으나, 이 시스템은 모든 기계 중 전체 점수가 가장 낮았습니다.
연구진은 또한 기계의 답변이 학생들의 답변과 어떻게 비교되는지 살펴봄으로써, 그들이 똑같은 실수를 하고 있는지 확인했습니다. 그들은 AI 시스템들이 단순히 학생들을 복제하고 있는 것이 아님을 발견했습니다. 사실, 가장 많은 문제를 맞힌 시스템들은 학생 다수와 가장 많이 의견이 달랐던 시스템들이었습니다. 이 고성능 기계들은 대부분의 학생이 틀린 많은 질문에 정답을 맞혔는데, 이는 이들이 다른 종류의 지식이나 추론 과정에 접근하고 있음을 시사합니다. 반대로, 전체 정확도가 가장 낮았던 시스템인 GPT-4.1 Auto는 학생들의 답변 패턴과 가장 밀접하게 일치했습니다. 이는 기계들이 강력하기는 하지만 반드시 인간처럼 생각하는 것은 아니며, 그들의 오류가 인간의 오류와는 다르다는 것을 나타냅니다. 연구는 또한 기계들이 학생들이 풀기에 더 쉬운 질문들에 더 잘 답했다는 것을 보여주었으며, 이는 질문의 난이도가 인간과 기계 모두에게 유사한 방식으로 영향을 미친다는 점을 시사합니다.
높은 점수에도 불구하고, 연구진은 이러한 결과가 기계가 의사를 대체할 준비가 되었다거나 진정한 임상 역량을 갖추었다는 것을 의미하지 않는다고 경고합니다. 이 연구는 특정 대학의 특정 질문 세트를 대상으로 진행되었으며, 이미지 기반 질문의 수가 상대적으로 적었습니다. 저자들은 이러한 도구들이 사실 검토와 서술형 시험 준비에는 탁월할 수 있지만, 안과 케어의 핵심인 복잡한 시각적 소견을 해석하는 데는 아직 신뢰할 수 없다는 점을 강조합니다. 환자의 눈을 보고 진단을 내리는 능력은 단순히 시험에서 올바른 글자를 선택하는 것 이상의 기술을 요구합니다. 현재로서는 이 인공지능 시스템들이 학생들이 학습을 도울 수 있는 강력한 학습 보조 도구 역할을 할 수는 있지만, 의학의 세계를 보고 이해하는 인간의 능력과는 여전히 구별됩니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.