Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
본 연구는 2025년 중국 약사 국가자격시험을 대상으로 세 가지 GPT-5.6 모델을 평가하였으며, 모든 모델이 전 과목을 통과한 가운데 GPT-5.6-Sol과 GPT-5.6-Terra가 GPT-5.6-Luna를 유의미하게 상회하는 성능을 보였고, 이미지가 포함된 문항에서의 성능은 전반적으로 더 낮았으며 원본 이미지 입력 제공의 영향을 받았을 가능성이 있음을 주목하였다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
급격히 진화하는 인공지능의 지형 속에서, 인간의 언어를 놀라운 유창함으로 이해하고 생성할 수 있는 새로운 세대의 컴퓨터 프로그램이 등장했습니다. 대규모 언어 모델(LLM)로 알려진 이 시스템들은 방대한 양의 텍스트를 학습하여, 과거에는 인간의 전문 지식이 필요했던 질문에 답하고, 이야기를 쓰고, 문제를 해결할 수 있습니다. 최근 이 도구들은 단어뿐만 아니라 이미지도 보기 시작하여, 텍스트와 함께 차트, 도표, 사진을 해석하는 능력을 갖추게 되었습니다. 이러한 멀티모달(multimodal) 능력은 정보가 텍스트로만 제시되는 경우가 드문 현실 세계의 응용 분야에서 매우 중요합니다. 그러나 한 가지 결정적인 의문이 남아 있습니다. 이 정교한 시스템들이 약학(pharmacy)과 같이 높은 수준의 전문성을 요구하는 고위험 전문 분야에서 필요한 복잡한 시각 및 텍ual 정보를 진정으로 이해할 수 있는가 하는 점입니다. 이 질문에 대한 답은 단순히 기술 애호가들뿐만 아니라, 약품 라벨, 화학 구조 또는 의료 영상을 정확하게 해석하는 능력이 환자의 안전에 직접적인 영향을 미칠 수 있는 의학 교육 및 전문 자격 인증의 미래를 위해서도 중요합니다.
이를 조사하기 위해, 중국 산터우 대학교와 그 부속 병원 연구진은 GPT-5.6으로 명명된 강력한 신형 인공지능 모델의 세 가지 특정 버전을 2025년 중국 약사 국가자격시험에 대비해 테스트하기로 했습니다. 이 시험은 중국에서 합법적으로 약사 업무를 수행하기 위해 반드시 통과해야 하는 엄격한 국가 시험입니다. 시험은 전문 약학 지식부터 법규에 이르기까지 네 가지 서로 다른 과목을 다루며, 각 섹션에서 최소 60% 이상의 점수를 받아야 합격할 수 있습니다. 연구진은 특히 이전의 많은 연구가 간과했던 특징인 이미지가 포함된 질문을 모델이 어떻게 처리하는지에 주목했습니다. 그들은 모델이 시험을 통과할 수 있는지, 동일한 모델 제품군의 서로 다른 버전들이 다르게 수행하는지, 그리고 컴퓨터에 실제 이미지 파일을 제공하는 것이 단순히 이미지가 존재한다는 사실을 알려주는 것보다 답변을 개선하는 데 도움이 되는지를 확인하고자 했습니다.
연구팀은 2025년 시험을 위한 널리 사용되는 학습서를 사용하여 총 400문항(4개 과목당 100문항)으로 구성된 데이터셋을 구축했습니다. 그들은 텍스트, 정답, 이미지를 주의 깊게 추출하여 인공지능이 통제된 조건 하에서 테스트될 수 있도록 정리했습니다. 연구는 Sol, Terra, Luna라는 이름의 GPT-5.6 모델의 세 가지 특정 변체에 초점을 맞췄습니다. 이 모델들에게는 제시된 선택지 중 정답을 골라야 하는 선임 약사의 역할을 부여하여 시험 문제를 하나씩 입력했습니다. 이미지가 포함된 질문의 경우, 연구진은 두 가지 유형의 테스트를 실시했습니다. 하나는 컴퓨터가 텍스트와 함께 실제 이미지 파일을 받는 경우였고, 다른 하나는 컴퓨터가 시각적 데이터 없이 텍스트와 이미지가 있어야 할 자리를 나타내는 자리 표시자(placeholder) 노트만을 받는 경우였습니다. 이를 통해 연구진은 시각적 정보가 모델의 문제 해결에 정확히 얼마나 도움이 되었는지 측정할 수 있었습니다.
결과에 따르면 세 모델 모두 전체 시험을 통과할 수 있었으며, 면허 취득에 필요한 모든 과목에서 60%를 훨씬 상회하는 점수를 달성했습니다. 그러나 모든 모델이 동일하게 수행한 것은 아니었습니다. GPT-5.6-Sol과 GPT-5.6-Terra 모델은 GPT-5.6-Luna 모델보다 성능이 현저히 뛰어났습니다. Sol 버전은 91.5%의 전체 정확도를 달성했고, Terra는 89.0%를 기록했습니다. 반면, Luna는 83.3%를 기록했습니다. 세 모델 모두 합격했지만, 통계적 분석 결과 상위 두 모델과 Luna 모델 사이의 차이는 우연에 의한 것이 아님이 확인되었습니다. 또한 연구진은 모델들이 이미지가 포함된 질문보다 텍лько 텍스트만 포함된 질문에서 일반적으로 더 높은 성능을 보인다는 것을 발견했습니다. Sol 모델의 경우, 텍스트 전용 질문에서 이미지가 포함된 질문으로 넘어갈 때 정확도가 15퍼센트 포인트 이상 하락했습니다. 이는 이 모델들이 매우 유능함에도 불구하고, 시각적 정보를 해석하는 것이 텍스트를 처리하는 것보다 여전히 더 어려운 과제임을 시사합니다.
연구진이 실제 이미지를 제공하는 것과 텍st 자리 표시자만을 제공하는 것의 영향을 조사했을 때, 모델들이 실제로 이미지를 볼 수 있을 때 더 정확하게 답변한다는 명확한 경향을 관찰했습니다. Sol 모델의 경우, 이미지가 없을 때 66.7%였던 이미지 포함 질문에 대한 정확도가 이미지가 있을 때는 81.0%로 상승했습니다. Terra와 Luna에서도 유사한 개선이 나타났으며, 두 모델 모두 시각적 데이터가 포함되었을 때 약 19퍼센트 포인트의 향상을 보였습니다. 그러나 시험 내 이미지 기반 질문의 수가 상대적으로 적었기 때문에, 연구진은 이러한 특정 개선 사항이 확정적인 증거라고 부를 수 있는 엄격한 통계적 확실성 수준에는 도달하지 못했다고 언급했습니다. 또한 연구는 질문 자체에 나타나는 이미지와 정답 선택지에 나타나는 이미지를 구분했습니다. 데이터는 정답 옵션에 있는 이미지가 특히 중요하며, 이러한 시각적 단서가 없을 때 모델이 더 어려움을 겪는다는 점을 시사했으나, 작은 표본 크기로 인해 이 특정 지점에 대한 확고한 결론을 내리지는 못했습니다.
이 연구는 이러한 고급 인공지능 모델들이 까다로운 전문 약사 시험을 통과할 수 있는 숙련도에 도달했지만, 모델 변체에 따라 성능이 균일하지 않으며 시각적 데이터 처리에 여전히 과제를 안고 있다고 결론짓습니다. 연구진은 모델이 시험을 통과할 수 있다는 것이 이들이 인간 약사를 대체할 준비가 되었거나, 추가적인 검증 없이 의료 평가를 위한 유일한 도구로 사용될 수 있음을 의미하는 것은 아니라고 강조합니다. 대신, 이 연구 결과는 이러한 도구들이 개인별 맞춤형 교육 프로그램을 만들고, 지식 격차를 식별하며, 자격증 시험 준비를 돕는 등 인간 전문가를 지원할 수 있는 잠재적인 미래를 시사합니다. 본 연구는 인공지능이 복잡한 의료 분야에서 진정으로 효과적이기 위해서는 텍스트와 시각적 정보를 원활하게 통합할 수 있어야 하며, 이러한 능력은 개선되고 있으나 여전히 정교화가 필요하다는 점을 강조합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.