Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

차세대 대규모 언어 모델인 클로드 오퍼스 4.7 과 GPT-5.5 가 전문 분야 특화 핵심장학 자원을 활용한 검색 증강 생성을 탑재하여 ASNC 보드 준비 시험에서 약 86% 의 평균 정확도를 달성함으로써 예상 합격 기준선과 수련 중인 펠로우들의 평균 성적을 모두 능가했습니다.

핵심

심장 특수 방사성 추적자를 사용하여 심장의 영상을 보는 데 특화된 의사들을 위한 고난도 최종 시험을 상상해 보세요. 이것이 "핵심심장학 전문의 자격시험"입니다. 수년 동안 인공지능 (AI) 이 이 시험을 치르려 시도해 왔지만, 계속 실패하여 평균 의대생보다 낮은 점수를 받았습니다.

이 논문은 두 개의 새로운 초지능 AI 모델이 마침내 이 시험을 압도적으로 통과하여 평균 인간 학생을 능가한 이야기를 전합니다.

배경: 시험과 "요약 자료"

시험에는 168 개의 문제가 있습니다. 일부는 단순한 텍스트 (상식 퀴즈와 유사) 이지만, 약 27 개는 심장의 복잡한 의학 영상을 살펴봐야 하는 문제들입니다.

과거에 AI 가 이 시험을 "도움 없이" (냉간 상태로) 치렀을 때, 최선의 성적은 약 63% 였습니다. 이는 불합격 점수입니다. 평균 인간 의대생 (수련의) 은 78% 를 받았습니다.

이번 새로운 연구에서 연구자들은 AI 에게 방대한 "요약 자료"를 제공했습니다. 이는 단순한 구글 검색이 아니라, 검색 증강 생성 (RAG) 시스템이었습니다. 이를 핵심심장학의 공식 교과서, 아틀라스, 그리고 의학 지침을 포함한 완벽하고 검색 가능한 디지털 도서관을 AI 에게 제공하는 것으로 생각하세요. AI 가 질문을 보면 즉시 이 도서관으로 뛰어들어 정답이 있는 정확한 페이지를 찾아내고, 이를 바탕으로 답변을 구성합니다.

경쟁자들

연구자들은 두 개의 새로운 차세대 AI 모델을 테스트했습니다:

1. Claude Opus 4.7: 로컬 투명 검색 시스템을 사용하는 모델 (책장에서 어떤 책을 꺼냈는지 정확히 보여주는 사서와 유사).
2. GPT-5.5: 클라우드 기반 검색 시스템을 사용하는 모델 (책을 찾아주지만 과정을 보여주지는 않는 사서와 유사).

결과: AI 가 평균 학생을 능가하다

이 두 AI 가 각각 다섯 번 시험을 치렀을 때, 결과는 놀라웠습니다:

• 점수: 두 모델 모두 약 86% 에서 87% 사이의 점수를 받았습니다.
• 비교: 이는 평균 인간 학생의 점수인 78% 보다 현저히 높습니다. 실제로 13 명의 인간 학생과 2 명의 AI 를 나열하면, AI 는 상위 5 위 안에 들어 인간 8 명 또는 9 명을 능가하게 됩니다.
• 진전 속도: 이는 엄청난 도약입니다. 불과 18 개월 전만 해도 최고의 AI 는 63% 를 받았습니다. 이제 "요약 자료" (RAG) 를 통해 23 퍼센트 포인트나 점수가 상승했습니다.

두 가지 약점

AI 가 승리했지만, 두 가지 구체적인 어려움을 겪었습니다:

1. "영상" 문제: AI 는 텍스트 문제에서는 훌륭하게 점수 (약 89%) 를 받았지만, 영상 문제에서는 주저했습니다. 영상 문제에서는 약 73~77% 를 맞혔습니다. 인간은 여전히 이 부분에서 더 잘하여 81.5% 를 받았습니다.
   • 비유: AI 는 암기력 있는 천재 교수로, 교과서 전체를 암송할 수 있지만 흐릿한 X 선을 볼 때 여전히 혼란을 겪는다고 상상해 보세요. 이론은 완벽하게 알고 있지만, 여전히 영상을 "보는" 법을 배우고 있는 것입니다.
2. "안전" 결함 (GPT-5.5 만 해당): GPT-5.5 는 약 7% 의 질문에 답변을 거부했습니다. "죄송합니다, 그 부분은 도와드릴 수 없습니다"라고 말했는데, 그 질문들은 심장 약물이나 방사선 안전에 관한 표준 의학 시험 문제들이었습니다.
   • 비유: 이는 매우 신중한 사서가, 핵에너지에 관한 합법적인 시험 문제를 물은 물리학 학생에게도 "폭탄 만드는 법"에 관한 책을 건네는 것을 거부하는 것과 같습니다. AI 의 안전 필터가 너무 민감하여 점수를 놓치게 했습니다. Claude Opus 4.7 은 이런 문제가 없었습니다; 모든 질문에 답변했습니다.

저자들이 실제로 말한 것 (그리고 말하지 않은 것)

이 논문은 이 결과가 무엇을 의미하는지에 대해 매우 신중합니다:

• 무엇인가: 적절한 참고 자료와 함께라면 AI 가 평균 수련생보다 핵심장학의 사실과 규칙을 더 잘 학습할 수 있음을 증명합니다. 저자들은 이러한 도구를 학생들이 공부하는 데 도움을 주는 교육 보조 도구로, 또는 판독실에서 사실을 재확인하는 참조 도구로 사용할 수 있다고 제안합니다.
• 무엇이 아닌가: 저자들은 명시적으로 객관식 시험을 통과한다고 해서 AI 가 의사가 될 준비가 된 것은 아니다라고 밝힙니다. 실제 의학은 환자와 대화하고, 불확실성을 처리하며, 객관식 시험으로는 측정할 수 없는 복잡한 판단을 내리는 것을 포함합니다. AI 는 강력한 참조 서적일 뿐, 인간 의사를 대체하는 것이 아닙니다.

결론

1 년 반 만에 AI 는 핵심심장학 전문의 자격시험에서 불합격에서 평균 인간 학생을 능가하는 수준으로 발전했습니다. 다만, 올바른 교과서에 접근할 수 있는 경우에만 해당됩니다. 그러나 여전히 의학 영상을 해석하는 데 어려움을 겪고 있으며, 모델 중 하나는 특정 합법적인 질문에 답변하는 것을 "겁"내어 거부합니다. 이는 의학 교육 도구로서 큰 도약이지만, 논문은 이러한 기계들이 인간 의사를 대체하는 것이 아니라 보조자임을 결론짓습니다.

기술 요약

기술 요약: 검색 증강 LLM 이 핵심장학 시험에서 인간 수행 능력을 초과

문제 제기
미국핵심장학회 (ASNC) 보드 준비 시험에 대한 대규모 언어 모델 (LLM) 의 이전 평가 결과, AI 와 인간 수련생 간에 상당한 수행 격차가 드러났습니다. 이전 연구에서 도메인 특화 컨텍스트가 없는 최상위 모델 (GPT-4o) 은 중앙값 정확도 63.1% 를 기록하여, 합격으로 추정되는 65% 임계값과 수련 중 펠로우 (FITs) 의 평균 점수 78.0% 미만에 그쳤습니다. 교과서 컨텍스트를 제공함으로써 GPT-4o 의 텍스트 전용 수행은 73.8% 로 향상되었으나, 여전히 인간 평균보다 낮았으며 텍스트 기반 질문으로만 제한되었습니다. 본 연구가 다루는 핵심 문제는 차세대 검색 증강 생성 (RAG) 을 탑재한 LLM 이 복잡한 이미지 기반 질문을 포함한 시험의 전 영역에서 이러한 수행 격차를 해소하거나 초과할 수 있는지 여부입니다.

방법론
본 연구는 2023 년 ASNC 보드 준비 시험 (168 개의 객관식 문제: 141 개 텍스트 전용, 27 개 이미지 기반) 을 두 가지 차세대 모델인 Claude Opus 4.7과 GPT-5.5에 적용했습니다. 평가는 각 모델별로 5 회 반복하여 수행되었습니다.

• 검색 증강 생성 (RAG) 파이프라인: 두 모델 모두 동일한 권위 있는 도메인 특화 코퍼스, 즉 Nuclear Cardiac Imaging: Principles and Applications(교과서), 그 동반 어틀라스, 그리고 ASNC 임상 실무 가이드라인을 기반으로 했습니다.
  • Claude Opus 4.7: 투명한 로컬 FAISS 기반 검색 파이프라인을 사용했습니다. PDF 문서는 3 페이지 단위로 청킹되어 all-MiniLM-L6-v2 문장 변환기 (sentence-transformer) 로 임베딩되었고, IndexFlatIP(정확한 내적 검색) 를 통해 인덱싱되었습니다. 각 쿼리에 대해 상위 5 개의 의미적으로 유사한 청크가 검색되어 프롬프트 앞에 추가되었습니다.
  • GPT-5.5: Azure OpenAI 응답 API 를 통해 액세스하는 클라우드 호스팅 Azure 벡터 저장소를 사용했습니다. 검색 메커니즘 (임베딩 모델, 유사도 척도, 청크 수) 은 Azure 인프라에 의해 관리되었으며 연구자들이 직접 구성할 수 없었습니다.
• 실험 설정: 두 모델 모두 핵심장학 학생으로 행동하고 가장 가능성 있는 두 가지 답변을 설명과 함께 선택하도록 지시하는 표준화된 시스템 프롬프트를 받았습니다. 이미지 기반 질문은 비전 API 를 통해 처리되었습니다 (Claude 의 경우 base6 인코딩, GPT-5.5 의 경우 데이터 URI).
• 점수 매기기: 모델이 선택한 주 답변을 정답인 ASNC 정답과 비교했습니다. 안전 거부 (예: "그 요청을 도와드릴 수 없습니다") 와 빈 응답은 오답으로 처리되었습니다.
• 비교 대상: 결과는 이전 연구의 역사적 데이터 (컨텍스트 없는 GPT-4o, 컨텍스트 있는 GPT-4o) 와 무제한 시간과 자원을 가지고 시험을 본 13 명의 인간 FIT 코호트와 비교되었습니다.

주요 결과

• 전체 수행: 두 모델 모두 인간 FIT 평균 (78.0%) 과 추정 합격 임계값 (65%) 을 초과했습니다.
  • Claude Opus 4.7: 평균 정확도 86.3% (SD 1.4%) 달성.
  • GPT-5.5: 평균 정확도 86.7% (SD 2.2%) 달성.
  • 이는 약 18 개월 만에 최상위 이전 LLM 결과 (컨텍스트 없는 GPT-4o 의 63.1%) 대비 약 23 퍼센트 포인트 개선을 의미합니다.
• 질문 유형별 세부 분석:
  • 텍스트 전용: 두 모델 모두 높은 정확도를 달성했습니다 (Claude: 88.8%; GPT-5.5: 88.5%).
  • 이미지 기반: 수행은 크게 감소했으나 여전히 합격 임계값 이상을 유지했습니다 (Claude: 73.3%; GPT-5.5: 77.0%). 이는 인간 수련생 (이미지 기준 81.5%) 이 여전히 모델보다 시각적 해석에서 우위를 점하고 있는 지속적인 격차를 나타냅니다.
• 안전 거부: 중요한 운영상 차이가 관찰되었습니다. GPT-5.5 는 반복당 평균 **12.2 개의 질문 (7.3%)**을 거부하여 이를 오답으로 처리했습니다. 이러한 거부는 방사성 의약품, 방사선 안전, 임상 프로토콜과 같은 합법적인 의학 콘텐츠를 포함했습니다. Claude Opus 4.7 은 거부 사례가 전혀 없었습니다.
• 모델 일치도: 두 모델은 상당한 일치도를 보였으며, 반복당 78.0–83.0% 의 경우 동일한 질문을 올바르게 답변했습니다. 불일치는 종종 기술적 정의의 미묘한 차이와 관련이 있었습니다.

주요 기여

1. 인간 수준의 숙련도 입증: RAG 가 강화된 LLM 이 포괄적인 보드 준비 시험에서 인간 핵심장학 수련 펠로우의 평균 수행 능력을 초과할 수 있음을 보여준 최초의 연구입니다.
2. RAG 영향의 정량화: 본 연구는 차세대 모델과 RAG 의 결합 영향을 분리하여, 짧은 기간 내에 63.1%(컨텍스트 없음) 에서 약 86.5%(RAG) 로의 급격한 도약을 보여주었습니다.
3. 안전 한계 식별: 이 논문은 GPT-5.5 에서 과도하게 보수적인 안전 분류기가 합법적인 의학 시험 질문에 답변을 거부함으로써 관찰된 정확도를 인위적으로 낮추고 교육적 맥락에서의 유용성을 제한하는 중요한 실제적 장벽을 강조합니다.
4. 이미지 격차의 지속: 텍스트 기반 지식 검색은 성숙되었으나, SPECT, PET, 다중 모달리티와 같은 의학 이미지 해석은 여전히 LLM(73–77%) 이 인간 수련생 (~81.5%) 보다 뒤처지는 도전적인 영역임을 본 연구는 확인합니다.

의의 및 주장
본 논문은 RAG 가 강화된 LLM 이 보드 준비를 위한 교육 보조 도구로서 그리고 임상 환경에서 지식 참조 도구로서 기능하기에 충분한 핵심장학 지식 수준에 도달했다고 주장합니다. 저자들은 이러한 모델이 교육 자료를 검증하고 교육을 보완하는 데 도움이 될 수 있다고 제안합니다.

그러나 저자들은 임상 배포에 대해서는 겸손한 입장을 유지합니다. 그들은 명시적으로 시험 수행 능력이 임상 역량을 의미하지는 않는다고 밝힙니다. 실제 세계의 핵심장학은 환자별 맥락을 통합하고, 불확실성을 관리하며, 판단을 행사하는 것을 요구하는데, 이러한 능력들은 객관식 질문으로 평가되지 않습니다. 따라서 본 논문은 LLM 이 의사의 전문성을 대체하는 것이 아니라 증강하는 보조 도구로 간주되어야 한다고 결론지었습니다. 또한, 이미지 해석에서의 지속적인 격차는 이러한 모델이 아직 진단 이미지 판독에서 인간 전문성을 대체할 준비가 되지 않았음을 시사합니다.