Generative Artificial Intelligence for Opportunistic Osteoporosis Screening Using Lumbar Spine Imaging: Diagnostic Performance, Reproducibility, Effects of Few-Shot Prompting, and Comparison with Physicians

기술 요약: 기회적 골다공증 선별 검사를 위한 생성형 AI

문제 제부터 (Problem Statement)
골다공증은 효과적인 치료법이 존재하고 다른 적응증을 위해 요추 방사선 사진 및 컴퓨터 단층촬영(CT) 스캔이 일상적으로 획득됨에도 불구하고 여전히 상당 수준 미진단 및 미치료 상태로 남아 있다. 이중 에너지 X선 흡수 계측법(DXA)이 진단의 골드 스탠다드이지만, 많은 환자들이 일상적인 진료 과정에서 골밀도(BMD) 평가를 받지 못한다. 의사들은 척추 영상을 통해 골질에 대한 직관적인 인상을 형성하지만, 선행 연구들에 따르면 숙련된 정형외과 전문의들 사이에서도 이러한 시각적 평가의 정확도는 보통 수준에 불과하다. 딥러닝 알고리즘은 유망한 가능성을 보여주었으나, 특정 작업에 특화된 개발이 필요하다. 반면, 멀티모달 생성형 인공지능(AI)은 전용 모델 학습 없이도 의료 영상을 해석할 수 있는 광범위하게 접근 가능한 대안을 제공한다. 그러나 기회적 골다공증 선별 검사를 위한 이러한 모델들의 진단 성능, 재현성, 그리고 "퓨샷(few-shot)" 프롬프팅(응답을 유도하기 위해 예시 사례를 제공하는 것)의 영향에 대해서는 아직 충분히 이해되지 않았다.

방법론 (Methodology)
본 영상 기반 비교 연구는 45개의 측면 요추 방사선 사진과 45개의 시상면 재구성 요추 CT 영상을 포함하는 데이터셋을 사용하여, 멀티모달 생성형 AI의 진단 성능을 의사와 비교 평가하였다.

• 참조 표준 (Reference Standard): 골다공증 및 저골량은 WHO DXA T-점수 임계값인 −2.5와 −1.0을 기준으로 정의되었다.
• 참가자:
  • 의사: 42명의 전문의 자격을 갖춘 정형외과 의사 및 50명의 비전문의 (이전 연구에서 도출된 데이터).
  • AI 모델: 세 가지 공개적으로 사용 가능한 멀티모달 생성형 AI 시스템: ChatGPT (OpenAI, GPT-5, 2026년 1월 접속), Claude 4 Opus, Gemini 3.1 Pro.
• 평가 프로토콜:
  • 제로샷(Zero-shot) vs. 퓨샷(Few-shot): AI 모델은 제로샷 조건(지침만 제공)과 퓨샷 조건(이미지, 분류, YAM 값이 포함된 20개의 라벨링된 참조 사례가 제공됨) 하에서 영상을 평가하였다.
  • 재현성: 각 AI 모델은 독립적인 채팅 세션에서 전체 데이터셋을 5회 평가하였다. 최종 분류는 다수결 투표(5회 중 3회 이상)에 의해 결정되었다.
  • 인간-AI 결합: 탐색적 사후 분석으로서, 전문의의 다수결 투표와 Claude의 다수결 투표를 "OR"(둘 중 하나라도 양성이면 양성) 및 "AND"(둘 모두 양성일 때만 양성) 규칙을 사용하여 결합하여 상보적 진단 오류를 평가하였다.
• 지표: 주요 결과에는 진단 정확도, 민감도, 특이도 및 모델 내 재현성(Cohen's κ)이 포함되었다.

주요 결과 (Key Results)

• 진단 정확도:
  • 방사선 사진의 −1.0 T-점수 컷오프에서 Claude가 73.3%로 가장 높은 정확도를 기록했으며, Gemini(64.4%), 전문의(57.4%), ChatGPT(55.6%), 비전문의(44.0%)가 그 뒤를 이었다. 전문의는 비전문의보다 유의하게 높은 성능을 보였다(P<0.001).
  • 전통적인 −2.5 컷오프에서는 방사선 사진에 대해 전문의와 비전문의 간에 유의미한 차이가 발견되지 않았으나, CT 영상에 대해서는 전문의가 유의하게 더 정확했다(P<0.001).
  • AI 모델들은 CT 영상에 대한 기술적 비교에서 전문의와 전반적으로 유사한 정확도를 보였다.
• 프롬프팅의 영향:
  • 정확도: 퓨샷 프롬프팅은 의사나 AI 모델 모두의 진단 정확도를 일관되게 향상시키지는 않았다. 변화는 모델과 조건에 따라 다양했으며, 24.4%포인트 감소에서 11.1%포인트 증가까지 나타났다.
  • 재현성: 퓨샷 프롬프팅은 여러 모델, 특히 Claude에서 모델 내 재현성을 향상시켰다(방사선 사진에 대해 κ가 0.543에서 0.855로 증가). 이러한 일관성 향상과 정확도 불변 사이의 해리는 핵심적인 발견이었다.
• 인간-AI 상보성:
  • "OR" 규칙(전문의와 Claude의 결합)은 방사선 사진의 −1.0 컷오프에서 민감도를 66.7%에서 80.0%로, CT에서 83.3%에서 90.0%로 높였으나, 특이도는 감소하였다.
  • 오류 구제(Error-rescue) 분석 결과, 부분적으로 비중첩적인 오류가 확인되었다: Claude는 전문의의 위음성 사례 중 40~50%를 올바르게 분류하였으며, 전문의 또한 Claude의 오류 중 일부를 교정하였다.

주요 기여 (Key Contributions)

1. 비교 성능: 본 연구는 선택된 생성형 AI 모델이 요추 영상을 이용한 기회적 골다공증 선별 검사에서 의사와 대등하거나 특정 조건에서 의사보다 우수한 진단 성능을 달성할 수 있다는 직접적인 증거를 제공한다.
2. 프롬프팅 효과: 퓨샷 프롬프팅이 진단 정확도를 반드시 보장하지는 않지만, 임상 워크플로우 통합에 중요한 요소인 모델 내 재현성(일관성)을 크게 향상시킬 수 있음을 입증한다.
3. 상보성: 인간과 AI의 오류가 부분적으로 중첩되지 않는다는 것을 보여줌으로써 진단적 상보성에 대한 정량적 증거를 제공한다. 이는 단순한 결합 규칙이 선별 검사 상황에서 놓친 사례(위음성)를 줄일 수 있음을 시사하지만, 동시에 위양성을 증가시키는 비용을 수반함을 보여준다.
4. 모델 가변성: 연구 결과는 서로 다른 생성형 AI 모델 간에 성능과 재현성의 상당한 가변성이 존재함을 강조하며, 이는 이들이 서로 대체 가능한 진단 도구가 아님을 나타낸다.

의의 및 주장 (Significance and Claims)
본 논문은 생성형 AI를 기회적 골다공증 선별 검사를 위한 자율 시스템이라기보다 잠재적인 의사 결정 지원 도구로 간주해야 한다고 결론짓는다. 저자들은 AI가 보편적으로 의사를 능가하지는 못할지라도, 보완적인 진단 판단을 제공하는 능력을 통해 공식적인 BMD 평가가 필요한 환자를 식별함으로써 미진단 문제를 해결하는 데 도움을 줄 수 있다고 주장한다.

본 연구는 생성형 AI의 임상적 가치가 의사의 판단과 함께 임상 워크플로우에 통합되는 데 있음을 강조한다. 저자들은 단순한 결합 규칙이 민감도와 특이도 사이의 절충(trade-off)을 수반하며, 관찰된 상보적 효과는 독립적인 코호트에서의 전향적 검증이 필요하다고 경고한다. 또한, 퓨샷 프롬프팅을 통한 재현성 향상이 반드시 진단적 타당성의 향상으로 이어지는 것은 아니라는 점을 언급하며, AI 성능의 서로 다른 차원으로서 정확성과 일관성을 구분하여 평가해야 함을 강조한다.