Blinded Expert Evaluation of Large Language Models for Osteoporosis Case Management in Older Adults: Impact of Direct Guideline Integration

기술 요약: 노인 골다공증 사례 관리를 위한 대규모 언어 모델의 맹검 전문가 평가

문제 제기
노인(65세 이상)의 골다공증 관리는 골절 위험, 약물 선택, 신장 기능, 다제복용(polypharmacy), 낙상 위험 및 금기 사항을 통합하는 복잡하고 개별화된 의사결정을 필요로 한다. 대규모 언어 모델(LLM)은 임상 의사결정 지원에 잠재력을 제공하지만, 노인 사례에서의 신뢰성, 안전성 및 가이드라인 준수 여부는 여전히 불확실하다. 특히, 임상 가이드라인을 LLM에 직접 통합하는 것이 기본 모델에 비해 성능을 향러하는지에 대한 증거가 부족하다. 또한, 기존 문헌은 맹검 평가 프로토콜이 결여되어 있으며, 복잡한 사례 기반의 노인 의학적 추론보다는 일반적인 지식에 초점을 맞추는 경향이 있다.

연구 방법론
본 횡단적 방법론 연구는 25개의 가상의 골다공증 사례를 대상으로 네 가지 AI 접근 방식을 비교하기 위해 맹검된 독립적 전문가 평가 프로토콜을 채택하였다. 사례들은 노인 전문의들에 의해 개발되었으며, 다섯 가지 영역(전형적인 폐경 후 골다공증, 노인 격차(다제복용, 낙상), 약물 관리, 이차성 골다공증/동반 질환, 합병증/함정)으로 분류되었다.

평가된 네 가지 AI 패널은 다음과 같다:

1. ChatGPT 4.5 (Baseline): 외부 가이드라인 업로드 없음.
2. Gemini 3 (Baseline): 외부 가이드라인 업로드 없음.
3. ChatGPT 4.5 + 가이드라인: 터키 내분비학회(TES) 2025 골다공증 가이드라인 전문 업로드.
4. NotebookLM + 가이드라인: TES 2025 가이드라인 전문 업로드.

평가 과정:

• 맹검(Blinding): 두 명의 독립적인 노인 의학 전문의가 생성 모델을 알지 못하는 상태에서 100개의 응답(25개 사례 × 4개 패널)을 평가하였다.
• 점수 산정: 응답은 과학적 정확성, 가이드라인 준수, 명확성, 총체적 노인 의학적 접근, 안전성/금기 사항 인지라는 다섯 가지 차원에서 5점 리커트 척도로 평가되었다. 총점 범위는 5점에서 25점이다.
• 환각(Hallucination) 탐지: TES 가이드라인에 근거하여 사실과 다르거나, 조작되었거나, 근거가 없는 임상적 진술로 정의되었다.
• 통계 분석: 검사자 간 일치도는 ICC(2,1) 및 가중 코헨 카파(weighted Cohen's kappa)를 사용하여 평가하였다. 패널 간 비교에는 짝지은 Wilcoxon 부호 순위 검정(Bonferroni 교정 포함)을 적용한 Friedman 검정을 활용하였다.

주요 결과

• 전반적인 성능: ChatGPT 4.5 기본 모델이 가장 높은 평균 총점(22.76/25)을 기록하며, Gemini 3 (21.80), NotebookLM + 가이드라인 (21.56), ChatGPT 4.5 + 가이드라인 (21.42)을 유의미하게 앞질렀다.
• 가이드라인 통합의 영향: 예상과 달리, 가이드라인 문서를 직접 업로드하는 것은 성능을 향상시키지 못했다. 실제로 ChatGPT 4.5 기본 모델은 가이드라인을 업로드한 동일 모델보다 "과학적 정확성" 및 "가이드라인 준수" 항목에서 더 높은 점수를 받았다.
• 영역별 결과:
  • 패널 간의 유의미한 차이는 과학적 정확성 ($p=0.0006$)과 가이드라인 준수 ($p<0.0001$)에서만 발견되었다.
  • 명확성, 총체적 노인 의학적 접근, 또는 안전성/금기 사항 인지에서는 유의미한 차이가 관찰되지 않았다.
  • "안전성/금기 사항 인지"는 모든 기본 모델에서 가장 낮은 점수를 받은 기준이었다.
• 환각: Gemini 3 기본 모델에서 단 한 건(4%)의 환각이 탐지되었으며, 나머지 세 패널에서는 환각이 발견되지 않았다.
• 검사자 간 신뢰도: ChatGPT 4.5 기본 모델의 과학적 정확성에 대해서는 우수한 일치도를 보였으나 ($\kappa=0.834$), "총체적 노인 의학적 접근" 및 "안전성 인지"와 같은 주관적 기준에 대해서는 모든 패널에서 낮음에서 보통 수준의 일치도를 보였다.

주요 기여

1. 맹검 평가 프로토콜: 본 연구는 맹검된 독립적 전문가 평가를 구현함으로써 AI 비교 시 흔히 발생하는 브랜드 편향을 줄이고 방법론적 공백을 해결하였다.
2. 가이드라인 통합 효능: 가이드라인의 비구조화된 직접 업로드가 노인 골다공증 관리에 있어 LLM의 성능을 높이지 못하며, 오히려 기본 모델에 비해 가이드라인 준수 점수를 저하시킬 수 있다는 실증적 근거를 제공하였다.
3. 안전성 한계: 본 연구는 LLM이 지식 생성에는 뛰어날 수 있으나, 맥락에 민큼한 임상적 추론, 특히 안전성, 금기 사항 인지 및 총체적 노인 의학적 접근 측면에서 상당한 한계를 공유하고 있음을 강조한다.

의의 및 주장
저자들은 LLM이 노인 골다공증 의사결정을 지원할 수는 있지만, 전문가의 감독을 대체할 수는 없다고 결론지었다. 본 연구는 다음을 입증한다:

• 현재의 기본 모델(특히 ChatGPT 4.5)은 비구조화된 가이드라인 업로드로 보강된 버전보다 더 나은 성능을 보일 수 있다.
• 안전성 및 금기 사항 인식은 인간의 감독이 필수적인 핵심적인 약점으로 남아 있다.
• 직접적인 가이드라인 업로드의 이점이 없다는 점은 비구조화된 제시 방식이 통합에 부적절함을 시사한다. 향-후 시스템이 효과적이려면 구조화된 검색 증강 생성(RAG), 지식 그래프 또는 특정 노인 의학 평가 모듈이 필요할 것이다.
• 특히 다질환 및 다제복용을 동반한 취약한 노인 인구의 안전을 보장하기 위해서는 임상적 감독이 반드시 필요하다.

본 논문은 이러한 결과가 2026년 2월 기준의 모델들과 단일 국가 가이드라인에 기반하고 있음을 명시하며, 실제 임상 현장에서 의사가 감독하는 시스템을 평가하기 위한 향후 연구를 촉구한다.