기술 요약: 가이드라인 기반 임플란트 관련 합병증에 대한 LLM의 비교 평가

문제 제기

임플란트학의 수술 기법과 디지털 워크플로가 발전했음에도 불구하고, 임플란트 관련 합병증(예: 신경 손상, 막 천공, 심한 출혈)을 관리하는 것은 여전히 임상적으로 까다로운 과제이다. 특히 즉각적인 전문의 지원을 받기 어려운 일반의(GP)들은 점 단위의 진료 안내를 위해 대규모 언어 모델(LLM)을 점점 더 많이 활용하고 있다. 그러나 고위험 임상 의사결정에서 LLM의 신뢰성은 불확실하다. 기존 문헌은 주로 환자 교육이나 이론적 지식 합성 측면에서 LLM을 평가해 왔으며, 다음과 같은 사항을 다루는 데 실패했다:

1. 안전 관련 실패: 일반적인 응답 품질과 구체적인 안전 사건(예: 환각 현상, 유해한 권고) 사이의 구분.
2. 복잡도 계층화: 중간, 난이도 높음, 전문가 수준의 임상 시나리오에 따라 모델 성능이 어떻게 달라지는지에 대한 분석.
3. 가이드라인 준수: 복잡하고 다변수인 상황에서 주요 기관(EAO, ITI, AAOMS)의 합의된 관리 프레임워크를 준수하는 능력.

본 연구는 LLM이 신뢰할 수 있는 지원 도구 역할을 할 수 있는지, 아니면 전문가 수준의 임플란트 합병증 관리에서 심각한 환자 안전 위험을 초래할 수 있는지에 대한 증거의 공백을 다룬다.

방법론

본 연구는 비교 중심의 횡단적 in-silico 평가 설계를 채택하였다.

• 임상 시나리오: 24개의 임상 비네트(vignette)를 개발하였으며, 이는 난이도(중급 6개, 난이도 높음 12개, 전문가 수준 6개)에 따라 계층화되었고, 6가지 합병증 유형(상악동 거상술, 수술 중, 초기/후기 수술 후, 경조직 증대술, 임플란트 주위 연조직)으로 분류되었다. 이 시나리오들은 유럽 골유착 학회(EAO), 국제 임플란트 팀(ITI), 미국 구강악안면외과학회(AAOMS)의 합의 문서를 준수하도록 구성되었다.
• 평가 대상 모델: 네 가지 최첨단 LLM을 테스트하였다:
  • Gemini 3.1 Pro
  • ChatGPT 5.4
  • Claude 4.6
  • DeepSeek V3.2
  • 프로토콜: 모델은 기본 설정이 적용된 웹 인터페이스를 통해 접근하였으며, 고급 추론 모드를 활성화하고 외부 플러그인은 사용하지 않았다. 각 시나리오는 표준화된 프리 프롬프트(pre-prompt)를 사용하여 모델당 한 번씩 제출되었다.
• 평가 프레임워크: 응답은 익명화 및 무작위화되었으며, 두 명의 블라인드 전문가(구강악안면외과 의사 및 치주과 의사)에 의해 독립적으로 평가되었다.
  • Likert 척도(1–5점): 진단 정확도, 관리 적절성, 안전성, 완결성/실행 가능성, 명확성/일관성.
  • 이진 안전 결과(Binary Safety Outcomes): 주요 유해 권고 존재 여부, 놓친 레드 플래그(red flags), 환각/조작된 콘텐츠.
  • 신뢰도: Cohen's kappa를 사용하여 검사자 간 및 검사자 내 신뢰도를 평가하였으며, 불일치는 제3의 전문가에 의해 해결되었다.
• 통계 분석: 전체 모델 비교를 위해 Kendall's W를 포함한 Friedman 테스트를 사용하였고, 이어서 Holm 교정을 적용한 사후 Wilcoxon 부호 순위 검정을 실시하였다. 이진 안전 결과에 대해서는 Cochran's Q 테스트를 사용하였다.

주요 결과

• 전반적인 성능: 모든 5가지 평가 영역에서 모델 간 유의미한 차이가 관찰되었다 ($p < 0.05$). Gemini 3.1이 일관되게 가장 높은 점수를 기록한 반면, DeepSeek V3.2가 가장 낮은 점수를 기록했다.
  • 사후 분석 결과, Gemini 3.1은 모든 영역에서 DeepSeek V3.2를 유의미하게 능가하였다 (예: 종합 점수 4.30 대 3.58; $p=0.003$).
  • Holm 교정 후 다른 쌍별 비교는 통계적으로 유의미한 것으로 나타나지 않았다.
• 시나리오 난이도의 영향:
  • 중급 시나리오: 모델 간 유의미한 차이가 발견되지 않았다.
  • 전문가 수준 시나리오: 유의미한 차이가 발견되지 않았다 (이는 표본 크기의 제한 또는 고위험 추론의 보편적 어려움 때문으로 보인다).
  • 난이도 높은 시나리오: 유의미한 차이가 나타났다 ($p=0.014$). Gemini 3.1은 DeepSeek V3.2를 유의미하게 능가하였다 (4.25 대 3.60; $p=0.023$). 이는 모델 간의 변동성이 다수의 변수가 결합된 복잡한 사례에서 가장 두드러짐을 시사한다.
• 안전 결과:
  • 주요 유해 권고: 유의미한 차이가 발견되었다 ($p=0.041$). DeepSeek V3.2가 가장 높은 부담을 보였으며 (24건 중 4건, 16.7%), Gemini 3.1과 ChatGPT 5.4는 발생 건수가 0건이었다.
  • 환각/조작: 유의미한 차이가 발견되었다 ($p=0.035$). DeepSeek V3.2가 가장 높은 비율(24건 중 7건, 29.2%)을 보였고, 이어서 Claude 4.6 (3/24, 12.5%), Gemini 3.1 (2/24, 8.3%), ChatGPT 5.4 (1/24, 4.2%) 순이었다.
  • 놓친 레드 플래그: 모델 간 유의미한 차이가 관찰되지 않았다.

주요 기여

1. 안전 분리 평가: 본 연구는 전체 응답 품질과 특정 환자 안전 사건(유해 권고 및 환각)을 분리하는 방법론적 프레임워크를 도입하였으며, 높은 평균 점수가 반드시 치명적인 오류의 부재를 의미하지 않는다는 점을 논증한다.
2. 난이도 계층화 벤치마킹: 시나리오를 중급, 난이도 높음, 전문가 수준으로 범주화함으로써, LLM의 성능 차이가 균등하지 않음을 입증하였다. 이러한 차이는 여러 임상 변수를 통합해야 하는 "난이도 높은" 시나리오에서 가장 뚜렷하게 나타난다.
3. 가이드라인 기반 표준: 본 평가는 단순한 지식 검색이 아닌 EAO, ITI, AAOMS의 합의 원칙을 참조 표준으로 활용하여, 특정하고 복잡한 임상 맥락에 가이드라인을 적용하는 모델의 능력을 평가하였다.
4. 경험적 안전 데이터: 본 연구는 네 가지 특정 모델 버전에 걸쳐 "환각" 또는 "조작된" 가이드라인 주장 및 유해 권고의 빈도를 정량화하여, 이 특정 영역에서 DeepSeek V3.2의 높은 위험 프로필을 강조하였다.

의의 및 주장

저자들은 LLM이 임상 교육 및 의사결정 확인을 위한 지원 도구로서 유망함을 보여주지만, 임플란트 관련 합병증 관리에서 전문가의 임상적 판단을 대체할 수는 없다고 결론짓는다.

• 맥락 민감성: LLM의 성능은 맥락에 크게 의존한다. 이들은 단순한(중급) 사례에서는 유사한 성능을 보이지만, 오류 위험이 증가하는 복잡한(난이도 높은) 시나리오에서는 성능이 크게 갈린다.
• 안전 프로필의 가변성: 본 연구는 안전 프로필이 모델마다 극명하게 다르다는 점을 강조한다. DeepSeek V3.2에서 나타난 높은 유해 권고 및 환각 발생률은 Gemini 3.1 및 ChatGPT 5.4의 거의 제로에 가까운 발생률과 대조되며, 이는 환자 안전을 위해 모델 선택이 매우 중요하다는 것을 시사한다.
• AI의 역할: 연구 결과는 LLM을 자율적인 의사결정 시스템이 아닌, 전문가의 감독과 검증이 필요한 "지원 도구"로 보는 견해를 뒷받침한다. 저자들은 이러한 모델을 임상 워크플로에 통합할 때, 안전이 중요한 다변수 임상 추론을 다루는 데 있어 모델의 한계를 명확히 이해하고 엄격한 평가가 동반되어야 한다고 주장한다.