Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence

기술 요약: 정형외과 분야 LLM 응답의 전문가 평가 품질 예측

문제 정의
대규모 언어 모델(LLM)은 환자 교육 및 임상 정보 접근을 위해 의료 분야에서 점점 더 많이 활용되고 있다. 그러나 이러한 모델들의 성능은 모델, 임상 영역, 그리고 구체적인 질문 유형에 따라 크게 달라진다. 단순한 언어적 유창성을 넘어, 임상적 품질 차원(특히 정확성, 완결성, 오정보 여부)을 체계적으로 평가하는 데에는 중요한 공백이 존재한다. 또한, 전문가 평가가 골드 스탠다드(gold standard)로 남아 있으나 이는 자원 집약적이다. 본 연구는 두 가지 주요 과제를 다룬다: (1) 정형외과 환자 질문 맥락에서 현재의 LLM들(ChatGPT, Claude, DeepSeek, Gemini)의 상대적 임상 품질을 정량화하는 것, 그리고 (2) 자동화된 사전 스크리닝을 가능하게 하기 위해 전문가가 평가한 품질 점수를 계산 지능(자연어 처리, 의미론적 표현, 머신러닝)을 사용하여 자동으로 예측할 수 있는지 조사하는 것이다.

연구 방법론
본 연구는 임상 평가와 계산 모델링을 포함하는 엄격한 이중 접근 방식을 채택하였다:

1. 데이터셋 구축:

   • 질문: 전방 십자인대(ACL) 손상(n=15), 반월상 연골 파열(n=15), 그리고 인공 슬관절 전치환술(TKA)(n=20)의 세 가지 임상 범주에 걸쳐 50개의 환자 지향적 질문을 큐레이션하였다.
   • 생성: 네 가지 LLM(ChatGPT, Gemini, Claude, DeepSeek)이 50개의 모든 질문에 대해 응답을 생성하여 총 200개의 고유한 응답을 도출하였다. 데이터 수집은 일관된 타이밍과 프롬프트 전달을 보장하기 위해 브라우저 자동화를 사용하여 표준화되었다.
   • 전문가 평가: 세 명의 정형외과 전문의가 블라인드 방식으로 200개의 모든 응답을 독립적으로 평가하였다(총 600회 평가).
   • 지표: 응답은 정확성(0–4), 완결성(0–4), 오정보(0–2)를 기준으로 점수가 매겨졌다. 특정 문제를 특징짓기 위해 자유 텍스트 주석도 수집되었다.

2. 통계 분석:

   • 모든 모델이 동일한 질문에 답변했다는 점을 고려하여, 모든 모델의 성능을 비교하기 위해 대응 표본 통계 방법(Friedman 검정, Holm 교정을 적용한 Wilcoxon 부호 순위 검정)을 사용하였다.
   • 분석은 전체 수준, 임상 범주 수준, 그리고 개별 질문 수준에서 수행되었다.
   • 검사자 간 신뢰도는 Krippendorff's alpha와 클래스 내 상관계수(ICC)를 사용하여 평가되었다.

3. 계산 지능 및 머신러닝:

   • 특징 추출:
     • NLP 특징: 단어 수, 문장 수, 어휘 다양성, 가독성 점수(Flesch-Kincaid, Flesch Reading Ease).
     • 의미론적 특징: Sentence-BERT(SBERT) 임베딩을 사용하여 질문-응답 코사인 유사도 및 모델 간 의미론적 유사도를 계산하였다.
     • 설명 가능한 텍스트 특징: 숫자 표현, 리스트 구조, 헤징(hedging), 임상적 경고, 위험/치료 관련 용어의 빈도.
   • 모델링: 정확성과 완결성의 평균 전문가 점수를 예측하기 위해 RBF-Support Vector Regression(RBF-SVR) 모델을 개발하였다.
   • 검증 전략: 데이터 누수(동일한 질문에 대한 응답이 훈련 및 테스트 세트에 모두 나타나는 현상)를 방방지하기 위해 **중첩 그룹 교차 검증(nested grouped cross-validation)**을 활용하였다. 그룹화 변수는 Question_ID였으며, 이는 단일 질문에 대한 네 가지 LLM의 응답이 모두 동일한 폴드(fold) 내에 머물도록 보장하였다. 하이퍼파라미터 튜닝은 내부 루프를 통해 수행되었으며, 최종 성능은 외부 테스트 폴드에서 평가되었다.

주요 결과

• 임상 성능:

  • 네 가지 LLM 모두 일반적으로 높은 임상 품질을 보여주었으며, 평균 정확도 점수는 3.607에서 3.827(4점 만점) 사이였고, 오정보 점수는 낮았다(0.093–0.127/2).
  • 통계적 유의차 없음: 전반적으로 정확성(p=0.070), 완결성(p=0.361), 오정보(p=0.451)에 대해 모델 간 통계적으로 유의미한 차이가 없었다.
  • 변동성: 성능은 임상 범주에 따라 달랐다. TKA 범주에서 정확성에 대한 유의미한 전체 모델 효과가 관찰되었으나(p=0.041), Holm 교정 후에도 특정 쌍별 차이는 유의미하게 남지 않았다.
  • 질문 수준의 통찰: 13개의 질문이 "저성능" 질문(평균 정확도 ≤ 3.667)으로 식별되었으며, 그 중 7개는 TKA 범주에 속했다. 가장 낮은 성능을 보인 질문(Q44)은 병원 입원 기간에 관한 것이었으며, 이는 맥락 의존적인 변수였다.
  • 의미론적 유사도: 동일한 질문에 대한 서로 다른 모델의 응답은 높은 의미론적 유사성을 보였으나(평균 SBERT 코사인 유사도: 0.813–0.850), 이것이 임상적 정확성과 직접적으로 상관관를 갖지는 않았다.
  • 전문가 주석: 자유 텍스트 주석에서 가장 빈번하게 식별된 문제는 직접적인 오정보라기보다 "불필요하거나, 지나치게 상세하거나, 주제에서 벗어난 콘텐츠"(72회 응답)였다.

• 머신러닝 예측:

  • 정확도 예측: 최종 RBF-SVR 모델은 MAE(평균 절대 오차) 0.261을 달성하였으며, 이는 베이스라인 평균 예측 모델 대비 오차를 11.6% 감소시킨 것이다. 그러나 결정 계수($R^2$)는 음수(-0.161)였으며, 순위 상관관계(Spearman $\rho$)는 약하지만 유의미했다(0.202, p=0.004).
  • 완결성 예측: 모델은 MAE 0.294를 달성하였으나, $R^2$는 -0.106이었고 순위 상관관계는 유의미하지 않았다.
  • 특징 기여도: 절제 분석(Ablation analysis) 결과, NLP 특징, 의미론적 유사성, 그리고 설명 가능한 텍스트 특징을 결적으로 결합했을 때 탐색적 설정에서 가장 낮은 예측 오차와 가장 높은 $R^2$ 값을 보였다. 이는 표면적인 언어적 특징만으로는 품질 예측에 불충분함을 시사한다.

의의 및 주장
본 논문은 현재의 LLM이 정형외과 환자 교육을 위한 고품질 응답을 생성할 능력이 있지만, 그 성능은 균일하지 않으며, 임상 주제와 더 결정적으로는 질문의 구체적인 성격에 따라 변동된다고 주장한다. 연구는 모델 간의 높은 의미론적 유사성이 임상적 정확성을 보장하지 않는다는 점을 강조하며, 전문가 평가의 필요성을 재확인한다.

머신러닝 구성 요소와 관련하여, 저자들은 언어적, 의미론적, 설명 가능한 특징들이 전문가 점수를 예측하기 위한 "측정 가능한 신호"를 제공하지만, 현재의 예측 능력은 제한적이라고 겸허하게 주장한다. 음수의 $R^2$ 값과 약한 상관관계는 자동화된 품질 예측이 아직 전문가 평가를 대체할 수 없음을 나타낸다. 대신, 제안된 프레임워크는 독립적인 임상 의사 결정 또는 품질 평가 시스템이라기보다, 잠재적으로 품질이 낮은 응답을 식별하기 위한 자동화된 사전 스크리닝 도구로서의 가능성을 제시한다. 연구는 LLM이 환자 교육을 위한 보조 도구로 기능해야 하며, 특히 맥락 의존적인 질문의 경우 전문가의 검증이 필수적이라고 결론짓는다.