Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence
본 연구는 전문가 평가를 통해 정형외과 환자 질문에 대한 네 가지 대규모 언어 모델의 임상적 품질을 평가하며, 모델 간에 통계적으로 유의미한 차이 없이 전반적으로 높은 성능을 보인다는 점을 발견하는 동시에, 자동화된 품질 예측의 한계에도 불구하고 자연어 처리(NLP)와 의미론적 특징을 결합하는 것이 전문가가 평가한 정확도를 약하게 예측할 수 있음을 입증한다.