Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence
Diese Studie bewertet die klinische Qualität von vier großen Sprachmodellen bei orthopädischen Patientenfragen durch Expertenbewertungen und stellt eine generell hohe Leistungsfähigkeit ohne statistisch signifikante Unterschiede zwischen den Modellen fest, während sie gleichzeitig zeigt, dass die Kombination von NLP- und semantischen Merkmalen die von Experten bewertete Genauigkeit schwach vorhersagen kann, trotz der Einschränkungen bei der automatisierten Qualitätsvorhersage.