Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence
Deze studie evalueert de klinische kwaliteit van vier grote taalmodellen op orthopedische patiëntvragen door middel van expertbeoordelingen, waarbij over het algemeen een hoge prestatie wordt vastgesteld zonder statistisch significante verschillen tussen de modellen, terwijl wordt aangetoond dat het combineren van NLP- en semantische kenmerken de door experts beoordeelde nauwkeurigheid zwak kan voorspellen, ondanks beperkingen in geautomatiseerde kwaliteitsvoorspelling.