Predicting Expert-Rated Quality of Large Language Model Responses to Orthopaedic Patient Questions Using Computational Intelligence
Questo studio valuta la qualità clinica di quattro modelli linguistici di grandi dimensioni sulle domande dei pazienti ortopedici attraverso valutazioni di esperti, riscontrando una prestazione generalmente elevata senza differenze statisticamente significative tra i modelli, dimostrando al contempo che la combinazione di caratteristiche NLP e semantiche può predire debolmente l'accuratezza valutata dagli esperti nonostante le limitazioni nella predizione automatizzata della qualità.