Condence, Calibration, and Abstention in Small Open-Weight Language Models on Psychiatric Knowledge Questions: A Cross-Domain Replication
Diese Pilotstudie zeigt, dass kleine, Open-Weight-Sprachmodelle, die auf psychiatrische Wissensfragen angewendet werden, eine schlechte Konfidenzkalibrierung sowie domänenspezifische Genauigkeitsrankings aufweisen und dass das Auffordern dieser Modelle, der Antwort zu entziehen, die Leistung verschlechtert anstatt sie zu verbessern, wenn sie mit rigorosen gepaarten Statistiken evaluiert werden.