Token Probability Beats Verbalized Condence for Error Detection in Small Open-Weight Language Models: A Medical and Psychiatric Benchmark Study
यह पायलट अध्ययन यह दर्शाता है कि चिकित्सा और मनोरोग संबंधी कार्यों के लिए लागू छोटे ओपन-वेट लैंग्वेज मॉडल्स (1.2B–9.2B पैरामीटर्स) के लिए, मॉडल्स के मौखिक रूप से व्यक्त आत्मविश्वास पर भरोसा करने की तुलना में आंतरिक टोकन संभाव्यता (internal token probabilities) निकालना त्रुटि का पता लगाने के लिए एक काफी अधिक विश्वसनीय तरीका है, विशेष रूप से सबसे छोटे मॉडल्स के लिए जहाँ मौखिक आत्मविश्वास संयोग के स्तर (chance levels) पर प्रदर्शन करता है।