Condence, Calibration, and Abstention in Small Open-Weight Language Models on Psychiatric Knowledge Questions: A Cross-Domain Replication
Este estudo piloto demonstra que modelos de linguagem pequenos e de pesos abertos aplicados a questões de conhecimento psiquiátrico exibem uma calibração de confiança deficiente, classificações de precisão dependentes do domínio e que instruí-los a abster-se de responder frequentemente degrada em vez de melhorar o desempenho quando avaliados com estatísticas pareadas rigorosas.