Outcome-Correlated Signals in Peer Review: A Post-hoc Proxy Analysis of Author, Idea, and Capability-Related Cues in OpenReview Submissions
Deze studie maakt gebruik van een post-hoc proxy-analyse van meer dan 20.000 inzendingen voor machine learning-conferenties om aan te tonen dat auteursmetadata, abstracties van ideeën en door LLM's geïmputeerde beschrijvingen van capaciteiten deels niet-redundante signalen bevatten die geassocieerd worden met peer review-uitkomsten, terwijl tegelijkertijd de beperkingen worden belicht van het afleiden van capaciteit zonder longitudinale data en zorgen worden gewekt over eerlijkheid en de ongelijkheid in middelen bij wetenschappelijke evaluatie.