Outcome-Correlated Signals in Peer Review: A Post-hoc Proxy Analysis of Author, Idea, and Capability-Related Cues in OpenReview Submissions
Questo studio utilizza un'analisi proxy post-hoc di oltre 20.000 sottomissioni a conferenze di machine learning per dimostrare che i metadati degli autori, le astrazioni delle idee e le descrizioni delle capacità imputate da LLM contengono segnali parzialmente non ridondanti associati agli esiti della revisione paritaria, evidenziando al contempo i limiti dell'inferenza della capacità in assenza di dati longitudinali e sollevando preoccupazioni riguardanti l'equità e la disparità di risorse nella valutazione della ricerca.