← Ultimi articoli
📊 statistica

Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?

Questo studio analizza i metadati di quasi 160.000 recensioni attraverso conferenze di machine learning e non trova prove statistiche che supportino lo stereotipo del "Reviewer 2" relativo a una durezza o polarizzazione intrinseche, suggerendo invece che il fenomeno sia probabilmente un artefatto di misurazione o un pregiudizio dipendente dall'istituzione piuttosto che una realtà universale.

Autore originale: Muh. Akbar Idris

Pubblicato 2026-11-17✓ Author reviewed ⓘ
📖 6 min di lettura🧠 Approfondimento

Autore originale: Muh. Akbar Idris

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta dall'autore. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo della scienza accademica, il percorso che va da una nuova idea a un articolo pubblicato è pavimentato da un processo chiamato revisione paritaria (peer review). Prima che uno studio veda la luce, viene inviato ad altri esperti del settore che lo leggono attentamente e offrono il proprio giudizio. Questi esperti, noti come revisori, agiscono come guardiani, decidendo se il lavoro sia abbastanza solido da essere condiviso con il mondo. Essi assegnano punteggi, scrivono commenti dettagliati e spesso raccomandano se l'articolo debba essere accettato, rifiutato o rimandato indietro per modifiche sostanziali. Questo sistema è progettato per garantire la qualità, ma è anche fonte di grande ansia per gli autori. Un singolo commento duro può far deragliare una carriera, e il processo è spesso avvolto nella segretezza, con le identità dei revisori nascoste all'autore che stanno giudicando.

Con il passare del tempo, all'interno di questo sistema è emersa una specifica storia culturale. Gli autori e gli scienziati hanno sviluppato un sospetto condiviso che il secondo revisore elencato in un rapporto sia unicamente difficile. Il "Reviewer 2" è diventato un cattivo popolare all'interno della comunità scientifica, una figura immaginata come sproporzionatamente dura, sprezzante o ostruzionista rispetto al proprio collega. Questo stereotipo suggerisce che se un articolo ha un secondo revisore, quella persona è quella che probabilmente ucciderà il progetto. Ma si tratta di un vero schema nel comportamento delle persone, o è solo un sentimento nato dalla frustrazione? Per rispondere a questo, un ricercatore ha dovuto andare oltre gli aneddoti e osservare i numeri reali dietro migliaia di revisioni per vedere se la seconda persona in lista si comporti davvero diversamente dalla prima o dalla terza.

Un ricercatore si è proposto di investigare questo mito esaminando una massiccia collezione di dati reali provenienti da conferenze di open science. Ha raccolto informazioni da quasi 63.000 manoscritti e oltre 157.000 singole revisioni. Il suo obiettivo era spogliare il processo dalle emozioni e dalle storie per guardare strettamente ai punteggi e alle decisioni. Si è concentrato su una domanda specifica: le persone etichettate come "Reviewer 2" danno effettivamente punteggi più bassi, usano valutazioni estreme più spesso o sono più in disaccordo con i propri colleghi rispetto agli altri revisori che valutano lo stesso articolo? Il ricercatore è stato attento a distinguere tra il numero assegnato a un revisore e l'ordine effettivo in cui ha scritto il suo rapporto, sapendo che queste due cose non sempre coincidono. È importante notare, tuttavia, che i dati utilizzati in questo studio erano concentrati prevalentemente in conferenze di machine learning, attingendo specificamente da 7.966 manoscritti da ICLR tra il 2018 e il 2021. Ciò significa che i risultati sono più applicabili a questi contesti di open review e potrebbero non generalizzarsi completamente alle riviste tradizionali transdisciplinari.

Dopo aver analizzato i dati con rigorosi metodi statistici, lo studio non ha trovato prove a sostegno dell'idea che il Reviewer 2 sia un tipo speciale di cattivo. Quando il ricercatore ha confrontato i punteggi dati dal secondo revisore rispetto ai punteggi medi dei suoi colleghi, la differenza era così piccola da essere effettivamente nulla. In effetti, i dati hanno mostrato che il secondo revisore non era sistematicamente più duro, né era più propenso a utilizzare le valutazioni più estreme di "rifiuto" o "accettazione". La paura che la seconda persona in lista sia unicamente difficile sembra essere un mito. Il ricercatore ha anche esaminato se l'opinione del secondo revisore avesse più peso nelle decisioni finali degli editor. Sebbene una revisione dura da parte di chiunque possa portare a un rifiuto, non c'era un particolare "effetto moltiplicatore" per il secondo revisore che rendesse la sua opinione più potente di quella degli altri.

Lo studio ha comunque fatto emergere alcuni dettagli interessanti su come funziona il processo, anche se ha smentito il mito principale. Il ricercatore ha scoperto che il numero che un revisore vede sul proprio schermo spesso non corrisponde all'ordine in cui ha effettivamente presentato il proprio lavoro. Nel dataset esaminato, l'etichetta pubblica di "Reviewer 2" corrispondeva all'effettiva seconda persona ad aver presentato un rapporto solo in circa il 30 percento dei casi. Ciò significa che il "cattivo" di cui si lamentano gli autori potrebbe non essere affatto la seconda persona a scrivere una revisione; la numerazione è spesso un'assegnazione casuale o un ordine di archiviazione che non ha nulla a che fare con la sequenza degli eventi. Inoltre, quando il ricercatore ha osservato se i disaccordi tra i revisori venissero risolti dopo che un autore avesse scritto una replica (rebuttal), ha visto che il gruppo nel suo insieme tendeva ad avvicinarsi nelle proprie opinioni, ma non c'era segno che il secondo revisore fosse colui che cambiava idea o causava la frizione.

Una delle parti più rivelatrici dell'indagine ha riguardato il test del fatto se conoscere quale revisore avesse dato quale punteggio potesse aiutare a prevedere l'esito finale di un articolo. Il ricercatore ha costruito modelli informatici per vedere se trattare il punteggio del secondo revisore come un fattore separato e speciale migliorasse la loro capacità di indovinare se un articolo sarebbe stato accettato o rifiutato. I risultati hanno mostrato che una semplice media di tutti i punteggi funzionava altrettanto bene, e in alcuni casi funzionava leggermente meglio, di un modello che cercava di dare un peso speciale al secondo revisore. Ciò suggerisce che gli editor guardino probabilmente alla saggezza collettiva del gruppo piuttosto che fissarsi su una specifica posizione numerata. I dati indicano che la percezione di un secondo revisore difficile è probabilmente il risultato di come gli esseri umani ricordano le esperienze negative, piuttosto che di una realtà statistica del sistema di revisione stesso.

Lo studio ha anche esaminato la dinamica del processo di revisione nel tempo. In un sottoinsieme di articoli in cui un autore era stato autorizzato a rispondere ai revisori, il ricercatore ha tracciato come cambiavano i punteggi. Ha scoperto che il divario tra le opinioni dei diversi revisori tendeva a ridursi dopo la fase di replica, il che significa che i revisori spesso trovavano un terreno comune. Tuttavia, questa convergenza avveniva in modo generalizzato e non era guidata da un cambiamento specifico nel comportamento del secondo revisore. Il ricercatore ha concluso che, sebbene l'esperienza di dover affrontare un revisore difficile sia reale e dolorosa per molti autori, l'idea che la seconda persona in lista sia l'unica responsabile non è supportata dalle prove. Il sistema è complesso e i disaccordi accadono, ma non sono il risultato di un pregiudizio nascosto contro una specifica posizione numerata.

In definitiva, questa investigazione su larga scala serve da promemoria del fatto che le nostre intuizioni su come funzionano i sistemi possono talvolta essere fuorvianti. Il fenomeno del "Reviewer 2" è una storia potente perché risuona poiché dà un volto alla frustrazione del rifiuto, ma i dati mostrano che il volto non è attaccato a un numero specifico. La durezza, il disaccordo e l'alto rischio della revisione paritaria sono distribuiti su tutto il gruppo di esperti, non concentrati nella seconda posizione. Sostituendo il mito con la misurazione, il ricercatore ha dimostrato che la comunità scientifica può comprendere meglio i propri processi, concentrandosi sulle reali fonti di variazione del giudizio piuttosto che inseguire un fantasma che non esiste nei numeri.

Sommerso dagli articoli nel tuo campo?

Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.

Prova Digest →