Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

Nel vasto e rapidamente espandendosi mondo dell'apprendimento automatico, un campo dedicato all'insegnare ai computer come apprendere dai dati, è emerso un collo di bottiglia critico che non risiede nella tecnologia stessa, ma nel processo umano utilizzato per validarla. Prima che una nuova scoperta possa essere condivisa con il mondo, deve superare la revisione paritaria (peer review), un sistema in cui gli esperti leggono e valutano il lavoro dei propri colleghi per decidere se sia degno di pubblicazione. Per decenni, questo processo si è basato su un semplice contratto sociale: se vuoi che il tuo lavoro venga pubblicato, devi accettare di revisionare il lavoro degli altri. Tuttavia, poiché il numero di articoli di ricerca è esploso nelle decine di migliaia per un singolo grande incontro, questo accordo di cortesia ha iniziato a logorarsi. Il puro volume di sottomissioni ha sopraffatto gli esperti disponibili, portando a valutazioni affrettate, standard incoerenti e un crescente senso di frustrazione tra gli scienziati che sentono che il sistema non stia più funzionando come previsto. La domanda fondamentale che la comunità si pone non è più solo come gestire il carico di lavoro, ma come creare un sistema che incentivi effettivamente un feedback di alta qualità e ponderato piuttosto che limitarsi a spuntare una casella.

Un recente documento di posizione di Shaochen (Henry) Zhong della Rice University sostiene che l'attuale approccio di chiedere ai ricercatori di essere più attenti o di seguire migliori linee guida sia insufficiente. L'autore suggerisce che la comunità dell'apprendimento automatico abbia raggiunto un punto in cui le richieste educate e le linee guida ottimistiche stanno fallendo nel risolvere la crisi del volume di sottomissioni e della qualità delle revisioni. Invece, il documento propone uno spostamento radicale verso un sistema che tratti la revisione come una forma di valuta. L'idea centrale è quella di sostituire l'attuale "sistema basato sull'onore" con un'economia tangibile di crediti, dove i ricercatori guadagnano punti per i loro contributi al processo di revisione e possono spendere tali punti per ottenere privilegi specifici. Questo approccio si allontana dal fare affidamento sulla buona volontà e si muove verso una struttura in cui il buon comportamento viene premiato e il cattivo comportamento comporta un costo misurabile.

Il documento identifica due driver principali dell'attuale disfunzione. In primo luogo, il numero di articoli sottomessi alle principali conferenze è cresciuto così tanto che è fisicamente impossibile per gli esperti disponibili dedicare a ciascuno l'attenzione che merita. Con alcune conferenze che ricevono oltre ventimila sottomissioni, il sistema è costretto a prendere decisioni rapide, spesso arbitrarie, per mantenere in movimento il processo. In secondo luogo, vi è una mancanza di conseguenze per il cattivo comportamento. Un revisore può presentare una critica sprezzante, di scarso sforzo o persino priva di senso senza timore di ripercussioni, mentre un revisore che va oltre per fornire un feedback dettagliato e costruttivo non riceve alcun riconoscimento tangibile. L'autore osserva che, sebbene alcune conferenze abbiano cercato di limitare le sottomissioni ponendo un tetto al numero di articoli che un autore può sottomettere, tali misure spesso falliscono perché non affrontano la causa principale: la mancanza di un lato negativo per chi sottomette lavoro non pronto o la mancanza di un premio per chi compie il duro lavoro di una buona revisione.

Per affrontare queste problematiche, l'autore propone un sistema chiamato "OpenReview Points". In questo modello, i ricercatori guadagnerebbero punti eseguendo compiti specifici, come scrivere una revisione standard, aiutare in una revisione d'emergenza o essere riconosciuti come revisori eccellenti. Questi punti funzionerebbero quindi come una valuta flessibile che potrebbe essere spesa tra le diverse conferenze principali. Ad esempio, un ricercatore potrebbe spendere punti per richiedere un'esenzione dal dovere di revisione, per chiedere l'intervento di un ulteriore esperto su un articolo controverso o persino per riscattare una quota di iscrizione gratuita per una conferenza. Il sistema è progettato per essere granulare e applicabile, permettendo agli organizzatori di premiare il buon comportamento e penalizzare quello cattivo in modi più sfumati rispetto all'attuale approccio "tutto o niente".

Il documento argomenta esplicitamente contro diverse soluzioni esistenti che la comunità ha tentato di implementare. Suggerisce che chiedere semplicemente ai revisori di essere più gentili o più meticolosi sia inefficace perché si basa su una motivazione che l'attuale sistema non supporta. Critica anche l'idea di limiti rigidi e severi sul numero di articoli che un autore può sottomettere, notando che tali regole spesso portano i team a rimuovere semplicemente i nomi dai paper per rientrare nel limite, piuttosto che ridurre effettivamente il numero di sottomissioni. Inoltre, l'autore avverte che le pene dure, come il rifiuto di un articolo perché un revisore è stato poco diligente, sono strumenti troppo grossolani per gestire l'ampio spettro di comportamenti di scarsa qualità. Inveve, il sistema di crediti proposto offre una via di mezzo dove le penalità possono essere proporzionali, come la detrazione di punti per una revisione di bassa qualità, il che funge da deterrente senza distruggere la carriera di un ricercatore.

Un componente chiave della proposta è l'idea di "salvaguardie procedurali a grana fine". L'autore delinea quattro meccanismi specifici per evitare che il sistema venga abusato. Primo, il sistema limiterebbe certe azioni a ruoli specifici, assicurando che solo i lead author di un articolo possano spendere punti per richiedere ulteriore aiuto, evitando che l'onere venga spostato su membri del team meno responsabili. Secondo, ci sarebbero limiti superiori su quanto spesso certe azioni possono essere intraprese, impedendo a chiunque di "coltivare" punti sottomettendo un numero massiccio di revisioni di scarso impegno. Terzo, il sistema utilizzerebbe prezzi dinamici, il che significa che più un ricercatore utilizza un particolare privilegio, maggiore sarà il costo in punti, garantendo che le risorse scarse siano riservate alle necessità più critiche. Infine, il sistema si affiderebbe al voto tra pari per giudicare la qualità delle revisioni, permettendo alla comunità di identificare collettivamente e penalizzare i malintenzionati, pur premiando coloro che forniscono un feedback eccezionale.

L'autore riconosce che questo sistema non è esente da sfide e potenziali svantaggi. Vi è la preoccupazione che un sistema di crediti possa favorire i ricercatori che già dispongono di più tempo e risorse, permettendo loro di "comprare" la propria uscita dalle responsabilità. Tuttavia, il documento sostiene che, poiché i punti vengono guadagnati attraverso il lavoro e non acquistati con denaro, il sistema premia l'impegno piuttosto che la ricchezza. C'è anche il rischio che il sistema possa essere manipolato o che i punti possano perdere valore nel tempo, similmente all'inflazione in una vera economia. Per contrastare ciò, l'autore suggerisce che i punti dovrebbero scadere dopo un certo periodo e che il sistema dovrebbe essere implementato gradualmente, partendo da vantaggi esistenti come l'iscrizione gratuita alle conferenze prima di introdurre funzionalità più complesse.

Il documento conclude sottolineando che l'obiettivo non è creare un sistema perfetto, ma rendere quello attuale più sostenibile e responsabile. L'autore suggerisce che le prime conferenze ad adottare questo sistema dovrebbero iniziare in piccolo, utilizzando i premi esistenti per testare il terreno prima di espanderne l'ambito. Monitorando metriche chiave e condividendo i dati tra le diverse conferenze, la comunità può imparare cosa funziona e cosa no, costruendo infine un quadro comune che benefici tutti. La visione ultima è quella di un processo di revisione paritaria in cui il buon comportamento viene riconosciuto e premiato, dove i ricercatori abbiano un interesse nella qualità del sistema e dove la frustrazione dell'era attuale sia sostituita da uno scambio di idee più funzionale ed equo. Questa proposta rappresenta un passaggio dal fare affidamento sulla speranza che i ricercatori facciano la cosa giusta al creare una struttura in cui fare la cosa giusta sia la scelta più logica e vantaggiosa.