Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
Questo studio sostiene che il sistema ungherese di valutazione della ricerca, incentrato sulle riviste, sia disallineato rispetto alle norme internazionali dell'informatica, sottovalutando le pubblicazioni in conferenze di alto livello, il che porta a distorsioni degli incentivi e alla migrazione all'estero dei ricercatori di successo, e raccomanda di equiparare i lavori classificati come CORE A* e A con le riviste D1 e Q1 nelle valutazioni nazionali.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Il quadro generale: Il "tabellone dei punteggi sbagliato"
Immaginate una lega sportiva dove le regole dicono che solo i gol segnati nelle lente partite della lega da 90 minuti contano per le statistiche di carriera di un giocatore. Ma in questo sport specifico (l'informatica), le partite più eccitanti, ad alto rischio e importanti si giocano in realtà in tornei rapidi di 3 giorni.
In Ungheria, i "rigoristi" (i valutatori universitari e gli enti finanziatori) hanno continuato a segnare i punti basandosi sulle vecchie partite della lega (le riviste accademiche). Tuttavia, i migliori informatici del mondo stanno giocando nei tornei (conferenze). Poiché il tabellone ungherese non conta le vittorie nei tornei, si sta creando una situazione confusa in cui i ricercatori devono scegliere se giocare il gioco che il mondo gioca o giocare il gioco che l'Ungheria esige.
Il problema centrale: Riviste vs Conferenze
Per molto tempo, la scienza è stata come una biblioteca. Scrivevi un libro lungo e dettagliato (un articolo su una rivista), aspettavi un anno perché venisse editato e poi lo mettevi sullo scaffale. Questo era il gold standard.
Ma l'informatica è diversa. È più simile a un festival musicale dal vivo.
- Velocità: La musica (le nuove idee) cambia così velocemente che aspettare un anno per pubblicare un "libro" significa che la canzone è già vecchia notizia.
- Il Luogo: Le scoperte più importanti avvengono ai grandi festival (le conferenze top come NeurIPS o ICSE), non nella tranquilla biblioteca.
- La Classifica: Esiste una "Guida ai Festival" globale chiamata CORE. Questa classifica i festival da A* (i festival più grandi ed esclusivi) fino a C (piccole jam session locali).
- A* è come suonare allo stadio di Wembley.
- A è come suonare in un grande palazzetto.
- B e C sono locali più piccoli.
Il Problema Ungherese: Il sistema di valutazione ungherese è ancora ossessionato dai "Libri di Biblioteca" (le Riviste). Tratta un articolo in una conferenza di alto livello (A*) come se fosse una pubblicazione minore, o lo ignora del tutto. Questo costringe i ricercatori ungheresi a scrivere "libri" solo per soddisfare le regole locali, anche se il mondo sta ascoltando la "musica dal vivo".
Cosa mostrano i dati
Gli autori hanno analato i dati e trovato alcuni schemi interessanti:
La divisione tra "Teorico" e "Applicato":
- L'informatica teorica (la matematica e la logica dietro il codice) gioca in questi grandi festival sin dagli anni '70. I ricercatori ungheresi in questo campo si sono adattati rapidamente.
- L'informatica applicata (costruire software reali e IA) ha iniziato a giocare in questi festival più tardi (anni '90). I ricercatori ungheresi in questo campo stanno ancora faticando per abituarsi alle nuove regole.
L'effetto "Fuga di cervelli":
- Lo studio ha scoperto che i ricercatori ungheresi più di successo (quelli che giocano nei festival A*) stanno lasciando l'Ungheria in numero crescente.
- L'analogia: Immaginate una squadra di calcio locale che si rifiuta di far giocare i suoi campioni nella Coppa del Mondo perché "noi contiamo solo le partite della lega locale". Alla fine, i campioni se ne vanno per unirsi a squadre in altri paesi che contano le partite della Coppa del Mondo.
- I dati mostrano che molti dei migliori ricercatori ungheresi lavorano ora all'estero o nell'industria internazionale, mentre quelli che restano spesso devono dividere il loro tempo tra la scrittura di "libri" per l'Ungheria e il "giocare ai festival" per il mondo.
L'incubo della "Doppia Contabilità":
- Attualmente, un ricercatore potrebbe pubblicare una scoperta rivoluzionaria in una conferenza top (A*). Per ottenere una promozione o un finanziamento in Ungheria, spesso deve prendere lo stesso lavoro, riscriverlo e pubblicarlo di nuovo in una rivista.
- La metafora: È come uno chef che vince una medaglia d'oro a una competizione culinaria, ma il governo locale dice: "Quello non conta. Devi scrivere un libro di ricette di 50 pagine su quel piatto per avere uno stipendio". È tempo ed energia sprecati.
Perché questo è importante per tutti
Gli autori sostengono che questo non è solo un problema per gli informatici; riguarda l'intero paese.
- L'analogia del "Sistema Operativo": L'informatica è il sistema operativo per la ricerca moderna. Che si studi biologia, medicina o ingegneria, serve l'esperienza di esperti informatici per far girare le simulazioni e analizzare i dati.
- Se i migliori informatici ungheresi sono costretti a smettere di giocare al "gioco globale" per soddisfare le regole locali, l'intero paese perde le ultime tecnologie e tecniche. È come un paese che cerca di costruire una città moderna ma rifiuta di usare le ultime tecnologie edilizie perché "usiamo solo mattoni del 1950".
La soluzione proposta
Gli autori suggeriscono un semplice cambiamento di regole per sistemare il tabellone dei punteggi:
- Trattare un articolo di una conferenza A come un articolo di una rivista D1.* (Il livello più alto delle riviste).
- Trattare un articolo di una conferenza A come un articolo di una rivista Q1. (Il top 25% delle riviste).
Sostengono che la classifica CORE è già stimata globalmente (usata da Cina, Australia e altri) ed è affidabile. L'Ungheria non ha bisogno di inventare la propria lista; deve solo riconoscere quella esistente.
In sintesi
Il documento conclude che l'Ungheria sta compiendo piccoli passi nella direzione giusta, ma deve andare oltre. Allineando le proprie regole con il resto del mondo, l'Ungheria può smettere di costringere i ricercatori a giocare due giochi diversi. Questo aiuterà a trattenere i giovani talenti nel paese, garantirà che la scienza ungherese rimanga competitiva e fermerà lo "spreco" di riscrivere articoli solo per adattarli a un modello locale.
In breve: Smettetela di giudicare un pesce dalla sua capacità di arrampicarsi su un albero. Se l'informatica vive nelle conferenze, iniziamo a contare le conferenze.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.