Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
Deze studie betoogt dat het op tijdschriften gerichte onderzoeksevaluatiesysteem van Hongarije niet strookt met internationale normen in de computerwetenschappen door publicaties in topconferenties te onderwaarderen, wat leidt tot prikkelverstoringen en de migratie van succesvolle onderzoekers naar het buitenland, en adviseert om CORE A*- en A-papers gelijk te stellen aan D1- en Q1-tijdschriften in nationale beoordelingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Plaatje: De "Verkeerde Scorebord"
Stel je een sportcompetitie voor waarbij de regels zeggen dat alleen doelpunten gescoord in de trage competitiematchen van 90 minuten meetellen voor de carrièrestatistieken van een speler. Maar in deze specifieke sport (Informatica) worden de meest opwindende, risicovolle en belangrijke wedstrijden gespeeld tijdens snelle 3-daagse toernooien.
In Hongarije hebben de "scheidsrechters" (universitaire beoordelaars en financieringsinstanties) de score bijgehouden op basis van de oude competitiematchen (academische tijdschriften). Echter, de beste informatici ter wereld spelen in de toernooien (conferenties). Omdat het Hongaarse scorebord toernooiwinsten niet meetelt, creëert dit een verwarrende situatie waarin onderzoekers moeten kiezen tussen het spel spelen dat de wereld speelt, of het spel spelen dat Hongarije eist.
Het Kernprobleem: Tijdschriften versus Conferenties
Lange tijd was wetenschap als een bibliotheek. Je schreef een lang, gedetailleerd boek (een tijdschriftartikel), wachtte een jaar tot het bewerkt was, en plaatste het vervolgens in de kast. Dit was de gouden standaard.
Maar Informatica is anders. Het is meer als een live muziekfestival.
- Snelheid: De muziek (nieuwe ideeën) verandert zo snel dat wachten op een jaar om een "boek" te publiceren betekent dat het liedje alweer oud nieuws is.
- De Locatie: De belangrijkste ontdekkingen vinden plaats op grote festivals (topconferenties zoals NeurIPS of ICSE), niet in de stille bibliotheek.
- De Ranking: Er is een wereldwijde "Festivalgids" genaamd CORE. Deze rangschikt deze festivals van A* (de grootste, meest exclusieve festivals) tot C (kleinere lokale jams).
- A* is als spelen in Wembley Stadium.
- A is als spelen in een grote arena.
- B en C zijn kleinere locaties.
Het Hongaarse Probleem: Het Hongaarse beoordelingssysteem is nog steeds geobsedeerd door de "Bibliotheekboeken" (Tijdschriften). Het behandelt een artikel in een topconferentie (A*) alsof het een minder belangrijke publicatie is, of negeert het zelfs volledig. Dit dwingt Hongaarse onderzoekers om "boeken" te schrijven om aan de lokale regels te voldoen, zelfs als de wereld naar de "live muziek" luistert.
Wat de Data Laat Zien
De auteurs bekeken de data en vonden enkele interessante patronen:
De "Theoretische" versus "Toegepaste" Splitsing:
- ** Theoretische Informatica** (de wiskunde en logica achter de code) speelt al sinds de jaren '70 in deze grote festivals. Hongaarse onderzoekers op dit gebied hebben zich snel aangepast.
- ** Toegepaste Informatica** (het bouwen van werkelijke software en AI) begon later (jaren '90) in deze festivals te spelen. Hongaarse onderzoekers in dit veld worstelen nog steeds met het wennen aan de nieuwe regels.
Het "Brain Drain"-effect:
- De studie vond dat de meest succesvolle Hongaarse onderzoekers (degenen die in de A*-festivals spelen) steeds vaker Hongarije verlaten.
- De Analogie: Stel je een lokale voetbalclub voor die weigert dat haar sterspelers meedoen aan het WK omdat "wij alleen lokale competitiematchen tellen". Uiteindelijk vertrekken de sterspelers om zich aan te sluiten bij teams in andere landen die het WK wél meetellen.
- De data laten zien dat veel top-Hongaarse onderzoekers nu in het buitenland werken of in de internationale industrie, terwijl degenen die blijven vaak hun tijd moeten splitsen tussen het schrijven van "boeken" voor Hongarije en het "spelen van festivals" voor de wereld.
De "Dubbele Boekhouding"-nachtmerrie:
- Momenteel kan een onderzoeker een doorbraak publiceren bij een topconferentie (A*). Om in Hongarije promotie te maken of financiering te krijgen, moeten ze datzelfde werk vaak opnieuw herschrijven en alsnog in een tijdschrift publiceren.
- De Metafoor: Het is alsof een chef-kok een gouden medaille wint op een kookwedstrijd, maar de lokale overheid zegt: "Dat telt niet. Je moet een receptenboek van 50 pagina's over het gerecht schrijven om een salaris te krijgen." Het is verspilde tijd en energie.
Waarom Dit Belangrijk Is voor Iedereen
De auteurs stellen dat dit niet alleen een probleem is voor informatici; het heeft invloed op het hele land.
- De "Besturingssysteem"-analogie: Informatica is het besturingssysteem voor modern onderzoek. Of je nu biologie, geneeskunde of techniek bestudeert, je hebt computerexperts nodig om de simulaties uit te voeren en de data te analyseren.
- Als Hongarije's beste informatici gedwongen worden om te stoppen met het "globale spel" spelen om aan lokale regels te voldoen, verliest het hele land de nieuwste tools en technieken. Het is als een land dat een moderne stad probeert te bouwen, maar weigert de nieuwste constructietechnologie te gebruiken omdat "wij alleen bakstenen uit 1950 gebruiken".
De Voorgestelde Oplossing
De auteurs stellen een eenvoudige regelwijziging voor om het scorebord te repareren:
- Behandel een A Conferentiepaper als een D1 Tijdschriftartikel.* (De hoogste categorie tijdschriften).
- Behandel een A Conferentiepaper als een Q1 Tijdschriftartikel. (De top 25% van de tijdschriften).
Ze betogen dat de CORE ranking al wereldwijd wordt vertrouwd (gebruikt door China, Australië, en anderen) en betrouwbaar is. Hongarije hoeft geen eigen lijst uit te vinden; het moet gewoon de bestaande lijst erkennen.
De Kernboodschap
De conclusie van het artikel is dat Hongarije kleine stappen in de goede richting zet, maar verder moet gaan. Door zijn regels af te stemmen op de rest van de wereld, kan Hongarije voorkomen dat onderzoekers twee verschillende spellen tegelijk moeten spelen. Dit zal helpen om jong talent in het land te houden, ervoor te zorgen dat de Hongaarse wetenschap concurrerend blijft, en de "verspilling" te stoppen van het herschrijven van papers om in een lokaal model te passen.
Kortom: Beoordeel een vis niet op zijn vermogen om in een boom te klimmen. Als Informatica in conferenties leeft, laten we dan ook conferenties meetellen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.