Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
Diese Studie argumentiert, dass das journalzentrierte Forschungsbewertungssystem Ungarns nicht mit den internationalen Normen der Informatik übereinstimmt, indem es Publikationen in erstklassigen Konferenzen unterbewertet, was zu Anreizverzerrungen und der Abwanderung erfolgreicher Forscher ins Ausland führt, und empfiehlt, CORE A*- und A-Konferenzbeiträge in nationalen Bewertungen mit D1- und Q1-Journalen gleichzusetzen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Die „falsche Anzeigetafel“
Stellen Sie sich eine Sportliga vor, in der die Regeln besagen, dass nur Tore zählen, die in den langsamen 90-Minuten-Ligaspielen erzielt wurden. Aber in dieser speziellen Sportart (Informatik) werden die spannendsten, hochkarätigen und wichtigsten Spiele eigentlich in rasanten 3-Tage-Turnieren ausgetragen.
In Ungarn haben die „Schiedsrichter“ (Universitätsbewertungen und Förderstellen) die Punkte bisher basierend auf den alten Ligaspielen (wissenschaftliche Journale) gezählt. Doch die besten Informatiker der Welt spielen in den Turnieren (Konferenzen). Da die ungarische Anzeigetafel die Siege in den Turnieren nicht mitzählt, entsteht eine verwirrende Situation, in der Forscher entscheiden müssen, ob sie das Spiel spielen, das die Welt spielt, oder das Spiel, das Ungarn verlangt.
Das Kernproblem: Journale vs. Konferenzen
Lange Zeit war die Wissenschaft wie eine Bibliothek. Man schrieb ein langes, detailliertes Buch (einen Zeitschriftenartikel), wartete ein Jahr auf die Bearbeitung und stellte es dann ins Regal. Dies war der Goldstandard.
Aber die Informatik ist anders. Sie ist eher wie ein Live-Musikfestival.
- Geschwindigkeit: Die Musik (neue Ideen) ändert sich so schnell, dass das Warten ein Jahr auf die Veröffentlichung eines „Buches“ bedeutet, dass das Lied bereits veraltet ist.
- Der Veranstaltungsort: Die wichtigsten Entdeckungen finden bei großen Festivals (Top-Konferenzen wie NeurIPS oder ICSE) statt, nicht in der ruhigen Bibliothek.
- Das Ranking: Es gibt einen globalen „Festival-Leitfaden“ namens CORE. Dieser rankt diese Festivals von A* (den größten, exklusivsten Festivals) bis hinunter zu C (kleineren lokalen Jams).
- A* ist wie ein Auftritt im Wembley-Stadion.
- A ist wie ein Auftritt in einer großen Arena.
- B und C sind kleinere Veranstaltungsorte.
Das ungarische Problem: Das ungarische Bewertungssystem ist immer noch besessen von den „Bibliotheksbüchern“ (Journalen). Es behandelt ein Paper in einer erstklassigen Konferenz (A*) so, als wäre es eine untergeordnete Publikation, oder ignoriert es gänzlich. Dies zwingt ungarische Forscher dazu, „Bücher“ zu schreiben, nur um die lokalen Regeln zu erfüllen, selbst wenn die Welt der „Live-Musik“ lauscht.
Was die Daten zeigen
Die Autoren untersuchten die Daten und fanden einige interessante Muster:
Die Aufteilung „Theoretisch“ vs. „Anwendungsorientiert“:
- Die theoretische Informatik (die Mathematik und Logik hinter dem Code) spielt schon seit den 1970er Jahren in diesen großen Festivals. Ungarische Forscher in diesem Bereich haben sich schnell angepasst.
- Die angewandte Informatik (das Bauen tatsächlicher Software und KI) begann erst später (1990er Jahre) in diesen großen Festivals zu spielen. Ungarische Forscher in diesem Bereich kämpfen noch immer damit, sich an die neuen Regeln zu gewöhnen.
Der „Brain Drain“-Effekt (Abwanderung von Talenten):
- Die Studie ergab, dass die erfolgreichsten ungarischen Forscher (diejenigen, die in den A*-Festivals spielen) zunehmend aus Ungarn abwandern.
- Die Analogie: Stellen Sie sich eine lokale Fußballmannschaft vor, die ihren Starspielern verbietet, an der Weltmeisterschaft teilzunehmen, weil „wir nur lokale Ligaspiele zählen“. Irgendwann verlassen die Starspieler das Team, um zu Mannschaften in anderen Ländern zu wechseln, die Weltmeisterschaften durchaus zählen.
- Die Daten zeigen, dass viele der besten ungarischen Forscher nun im Ausland oder in der internationalen Industrie arbeiten, während diejenigen, die bleiben, oft Zeit damit verbringen müssen, zwischen dem Schreiben von „Büchern“ für Ungarn und dem „Spielen von Festivals“ für die Welt aufzuteilen.
Der „Doppelbuchhalter“-Albtraum:
- Derzeit kann es vorkommen, dass ein Forscher einen Durchbruch auf einer Top-Konferenz (A*) veröffentlicht. Um in Ungarn eine Beförderung oder Förderung zu erhalten, muss er diese Arbeit oft nehmen, umschreiben und erneut in einem Journal veröffentlichen.
- Die Metapher: Es ist, als würde ein Koch bei einem Kochwettbewerb eine Goldmedaille gewinnen, aber die lokale Regierung sagt: „Das zählt nicht. Du musst ein 50-seitiges Rezeptbuch über das Gericht schreiben, um ein Gehalt zu bekommen.“ Das ist verschwendete Zeit und Energie.
Warum das für alle wichtig ist
Die Autoren argumentieren, dass dies nicht nur ein Problem für Informatiker ist; es betrifft das ganze Land.
- Die „Betriebssystem“-Analogie: Die Informatik ist das Betriebssystem der modernen Forschung. Egal, ob man Biologie, Medizin oder Ingenieurwesen studiert, man braucht Experten für Computer, um die Simulationen durchzuführen und die Daten zu analysieren.
- Wenn Ungarns beste Informatiker gezwungen werden, aufzuhören, das „globale Spiel“ zu spielen, um lokale Regeln zu bedienen, verliert das ganze Land die neuesten Werkzeuge und Techniken. Es ist wie ein Land, das versucht, eine moderne Stadt zu bauen, aber die neueste Bautechnologie ablehnt, weil „wir nur Ziegel aus dem Jahr 1950 verwenden dürfen“.
Der Lösungsvorschlag
Die Autoren schlagen eine einfache Regeländerung vor, um die Anzeigetafel zu korrigieren:
- Behandeln Sie ein A-Konferenz-Paper wie ein D1-Journal-Paper.* (Die höchste Stufe der Journale).
- Behandeln Sie ein A-Konferenz-Paper wie ein Q1-Journal-Paper. (Die obersten 25 % der Journale).
Sie argumentieren, dass das CORE-Ranking bereits weltweit vertrauenswürdig ist (wird auch von China, Australien und anderen genutzt) und zuverlässig ist. Ungarn muss keine eigene Liste erfinden; es muss nur die bestehende Liste anerkennen.
Das Fazit
Das Papier kommt zu dem Schluss, dass Ungarn bereits kleine Schritte in die richtige Richtung macht, aber es weiter gehen muss. Indem es seine Regeln an den Rest der Welt anpasst, kann Ungarn verhindern, dass Forscher gezwungen werden, zwei verschiedene Spiele gleichzeitig zu spielen. Dies wird helfen, junge Talente im Land zu halten, sicherzustellen, dass die ungarische Wissenschaft wettbewerbsfähig bleibt, und den „Aufwand“, Arbeiten nur umzuschreiben, um in eine lokale Form zu passen, zu stoppen.
Kurz gesagt: Hören Sie auf, einen Fisch nach seiner Fähigkeit zu beurteilen, auf einen Baum zu klettern. Wenn die Informatik in Konferenzen lebt, lassen Sie uns anfangen, Konferenzen zu zählen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.