Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
Cette étude soutient que le système d'évaluation de la recherche centré sur les revues en Hongrie est en décalage avec les normes internationales de l'informatique en sous-évaluant les publications de haut niveau dans les conférences, ce qui entraîne des distorsions d'incitation et la migration des chercheurs performants à l'étranger, et recommande d'assimiler les articles de conférences classés CORE A* et A aux revues D1 et Q1 dans les évaluations nationales.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
La vue d'ensemble : Le « mauvais tableau des scores »
Imaginez une ligue de sport où les règles stipulent que seuls les buts marqués lors des matchs lents de 90 minutes comptent pour les statistiques de carrière d'un joueur. Mais dans ce sport spécifique (l'informatique), les matchs les plus passionnants, les plus intenses et les plus importants se jouent en réalité lors de tournois rapides de 3 jours.
En Hongrie, les « arbitres » (les évaluateurs universitaires et les organismes de financement) continuent de compter les points en se basant sur les anciens matchs de championnat (les revues académiques). Cependant, les meilleurs informaticiens du monde jouent dans les tournois (conférences). Comme le tableau des scores hongrois ne compte pas les victoires en tournoi, cela crée une situation confuse où les chercheurs doivent choisir entre jouer le jeu pratiqué par le monde entier ou jouer le jeu exigé par la Hongrie.
Le problème central : Revues vs Conférences
Pendant longtemps, la science ressemblait à une bibliothèque. Vous écriviez un livre long et détaillé (un article de revue), attendiez un an pour qu'il soit édité, puis le rangiez sur une étagère. C'était la référence absolue.
Mais l'informatique est différente. C'est plutôt comme un festival de musique live.
- Vitesse : La musique (les nouvelles idées) change si vite qu'attendre un an pour publier un « livre » signifie que la chanson est déjà démodée.
- Le lieu : Les découvertes les plus importantes ont lieu dans de grands festivals (les conférences de haut niveau comme NeurIPS ou ICSE), et non dans le calme de la bibliothèque.
- Le classement : Il existe un « Guide des Festivals » mondial appelé CORE. Il classe ces festivals de A* (les plus grands, les plus exclusifs) jusqu'à C (petits jams locaux).
- A*, c'est comme jouer à Wembley Stadium.
- A, c'est comme jouer dans une grande arène.
- B et C sont des lieux plus petits.
Le problème hongrois : Le système d'évaluation de la Hongrie est toujours obsédé par les « Livres de Bibliothèque » (les revues). Il traite un article de conférence de haut niveau (A*) comme s'il s'agissait d'une publication mineure, ou l'ignore totalement. Cela force les chercheurs hongrois à écrire des « livres » juste pour satisfaire les règles locales, même si le monde entier écoute la « musique live ».
Ce que les données révèlent
Les auteurs ont examiné les données et ont trouvé des schémas intéressants :
La séparation « Théorique » vs « Appliquée » :
- L'informatique théorique (les mathématiques et la logique derrière le code) joue dans ces grands festivals depuis les années 1970. Les chercheurs hongrois de ce domaine se sont adaptés rapidement.
- L'informatique appliquée (la construction de logiciels et d'IA réels) a commencé à jouer dans ces festivals plus tard (années 1990). Les chercheurs hongrois de ce domaine ont encore du mal à s'habituer aux nouvelles règles.
L'effet « Fuite des cerveaux » :
- L'étude a montré que les chercheurs hongrois les plus performants (ceux qui jouent dans les festivals A*) quittent de plus en plus la Hongrie.
- L'analogie : Imaginez une équipe de football locale qui refuse de laisser ses joueurs vedettes participer à la Coupe du Monde sous prétexte que « nous ne comptons que les matchs de championnat local ». Finalement, les joueurs vedettes partent rejoindre des équipes dans d'autres pays qui, eux, comptent les matchs de la Coupe du Monde.
- Les données montrent que de nombreux chercheurs hongrois de haut niveau travaillent désormais à l'étranger ou dans l'industrie internationale, tandis que ceux qui restent doivent souvent diviser leur temps entre l'écriture de « livres » pour la Hongrie et la « pratique des festivals » pour le monde.
Le cauchemar de la « Double Comptabilité » :
- Actuellement, un chercheur peut publier une avancée majeure dans une conférence de haut niveau (A*). Pour obtenir une promotion ou un financement en Hongrie, il doit souvent reprendre ce même travail, le réécrire et le publier à nouveau dans une revue.
- La métaphore : C'est comme un chef qui remporte une médaille d'or lors d'un concours de cuisine, mais dont le gouvernement local dit : « Cela ne compte pas. Vous devez écrire un livre de recettes de 50 pages sur ce plat pour obtenir un salaire. » C'est une perte de temps et d'énergie.
Pourquoi cela importe pour tout le monde
Les auteurs soutiennent que ce n'est pas seulement un problème pour les informaticiens ; cela affecte tout le pays.
- L'analogie du « Système d'exploitation » : L'informatique est le système d'exploitation de la recherche moderne. Que vous étudiiez la biologie, la médecine ou l'ingénierie, vous avez besoin d'experts en informatique pour faire tourner les simulations et analyser les données.
- Si les meilleurs informaticiens de Hongrie sont contraints d'arrêter de jouer le « jeu mondial » pour satisfaire des règles locales, tout le pays perd au change. C'est comme un pays qui essaierait de construire une ville moderne mais refuserait d'utiliser les dernières technologies de construction parce que « nous n'utilisons que des briques de 1950 ».
La solution proposée
Les auteurs suggèrent un changement de règle simple pour réparer le tableau des scores :
- Traiter un article de conférence A comme un article de revue D1.* (Le plus haut niveau de revues).
- Traiter un article de conférence A comme un article de revue Q1. (Le top 25 % des revues).
Ils soutiennent que le classement CORE est déjà respecté mondialement (utilisé par la Chine, l'Australie et d'autres) et qu'il est fiable. La Hongrie n'a pas besoin d'inventer sa propre liste ; elle doit simplement reconnaître l'existante.
L'essentiel
L'article conclut que la Hongrie fait de petits pas dans la bonne direction, mais qu'elle doit aller plus loin. En alignant ses règles sur celles du reste du monde, la Hongrie peut arrêter de forcer les chercheurs à jouer deux jeux différents. Cela aidera à retenir les jeunes talents dans le pays, garantira que la science hongroise reste compétitive et stoppera le « gaspillage » lié à la réécriture de papiers pour qu'ils rentrent dans un moule local.
En bref : Arrêtez de juger un poisson sur sa capacité à grimper à un arbre. Si l'informatique vit dans les conférences, commençons à compter les conférences.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.