Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science
本研究认为,匈牙利以期刊为中心的科研评价体系与国际计算机科学规范不符,导致其对顶级会议论文的估值过低,进而引发激励扭曲并导致优秀的科研人员流向海外,因此建议在国家级评估中将 CORE A* 和 A 类会议论文与 D1 及 Q1 类期刊等同对待。
原始论文采用 CC BY 4.0 许可(http://creativecommons.org/licenses/by/4.0/)。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性,请参阅原始论文。 阅读完整免责声明
大局观:“错误的计分板”
想象一下,在一场体育联赛中,规则规定只有在节奏缓慢的 90 分钟联赛中进球,才会被计入球员的职业生涯统计数据。但在这一特定运动(计算机科学)中,最令人兴奋、高风险且最重要的比赛实际上是在快节奏的 3 天锦标赛中进行的。
在匈牙利,“裁判”(大学评估机构和资助机构)一直在根据旧的联赛比赛(学术期刊)来计分。然而,世界上最优秀的计算机科学家正在锦标赛(会议)中竞技。由于匈牙利的计分板不计算锦标赛的胜利,这造成了一个混乱的局面:研究人员必须在“玩世界正在玩的比赛”和“玩匈牙利要求的比赛”之间做出选择。
核心问题:期刊 vs. 会议
长期以来,科学就像是一个图书馆。你写一本详尽的长篇著作(期刊论文),等待一年进行编辑,然后将其放在书架上。这曾是金标准。
但计算机科学不同。它更像是一个现场音乐节。
- 速度: 音乐(新想法)变化得太快了,如果等待一年才出版一本“书”,那么这首歌已经过时了。
- 场地: 最重要的发现发生在大型音乐节(顶级会议,如 NeurIPS 或 ICSE)上,而不是在安静的图书馆里。
- 排名: 全球有一个名为 CORE 的“音乐节指南”。它将这些音乐节分为 A*(最大、最排外的音乐节)一直到 C(较小的本地即兴演出)。
- A* 就像是在温布利球场表演。
- A 就像是在大型竞技场表演。
- B 和 C 是较小的场地。
匈牙利的问题: 匈牙利的评估系统仍然痴迷于“图书馆书籍”(期刊)。它将一篇顶级会议(A*)的论文视为次要出版物,甚至完全忽略。这迫使匈牙利的研究人员不得不为了满足当地规则而编写“书”,即使全世界都在聆听“现场音乐”。
数据显示了什么
作者研究了数据并发现了有趣的模式:
“理论型”与“应用型”的分裂:
- 理论计算机科学(代码背后的数学和逻辑)自 2 世纪 70 年代以来就一直在这些大型音乐节中竞技。匈牙利的研究人员在那里适应得很快。
- 应用计算机科学(构建实际软件和人工智能)较晚(90 年代)才开始参与这些音乐节。这里的匈牙利研究人员仍在努力适应新规则。
“人才流失”效应:
- 研究发现,最成功的匈牙利研究人员(那些在 A* 音乐节中竞技的人)正越来越多地离开匈牙利。
- 类比: 想象一支当地足球队,因为“我们只计算当地联赛比赛”而拒绝让其明星球员参加世界杯。最终,这些明星球员会离开,加入那些承认世界杯比赛的国外球队。
- 数据显示,许多顶尖的匈牙利研究人员现在在国外或国际工业界工作,而留在国内的人则往往必须在为匈牙利“写书”和为世界“玩音乐节”之间分配时间。
“双重记账”的噩梦:
- 目前,研究人员可能会在顶级会议(A*)上发表一项突破性成果。但为了在匈牙利获得晋升或资助,他们通常必须把同样的工作拿出来,重新改写,然后再次发表在期刊上。
- 隐喻: 这就像一位厨师在烹饪比赛中获得了金牌,但当地政府说:“那不算数。你必须写一本关于这道菜的 50 页食谱,才能拿到薪水。”这是对时间和精力的浪费。
为什么这与每个人都有关
作者认为,这不仅仅是计算机科学的问题;它影响着整个国家。
- “操作系统”类比: 计算机科学是现代研究的操作系统。无论你是在研究生物学、医学还是工程学,你都需要计算机专家来运行模拟和分析数据。
- 如果匈牙利最好的计算机科学家被迫停止“玩全球游戏”以满足当地规则,整个国家都会失去最新的工具和技术。这就像一个国家试图建造现代化城市,却因为“我们只使用 1950 年代的砖块”而拒绝使用最新的建筑技术。
提出的解决方案
作者建议通过一个简单的规则改变来修复计分板:
- 将 A 会议论文视为 D1 级期刊论文(最高等级期刊)。*
- 将 A 会议论文视为 Q1 级期刊论文(前 25% 的期刊)。
他们认为,CORE 排名已被全球信任(中国、澳大利亚等国都在使用)且是可靠的。匈牙利不需要发明自己的名单,只需要承认现有的名单即可。
总结
论文结论指出,匈牙利正在朝着正确的方向迈出小小的一步,但需要走得更远。通过使其规则与世界其他地区保持一致,匈牙利可以停止强迫研究人员玩两场不同的游戏。这将有助于留住年轻人才,确保匈牙利科学保持竞争力,并停止为了适应当地模式而“重复编写论文”的浪费。
简而言之:不要用爬树的能力来评判一条鱼。如果计算机科学的生命在于会议,那就开始统计会议吧。
您所在领域的论文太多了?
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要,使用您的语言。