Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science

全体像：「間違ったスコアボード」

あるスポーツリーグを想像してみてください。そのルールの規定では、選手のキャリア統計には「90分間のスローペースなリーグ戦」で決めたゴールしかカウントされません。しかし、この特定のスポーツ（コンピュータサイエンス）においては、最もエキサイティングで、ハイリスク・ハイリターンな重要な試合は、実は「3日間の高速トーナメント」で行われるのです。

ハンガリーでは、「レフェリー」（大学の評価機関や資金提供団体）が、古いリーグ戦（学術ジャーナル）に基づいてスコアを記録し続けてきました。しかし、世界最高のコンピュータ科学者たちは、トーナメント（カンファレンス）でプレーしています。ハンガリーのスコアボードはトーナメントでの勝利をカウントしないため、研究者が「世界がプレイしているゲーム」を選ぶか、「ハンガリーが要求するゲーム」をプレイするかという、混乱した状況を生み出しています。

コアとなる問題：ジャーナル vs カンファレンス

長い間、科学は図書館のようなものでした。あなたは詳細な長い本（ジャーナル論文）を書き、編集されるのを1年待ち、それを棚に置くのです。これがゴールドスタンダード（標準）でした。

しかし、コンピュータサイエンスは異なります。それはむしろ、ライブ・ミュージック・フェスティバルに似ています。

• スピード： 新しいアイデア（音楽）の変化が非常に速いため、本（ジャーナルの論文）を出版するために1年も待っていては、その曲はすでに古いニュースになってしまいます。
• 会場： 最も重要な発見は、静かな図書館ではなく、大きなフェスティバル（NeurIPSやICSEといったトップクラスのカンファレンス）で起こります。
• ランキング： 世界にはCOREと呼ばれる「フェスティバル・ガイド」が存在します。これは、これらのフェスティバルをA（最も大きく独占的なフェスティバル）から*C（小規模なローカル・ジャム）までランク付けしています。
  • A* は、ウェンブリー・スタジアムで演奏することに相当します。
  • A は、主要なアリーナでの演奏に相当します。
  • B と C は、より小さな会場です。

ハンガリーの問題： ハンガリーの評価システムは、依然として「図書館の本（ジャーナル）」に執着しています。彼らは、トップティアのカンファレンス（A*）に掲載された論文を、軽微な出版物として扱ったり、あるいは完全に無視したりします。これにより、ハンガリーの研究者は、世界の音楽（ライブ・ミュージック）に耳を傾けている世界に合わせて行動するのではなく、地元のルールを満たすために「本」を書かなければならないという状況に追い込まれています。

データが示すこと

著者らはデータを調査し、いくつかの興味深いパターンを発見しました。

1. 「理論」対「応用」の分裂：

   • 理論コンピュータサイエンス（コードの背後にある数学と論理）は、1970年代からすでにこれらの大きなフェスティバルでプレーしてきました。ハンガリーの研究者も、ここには素早く適応しました。
   • 応用コンピュータサイエンス（実際のソフトウェアやAIの構築）は、これらのフェスティバルへの参加が遅れました（1990年代）。ハンガリーの研究者たちは、ここではまだ新しいルールに慣れるのに苦労しています。

2. 「頭脳流出」の効果：

   • 研究の結果、最も成功しているハンガリー人研究者（A* フェスティバルでプレーしている人々）は、ますますハンガリーを離れていることが分かりました。
   • 比喩： 地元のサッカーチームが、「我々はローカルリーグの試合しかカウントしない」という理由で、スター選手がワールドカップに出場することを拒んでいる状況を想像してください。結局、スター選手たちは、ワールドカップの試合をカウントしてくれる他の国のチームへと去っていきます。
   • データによれば、多くのトップレベルのハンガリー人研究者が、現在は海外や国際的な産業界で働いており、国内に留まっている人々は、ハンガリーのための「本」を書くことと、世界のための「フェスティバル」でプレーすることの間で、時間を分割しなければならない状況にあります。

3. 「二重帳簿」の悪夢：

   • 現在、研究者はトップクラスのカンファレンス（A*）で画期的な成果を発表することがあります。しかし、昇進や資金を得るために、ハンガリーではその同じ研究内容を書き直し、再びジャーナルに発表しなければならないことがよくあります。
   • メタファー： これは、シェフが料理コンテストで金メダルを獲得したのに、地方政府から「それはカウントされません。給料をもらうためには、その料理についての50ページのレシピ本を書かなければなりません」と言われるようなものです。これは時間の無駄であり、エネルギーの浪費です。

なぜこれが全員にとって重要なのか

著者らは、これは単なるコンピュータサイエンスの問題ではなく、国全体に関わる問題であると主張しています。

• 「オペレーティング・システム」の比喩： コンピュータサイエンスは、現代の研究におけるオペレーティング・システムです。生物学、医学、または工学を研究している場合でも、シミュレーションを実行したりデータを分析したりするために、コンピュータの専門家を必要とします。
• もしハンガリーの最高のコンピュータ科学者が、地元のルールを満たすために「世界のゲーム」をプレイすることを止めさせられたら、国全体が最新のツールや技術を失うことになります。それは、現代的な都市を建設しようとしているのに、「1950年代のレンガしか使わない」という理由で最新の建設技術の使用を拒んでいるようなものです。

提案される解決策

著者らは、スコアボードを修正するためのシンプルなルール変更を提案しています。

• A カンファレンスの論文を、D1 ジャーナル論文（最高ティアのジャーナル）と同様に扱うこと。*
• A カンファレンスの論文を、Q1 ジャーナル論文（上位25%のジャーナル）と同様に扱うこと。

彼らは、CORE ランキングはすでに世界的に信頼されており（中国やオーストラリアなどでも使用されている）、信頼できるものであると主張しています。ハンガリーは独自のリストを作る必要はなく、既存のものを認めるだけでよいのです。

結論

この論文は、ハンガリーは正しい方向へ小さな一歩を踏み出しているものの、さらなる進展が必要であると結論付けています。ルールを世界と一致させることで、ハンガリーは研究者に「二つの異なるゲーム」を強いることを止めることができます。これにより、若い才能を国内に留め、ハンガリーの科学の競争力を維持し、地元の型にはめるための「書き直し」という「無駄」を排除することができます。

要するに： 魚を木登りの能力で判断するのはやめましょう。もしコンピュータサイエンスがカンファレンスで生きているのであれば、カンファレンスをカウントするようにしましょう。