Beyond Journals: Rethinking Research Evaluation in Hungarian Computer Science

큰 그림: "잘못된 점수판"

스포츠 리그를 상상해 보세요. 규칙에 따르면 오직 90분간 진행되는 느린 리그 경기에서 넣은 골만이 선수의 통산 기록으로 인정됩니다. 하지만 이 특정 종목(컴퓨터 과학)에서는 가장 흥미진진하고 승부의 가치가 높은 중요한 경기들이 사실 3일간 빠르게 진행되는 토너먼트에서 열립니다.

헝가리에서는 "심판들"(대학 평가자 및 자금 지원 기관)이 여전히 옛날 방식인 리그 경기(학술 저널)를 기준으로 점수를 매겨왔습니다. 하지만 세계 최고의 컴퓨터 과학자들은 토너먼트(컨퍼런스)에서 경기를 치르고 있습니다. 헝가리의 점수판이 토너먼트 승리를 계산에 넣지 않기 때문에, 연구자들은 세계가 하는 게임을 할 것인지 아니면 헝가리가 요구하는 게임을 할 것인지 사이에서 혼란스러운 선택을 해야 하는 상황이 발생하고 있습니다.

핵심 문제: 저널 vs. 컨퍼런스

오랫동안 과학은 도서관과 같았습니다. 당신은 길고 상세한 책(저널 논문)을 쓰고, 편집되는 데 1년을 기다린 뒤, 그것을 서가에 꽂았습니다. 이것이 황금 표준이었습니다.

하지만 컴퓨터 과학은 다릅니다. 이것은 마치 라이브 음악 페스티벌과 같습니다.

• 속도: 음악(새로운 아이디어)이 너무 빠르게 변하기 때문에, "책"을 출판하기 위해 1년을 기다리는 것은 이미 그 노래가 구식이 된 후에나 가능한 일입니다.
• 장소: 가장 중요한 발견은 조용한 도서관이 아니라 거대한 페스티벌(NeurIPS나 ICSE 같은 최정상급 컨퍼런스)에서 일어납니다.
• 순위: 이 페스티벌들을 분류하는 CORE라는 글로벌 "페스티벌 가이드"가 있습니다. 이 가이드는 페스티벌을 A*(가장 크고 독점적인 페스티벌)부터 C(작은 지역 공연)까지 등급을 매깁니다.
  • A*는 웸블리 스타디움에서 공연하는 것과 같습니다.
  • A는 주요 아레나에서 공연하는 것과 같습니다.
  • B와 C는 더 작은 공연장입니다.

헝가리의 문제: 헝가리의 평가 시스템은 여전히 "도서관 책"(저널)에 집착하고 있습니다. 이 시스템은 최정상급 컨퍼런스(A*)에 발표된 논문을 사소한 출판물로 취급하거나 아예 무시합니다. 이로 인해 헝가리 연구자들은 세계가 "라이브 음악"에 귀를 기울이고 있음에도 불구하고, 현지 규칙을 만족시키기 위해 억지로 "책"을 써야 하는 상황에 처하게 됩니다.

데이터가 보여주는 것

저자들은 데이터를 검토하여 몇 가지 흥란한 패턴을 발견했습니다:

1. "이론적" vs. "응용" 분리:

   • 이론적 컴퓨터 과학(코드 뒤의 수학과 논리)은 1970년대부터 이러한 큰 페스티벌에서 경기를 해왔습니다. 헝가리의 연구자들도 빠르게 적응했습니다.
   • 응용 컴퓨터 과학(실제 소프트웨어와 AI 구축)은 1990년대에 들어서야 이러한 페스티벌에서 경기를 하기 시작했습니다. 헝가리의 연구자들은 여전히 새로운 규칙에 익숙해지는 데 어려움을 겪고 있습니다.

2. "두뇌 유출(Brain Drain)" 효과:

   • 연구에 따르면 가장 성공적인 헝가리 연구자들(A* 페스티벌에서 경기하는 사람들)은 점점 더 많이 헝가리를 떠나고 있습니다.
   • 비유: 지역 축구팀이 "우리는 로컬 리그 경기만 계산한다"며 스타 선수들이 월드컵에 나가는 것을 막는 상황을 상상해 보세요. 결국, 스타 선수들은 월드컵 경기를 인정해 주는 다른 나라의 팀으로 떠나게 됩니다.
   • 데이터는 많은 상위 헝가리 연구자들이 현재 해외나 국제 산업계에서 활동하고 있으며, 헝가리에 남은 이들은 헝가리를 위한 "책" 쓰기와 세계를 위한 "페스티벌 경기" 사이에서 시간을 나누어 써야 한다는 것을 보여줍니다.

3. "이중 장부"의 악몽:

   • 현재 연구자들은 최정상급 컨퍼런스(A*)에서 획기적인 성과를 발표할 수 있습니다. 하지만 헝가리에서 승진하거나 자금을 지원받으려면, 그 똑같은 연구 내용을 다시 써서 저널에 발표해야 하는 경우가 많습니다.
   • 메타포: 이는 요리 대회에서 금메달을 딴 셰프에게 지역 정부가 "그건 인정 안 됩니다. 급여를 받으려면 그 요리에 대한 50페이지짜리 레시피 북을 써야 합니다"라고 말하는 것과 같습니다. 이는 시간과 에너지의 낭비입니다.

이것이 모두에게 중요한 이유

저자들은 이것이 단지 컴퓨터 과학자들만의 문제가 아니라 국가 전체의 문제라고 주장합니다.

• "운영 체제" 비유: 컴퓨터 과학은 현대 연구의 운영 체제입니다. 생물학, 의학, 또는 공학을 공부하든 상관없이, 시뮬레이션을 실행하고 데이터를 분석하기 위해서는 컴퓨터 전문가가 필요합니다.
• 만약 헝가리의 최고의 컴퓨터 과학자들이 현지 규칙을 맞추기 위해 "글로벌 게임"을 중단하도록 강요받는다면, 나라 전체가 최신 도구와 기술을 놓치게 됩니다. 이는 마치 현대적인 도시를 건설하려고 하면서도 "우리는 1950년대 벽돌만 사용한다"며 최신 건설 기술 사용을 거부하는 것과 같습니다.

제안된 해결책

저자들은 점수판을 고치기 위한 간단한 규칙 변경을 제안합니다:

• A 컨퍼런스 논문을 D1 저널 논문처럼 취급할 것.* (최고 등급의 저널)
• A 컨퍼런스 논문을 Q1 저널 논문처럼 취급할 것. (상위 25%의 저널)

그들은 CORE 순위가 이미 전 세계적으로 신뢰받고 있으며(중국, 호주 등에서도 사용됨), 믿을 만하다고 주장합니다. 헝가리는 자신들만의 리스트를 만들 필요가 없습니다. 그저 기존의 것을 인정하기만 하면 됩니다.

결론

이 논문은 헝가리가 올바른 방향으로 작은 발걸음을 내딛고 있지만, 더 나아가야 한다고 결론짓습니다. 헝가리가 규칙을 전 세계와 일치시킨다면, 연구자들이 두 가지 서로 다른 게임을 동시에 하도록 강요하는 일을 멈출 수 있습니다. 이는 젊은 인재들이 국내에 머물게 하고, 헝가리 과학의 경쟁력을 유지하며, 현지 틀에 맞추기 위해 논문을 다시 쓰는 "낭비"를 막아줄 것입니다.

요약하자면: 물고기를 나무 타는 능력으로 심판하지 마세요. 컴퓨터 과학이 컨퍼런스에서 살아간다면, 컨퍼런스를 점수에 포함시켜야 합니다.