Rejoinder: The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review

최상위권 컴퓨터 과학 연구 (특히 인공지능) 의 세계를 거대하고 혼란스러운 음악 페스티벌로 상상해 보십시오. 매년 수천 개의 밴드 (연구자) 가 메인 무대 (논문 게재) 에 서고 싶어 합니다. 하지만 그들을 심사할 심사위원 (리뷰어) 은 고작 수백 명뿐이며, 페스티벌이 너무 빠르게 성장하여 심사위원들은 지원서 폭포에 잠겨버린 상황입니다.

이 논문의 저자들, 즉 통계학자와 컴퓨터 과학자 팀은 이 페스티벌을 단순한 인기 투표처럼 취급하는 것을 멈추고, 통계적 퍼즐처럼 취급해야 한다고 주장합니다. 다음은 일상적인 비유를 활용한 그들의 아이디어에 대한 해설입니다:

1. 문제: 티켓은 넘쳐나는데 심사위원은 부족하다

페스티벌이 폭발적으로 성장하고 있습니다. 2026 년에는 26,000 곡 이상의 노래를 심사해야 했습니다. 심사위원들은 지쳐있고 모든 노래를 완벽하게 들을 수 없습니다. 때로는 심사위원이 컨디션이 나쁜 날이기도 하고, 때로는 특정 장르를 '이해'하지 못하기도 하며, 때로는 음악이 너무 훌륭하거나 너무 형편없어서 공정하게 심사하기 어려울 수도 있습니다.

저자들은 이렇게 말합니다: "우리는 단순히 군중이 결정하게 할 수 없습니다 (소셜 미디어의 '좋아요'를 세는 것처럼). 군중은 전문가가 충분하지 않기 때문입니다. 우리는 어떤 노래가 실제로 가장 좋은지 파악할 더 나은 방법이 필요합니다."

2. 해결책: '저자의 플레이리스트' (등위 메커니즘)

저자들은 **등위 메커니즘 (Isotonic Mechanism)**이라는 교묘한 트릭을 제안합니다.

비유: 당신이 요리 대회 심사위원이라고 상상해 보십시오. 100 가지 요리를 평가해야 합니다. 당신은 매운 음식을 조금 더 혹독하게 평가하거나 디저트를 조금 더 관대하게 평가할 수 있습니다. 당신의 점수는 '노이즈'가 섞여 있습니다 (약간 엉망입니다).
이제 요리를 만든 셰프 (저자) 가 바로 곁에 서 있다고 상상해 보십시오. 그들은 누구보다 자신의 음식을 더 잘 압니다. 자신의 10 가지 요리가 서로 어떻게 비교되는지 정확히 알고 있습니다.

• 옛 방식: 셰프는 그냥 말합니다, "내 요리는 10 점 만점에 9 점이야." (이는 거짓말하기 쉽다; 모두 10 점을 원한다).
• 새 방식: 셰프는 자신의 10 가지 요리를 최상위부터 최하위까지 순위를 매기도록 요청받습니다. "A 요리는 B 요리보다 좋고, B 요리는 C 요리보다 좋아."

왜 이것이 작동하는가: 자신의 작업을 순위로 매길 때 잡히지 않고 거짓말을 하는 것은 매우 어렵습니다. 만약 당신이 'C 요리'가 최고라고 말하지만, 실제로는 'A 요리'가 끔찍하다면, 수학이 그 거짓말을 찾아낼 수 있습니다. 저자들에게 자신의 제출물을 순위 매기도록 요청함으로써, 시스템은 심사위원들의 엉망인 점수를 '정리'할 수 있습니다. 이는 심사위원의 나쁜 청력을 셰프 자신의 지식을 이용해 고치는 것과 같습니다.

3. '불공정함'에 대한 우려 해소

일부 사람들은 걱정했습니다: "50 가지 요리를 가진 유명한 셰프가 2 가지 요리만 가진 신인 셰프보다 엄청난 이점을 얻지는 않을까요? 순위 매기기 시스템은 더 많은 항목을 가진 사람에게 더 잘 작동합니다."

저자들의 해결책: 그들은 한 사람이 모든 것을 순위 매기게 하면 불공평하다는 것을 깨달았습니다. 그래서 그들은 '그룹화' 전략을 제안합니다.

• 비유: 유명한 셰프에게 50 가지 요리를 한 줄로 나열해 순위를 매기게 하는 대신, 그들을 작은 '테이스팅 메뉴' (예: '수프 메뉴', '디저트 메뉴') 로 그룹화하도록 요청하십시오. 수프끼리 서로 순위를 매기고, 디저트끼리 서로 순위를 매기십시오.
• 결과: 이는 경쟁의 장을 평평하게 만듭니다. 수학은 이러한 그룹화에도 불구하고 시스템이 점수를 훨씬 더 정확하게 만든다는 것을 보여주지만, 유명한 셰프들이 단순히 제출 건수가 많다는 이유만으로 결과를 지배하는 것을 막아줍니다.

4. '전략' 문제: 셰프들이 속일 수 있는가?

저자들은 순위가 실제로 누가 메인 무대에 서는지 결정한다면 셰프들이 시스템을 조작하려 할 수 있음을 인정합니다.

• 위험: 셰프는 거절당하지 않기 위해 끔찍한 요리를 '훌륭하다'고 순위 매기거나, 내년에 '비축'하기 위해 최고의 요리를 낮게 순위 매길 수 있습니다.
• 현실 점검: 저자들은 말합니다, "우리는 모든 사기를 막을 수는 없지만, 사기를 더 어렵게 만드는 규칙을 설계할 수는 있습니다." 그들은 즉시 수용/거절하는 대신 순위 매기기를 사용하여 어떤 논문이 재검토가 필요한지 표시하는 것부터 시작하여, 고위험 게임으로 만들기 전에 사람들의 행동을 배울 수 있도록 할 것을 제안합니다.

5. 미래: 인간 + AI, 인간 대 AI 가 아니다

이 논문은 큰 그림 관점으로 마무리됩니다. 인공지능은 연구가 작성되고 검토되는 방식을 변화시키고 있습니다. AI 는 코드를 작성하고, 수학을 검증하며, 심지어 검토 초안까지 작성할 수 있습니다.

저자들의 입장:

• 인간을 대체하지 마십시오. AI 는 초고성능 계산기 같은 도구입니다. 데이터를 정리하고 패턴을 찾을 수는 있지만, 최종 심판이 되어서는 안 됩니다.
• '루프 내 인간 (Human-in-the-Loop)': AI 를 조명을 세우고 악기를 정리하는 무대 스태프로 생각하십시오. 인간 심사위원이 음악이 실제로 좋은지 결정하는 사람입니다.
• 왜? 과학은 데이터만의 문제가 아니기 때문입니다. 그것은 창의성, 윤리, 그리고 '취향'에 관한 문제입니다. AI 는 논문의 미묘한 영혼을 놓치거나 환각 (사실을 만들어냄) 을 일으킬 수 있습니다. 인간이 최종 결정권을 쥐고 있어야 합니다.

요약

이 논문은 AI 연구 심사의 과부하 시스템을 해결하기 위해 이를 수학 문제로 취급해야 한다고 주장합니다. 저자들에게 자신의 작업을 정직하게 순위 매기도록 요청함으로써, 우리는 심사위원들의 점수에서 '노이즈'를 제거하고 더 정확하게 최고의 논문을 찾을 수 있습니다. 그러나 시스템이 조작되지 않도록 주의해야 하며, AI 가 혼란을 정리하는 것을 돕는 동안 인간이 최종 결정권을 쥐고 있도록 보장해야 합니다.