Position: Want Better ML Reviews? Stop Asking Nicely and Start Incentivizing with a Credit System

컴퓨터가 데이터로부터 학습하도록 가르치는 데 전념하는 분야인 머신러닝의 방대하고 빠르게 확장되는 세계에서, 기술 자체가 아니라 그것을 검증하는 데 사용되는 인간의 과정에서 결정적인 병목 현상이 발생했습니다. 새로운 발견이 세상에 공유되기 전에, 그것은 전문가들이 동료의 연구를 읽고 평가하여 출판할 가치가 있는지 결정하는 시스템인 피어 리뷰(동료 심사)를 통과해야 합니다. 수십 년 동안 이 과정은 단순한 사회적 계약에 의존해 왔습니다. 즉, 자신의 연구를 출판하고 싶다면 타인의 연구를 심사하는 데 동의해야 한다는 것입니다. 그러나 단 하나의 주요 학회에 제출되는 논문의 수가 수만 건으로 폭발적으로 증가함에 따라, 이 정중한 합의는 무너지기 시작했습니다. 제출물의 엄청난 양은 가용 전문가들을 압도했고, 이는 서두른 평가, 일관되지 않은 기준, 그리고 시스템이 더 이상 의도대로 작동하지 않는다고 느끼는 과학자들 사이의 커지는 좌절감으로 이어졌습니다. 커뮤니티가 직면한 핵심 질문은 이제 단순히 작업량을 어떻게 관리할 것인가가 아니라, 어떻게 단순히 체크박스를 채우는 것이 아니라 실제로 고품질의 사려 깊은 피드백을 장려하는 시스템을 만들 것인가 하는 것입니다.

라이스 대학교의 종사천(Henry Zhong) 교수가 발표한 최근의 포지션 페이퍼는 연구자들에게 더 주의를 기울이거나 더 나은 가이드라인을 따르라고 요청하는 현재의 방식이 불충분하다고 주장합니다. 저자는 머신러닝 커뮤니티가 제출량과 리뷰 품질의 위기를 해결하기 위해 정중한 요청과 낙관적인 가이드라인을 제시하는 단계에 도달했다고 제안합니다. 대신, 이 논문은 리뷰를 일종의 '통화(currency)'로 취급하는 시스템으로의 급진적인 전환을 제안합니다. 핵심 아이디어는 현재의 "명예 시스템(honor system)"을 구체적인 신용 경제로 대체하는 것입니다. 여기서 연구자들은 리뷰 과정에 기여함으로써 포인트를 획득하고, 그 포인트를 사용하여 특정 특권을 얻을 수 있습니다. 이 접근 방식은 선의에 의존하는 것에서 벗어나, 좋은 행동에는 보상이 주어지고 나쁜 행동에는 측정 가능한 비용이 따르는 구조로 이동하는 것입니다.

이 논문은 현재의 기능 장애를 일으키는 두 가지 주요 동인을 식별합니다. 첫째, 주요 학회에 제출되는 논문의 수가 너무 커져서 가용 전문가들이 각 논문에 마땅히 기울여야 할 주의를 기울이는 것이 물리적으로 불가능해졌습니다. 일부 학회는 2만 건 이상의 제출물을 받으면서, 시스템은 프로세스를 진행시키기 위해 빠르고 종종 임의적인 결정을 내릴 수밖에 없습니다. 둘째, 나쁜 행동에 대한 결과(consequences)가 부족합니다. 리뷰어는 아무런 불이익 없이 무시하거나, 노력이 부족하거나, 심지어 터무니없는 비평을 제출할 수 있는 반면, 상세하고 건설적인 피드백을 제공하기 위해 힘을 쏟는 리뷰어는 실질적인 인정을 받지 못합니다. 저자는 일부 학회가 논문 제출 수를 제한하기 위해 저자가 제출할 수 있는 논문 수를 제한하려고 시도했지만, 이러한 조치들은 근본적인 원인을 해결하지 못했기 때문에 실패하는 경우가 많다고 언급했습니다. 즉, 준비되지 않은 작업을 제출하는 것에 대한 불이익이 없거나, 훌륭하게 리뷰하는 힘든 작업에 대한 보상이 없다는 점입니다.

이러한 문제를 해결하기 위해 저자는 "오픈리뷰 포인트(OpenReview Points)"라고 불리는 시스템을 제안합니다. 이 모델에서 연구자들은 표준적인 리뷰 작성, 긴급 리뷰 지원, 또는 뛰어난 리뷰어로 인정받는 것과 같은 특정 과업을 수행함으로써 포인트를 획득하게 됩니다. 이 포인트들은 서로 다른 주요 학회 전반에서 사용할 수 있는 유연한 통화 역할을 하게 됩니다. 예를 들어, 연구자는 포인트를 사용하여 리뷰 의무 면제를 요청하거나, 논란이 되는 논문에 대해 추가적인 전문가의 의견을 요청하거나, 심지어 학회 등록비를 무료로 이용할 수도 있습니다. 이 시스템은 세밀하고 강제성을 띠도록 설계되어, 주최 측이 현재의 "전부 아니면 전무(all-or-nothing)" 방식보다 더 미묘한 방식으로 좋은 행동을 보상하고 나쁜 행동을 처벌할 수 있게 합니다.

논문은 커뮤니티가 시도했던 여러 기존 솔루션에 대해 명시적으로 반박합니다. 저자는 리뷰어들에게 더 친절해지거나 더 철저해지라고 단순히 요청하는 것은 현재의 시스템이 지원하지 않는 동기에 의존하기 때문에 효과적이지 않다고 제안합니다. 또한, 저자가 논문을 제출할 수 있는 수에 엄격한 상한선을 두는 아이디어도 비판하며, 이러한 규칙은 팀들이 실제로 제출 수를 줄이기보다는 상한선에 맞추기 위해 논문에서 이름을 삭제하는 방식으로 대응하게 만든다고 지적합니다. 나아가 저자는 리뷰어가 낮은 수준의 노력을 기울였다는 이유로 논문을 거절하는 것과 같은 가혹한 처벌은 광범위한 저급한 리뷰 행위를 다루기에 너무 투박한 도구라고 경고합니다. 대신, 제안된 신용 시스템은 낮은 품질의 리뷰에 대해 포인트를 차감하는 것과 같이 비례적인 처벌을 제공하는 중간 지점을 제시하며, 이는 연구자의 경력을 파괴하지 않으면서도 억제력을 발휘합니다.

제안의 핵심 요소는 "세밀한 절차적 안전장치(fine-grained procedural-safeguards)"라는 개념입니다. 저자는 시스템 오용을 방방지하기 위한 네 가지 구체적인 메커니즘을 설명합니다. 첫째, 시스템은 특정 행동을 특정 역할으로 제한하여, 논문의 주 저자만이 추가 도움을 요청하기 위해 포인트를 사용할 수 있도록 함으로써 책임이 적은 팀원에게 부담이 전가되는 것을 방지합니다. 둘째, 특정 행동을 수행할 수 있는 횟수에 상한선을 두어, 누군가가 대량의 저효율 리뷰를 제출함으로써 포인트를 "파밍(farming)"하는 것을 방지합니다. 셋째, 시스템은 동적 가격 책정(dynamic pricing)을 사용하여, 연구자가 특정 특권을 더 많이 사용할수록 더 많은 포인트를 소모하게 함으로써 희소한 자원이 가장 중요한 요구 사항을 위해 예약되도록 합니다. 마지막으로, 시스템은 피어 보팅(peer voting)에 의존하여 리뷰의 품질을 판단함으로써, 커뮤니티가 집단적으로 부적절한 행위자를 식별하고 처벌하는 동시에 탁월한 피드백을 제공하는 이들을 보상할 수 있도록 합니다.

저자는 이 시스템이 도전 과제와 잠재적인 단점이 없지 않음을 인정합니다. 신용 시스템이 이미 더 많은 시간과 자원을 가진 연구자들에게 유리하게 작용하여, 그들이 책임을 "구매"하여 회피할 수 있다는 우려가 있습니다. 그러나 논문은 포인트가 돈이 아닌 노동을 통해 획득되는 것이기 때문에, 이 시스템은 부가 아닌 노력을 보상한다고 주장합니다. 또한 시스템이 조작될 수 있거나 포인트가 실제 경제의 인플레이션처럼 시간이 지남에 따라 가치를 잃을 위험도 있습니다. 이를 방지하기 위해 저자는 포인트가 일정 기간 후 만료되어야 하며, 더 복잡한 기능을 도입하기 전에 기존의 혜택인 무료 학회 등록 등을 활용하여 점진적으로 도입해야 한다고 제안합니다.

논문은 결론적으로 목표가 완벽한 시스템을 만드는 것이 아니라, 현재의 시스템을 더 지속 가능하고 책임감 있게 만드는 것이라고 강조합니다. 저자는 이 시스템을 채택하는 첫 번째 학회들이 기존의 보상을 활용하여 간을 보는 방식으로 작게 시작해야 한다고 제唆합니다. 핵심 지표를 추적하고 서로 다른 학회 간에 데이터를 공유함으로써, 커뮤니티는 무엇이 작동하고 무엇이 작동하지 않는지를 배울 수 있으며, 궁극적으로 모두에게 이익이 되는 공유된 프레임워크를 구축할 수 있습니다. 궁극적인 비전은 좋은 행동이 인식되고 보상받으며, 연구자들이 시스템의 품질에 이해관계를 갖게 되고, 현재의 좌절감이 더 기능적이고 공정한 아이디어 교환으로 대체되는 피어 리뷰 프로세스입니다. 이 제안은 연구자들이 옳은 일을 하기를 바라는 기대에서 벗어나, 옳은 일을 하는 것이 가장 논리적이고 유익한 선택이 되도록 하는 구조를 만드는 것으로의 전환을 의미합니다.