Why Is Reviewer 2 Always the Villain? Myth, Bias, or Statistical Reality?
이 연구는 머신러닝 컨퍼런스 전반에 걸친 약 16만 건의 리뷰 메타데이터를 분석하여, 내재된 가혹함이나 양극화를 특징으로 하는 '리뷰어 2(Reviewer 2)'의 고정관념을 뒷받침하는 통계적 근거를 발견하지 못했으며, 이는 해당 현상이 보편적인 실체라기보다는 측정상의 오류나 기관 의존적 편향일 가능성이 높음을 시사한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
학술 과학의 세계에서 새로운 아이디어가 논문으로 출판되기까지의 과정은 피어 리뷰(peer review)라고 불리는 절차로 점철되어 있습니다. 연구가 세상의 빛을 보기 전, 연구는 해당 분야의 다른 전문가들에게 보내져 그들이 내용을 주의 깊게 읽고 판단을 내리게 됩니다. 리뷰어라고 불리는 이 전문가들은 연구의 타당성을 결정하여 세상에 공유할 수 있을지를 결정하는 문지기 역할을 합니다. 그들은 점수를 부여하고, 상세한 의견을 작성하며, 종종 논문을 수락할지, 거절할지, 아니면 대폭적인 수정을 위해 다시 보낼지를 권고합니다. 이 시스템은 품질을 보장하기 위해 설계되었지만, 저자들에게는 큰 불안의 원원이기도 합니다. 단 하나의 혹독한 코멘트가 경력을 망칠 수도 있으며, 이 과정은 종래에 리뷰어가 심판하는 저자의 신원을 숨긴 채 비밀리에 진행되는 경우가 많습니다.
시간이 흐르면서 이 시스템 내에는 특정한 문화적 이야기가 생겨났습니다. 저자와 과학자들 사이에서는 보고서에 기재된 두 번째 리뷰어가 유독 까다롭다는 공통된 의구심이 생겨났습니다. '리뷰어 2(Reviewer 2)'는 과학계에서 민속적 악당이 되었으며, 동료들에 비해 불균형하게 가혹하거나, 무시하거나, 혹은 방해하는 인물로 상정됩니다. 이 고정관념은 만약 논문에 두 번째 리뷰어가 있다면, 그 사람이 프로젝트를 망칠 가능성이 높은 사람이라는 것을 시사합니다. 하지만 이것이 사람들의 행동 방식에 나타나는 실제 패턴일까요, 아니면 단지 좌절감에서 비롯된 느낌일 뿐일까요? 이에 답하기 위해, 한 연구자는 일화적인 수준을 넘어 수천 건의 리뷰 뒤에 숨겨진 실제 수치를 살펴보고, 두 번째 사람이 목록의 첫 번째나 세 번째 사람과 정말로 다르게 행동하는지 확인해야 했습니다.
한 연구자가 오픈 사이언스 컨퍼런스의 방대한 실제 데이터를 조사함으로써 이 신화를 조사하기로 했습니다. 그들은 약 63,000개의 원고와 157,000개 이상의 개별 리뷰에서 정보를 수집했습니다. 그들의 목표는 감정과 이야기를 걷어내고 오로열 점수와 결정만을 엄격하게 살펴보는 것이었습니다. 그들은 구체적인 질문에 집중했습니다. 즉, "리뷰어 2"라고 명명된 사람들이 실제로 더 낮은 점수를 주는지, 극단적인 등급을 더 자주 사용하는지, 혹은 동일한 논문을 평가하는 다른 동료들과 더 많이 의견이 갈리는지였습니다. 연구자는 부여된 번호와 리뷰어가 보고서를 작성한 실제 순서가 항상 일치하는 것은 아니라는 점을 알고 있었기에, 이 둘을 엄격히 구분했습니다. 그러나 이 연구에 사용된 데이터는 머신러닝 컨퍼런스, 특히 2018년에서 2021년 사이의 ICLR에서 추출한 7,966개의 원고에 집중되어 있다는 점을 유의해야 합니다. 이는 본 연구의 결과가 이러한 오픈 리뷰 환경에 가장 적합하며, 전통적인 학제 간 저널에는 완전히 일반화되지 않을 수 있음을 의미합니다.
엄격한 통계적 방법으로 데이터를 분석한 결과, 연구는 리뷰어 2가 특별한 종류의 악당이라는 주장을 뒷받침할 증거를 찾지 못했습니다. 연구자가 두 번째 리뷰어가 준 점수를 동료들의 평균 점수와 비교했을 때, 그 차이는 사실상 제로에 가까울 정도로 미미했습니다. 실제로 데이터는 두 번째 리뷰어가 체계적으로 더 가혹하거나, 가장 극단적인 "거절" 또는 "수락" 등급을 사용할 가능성이 더 높지 않음을 보여주었습니다. 두 번째 사람이 목록에 있으면 그 사람이 유독 까다로울 것이라는 공포는 신화인 것으로 보입니다. 또한 연구자는 두 번째 리뷰어의 의견이 최종 결정을 내리는 편집자들에게 더 많은 무게를 갖는지도 살펴보았습니다. 누구로부터든 온 혹독한 리뷰가 거절로 이어질 수는 있지만, 두 번째 리뷰어의 의견을 다른 이들의 의견보다 더 강력하게 만드는 특별한 "승수 효과"는 없었습니다.
연구는 비록 주요 신화를 반박했을지라도, 프로세스가 어떻게 작동하는지에 대한 흥미로운 세부 사항들을 밝혀냈습니다. 연구자는 리뷰어가 화면에서 보는 번호가 실제로 작업물을 제출한 순서와 일치하지 않는 경우가 많다는 것을 발견했습니다. 조사된 데이터셋에서 "리뷰어 2"라는 공개 라벨이 실제 두 번째로 보고서를 제출한 사람과 일치하는 경우는 약 30퍼센트에 불과했습니다. 이는 저자들이 불평하는 그 "악당"이 실제로는 두 번째로 리뷰를 작성한 사람이 아닐 수도 있음을 의미합니다. 즉, 번호 매기기는 사건의 순서와는 상관없는 무작위 할당이나 저장 순서일 뿐이라는 것입니다. 나아가, 연구자가 리뷰어 간의 이견이 저자의 반론(rebuttal) 후에 해결되는지 살펴보았을 때, 집단 전체는 의견이 서로 가까워지는 경향을 보였으나, 두 번째 리뷰어가 의견을 바꾸거나 마찰을 일으키는 주체라는 징후는 없었습니다.
조사의 가장 핵심적인 부분 중 하나는 어떤 리뷰어가 어떤 점수를 주었는지 아는 것이 논문의 최종 결과를 예측하는 데 도움이 되는지 테스트하는 것이었습니다. 연구자는 두 번째 리뷰어의 점수를 별도의 특별한 요인으로 취급했을 때 논문의 수락 또는 거절을 예측하는 능력이 향착되는지 컴퓨터 모델을 구축했습니다. 결과는 모든 점수의 단순 평균을 사용하는 것이 두 번째 리뷰어에게 특별한 가중치를 주려는 모델보다 비슷하거나 오히려 약간 더 잘 작동한다는 것을 보여주었습니다. 이는 편집자들이 특정 번호의 위치에 집착하기보다는 집단의 집단적 지혜를 보고 있음을 시사합니다. 데이터는 까다로운 두 번째 리뷰어에 대한 인식이 통계적 실체가 아니라 인간이 부정적인 경험을 기억하는 방식의 결과임을 나타냅니다.
연구는 또한 리뷰 프로세스의 시간적 역학 관계도 살펴보았습니다. 저자가 응답할 수 있었던 논문의 하위 집단에서 연구자는 점수가 어떻게 변하는지 추적했습니다. 그들은 반론 단계 이후에 서로 다른 리뷰어들 사이의 의견 격차가 줄어드는 경មាន을 발견했는데, 이는 리뷰어들이 흔히 공통된 합의점에 도달함을 의미합니다. 그러나 이러한 수렴은 전반적으로 일어난 현상이었으며, 두 번째 리뷰어의 행동 변화에 의해 주도된 것이 아니었습니다. 연구자는 혹독한 리뷰어를 상대하는 경험이 많은 저자들에게 실제로 고통스럽고 실재하는 일이지만, 목록의 두 번째 사람이 유독 그 책임을 져야 한다는 생각은 증거에 의해 뒷받받되지 않는다고 결론지었습니다. 시스템은 복잡하고 이견은 존재하지만, 그것이 특정 번호 지정에 대한 숨겨진 편향의 결과는 아닙니다.
궁극적으로, 이 대규모 조사는 우리의 직관이 때때로 얼마나 오해를 불러일일 수 있는지에 대한 경고를 줍니다. "리뷰어 2" 현상은 거절의 좌절감에 얼굴을 부여하기 때문에 강력한 서사로서 공감을 얻지만, 데이터는 그 얼굴이 특정 번호에 붙어 있지 않음을 보여줍니다. 혹독함, 이견, 그리고 높은 이해관계는 특정 번호 자리에 집중된 것이 아니라 전문가 집단 전체에 분산되어 있습니다. 측정으로 신화를 대체함으로써, 연구자는 과학계가 존재하지 않는 유령을 쫓는 대신 판단의 실제 변동 원인에 집중하며 스스로의 프로세스를 더 잘 이해할 수 있음을 보여주었습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.