Defining Manuscript Peer Review: An International Delphi Consensus Study
이 국제적인 3단계 델파이 연구는 원고 피어 리뷰를 연구의 질과 신뢰성을 향상시키기 위한 목적을 가진 구조화된 인간 중심의 과정으로 정의하는 합의된 정의를 확립하였으며, 이는 원칙적, 건설적, 적시적, 투명적, 전문적, 품질 중심, 기밀 유지, 그리고 다원성이라는 8가지 핵심 축에 의해 뒷받침됩니다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
과학은 연구자의 발견과 그 사실을 알아야 하는 세상 사이에 놓인 조용하고 보이지 않는 필터에 의존합니다. 과학자가 새로운 연구를 작성할 때, 그들은 단순히 그것을 출판하는 것이 아니라, 그 연구를 본 적이 없는 다른 전문가 집단에게 보냅니다. 이 전문가들은 연구를 읽고, 수학적 계산을 확인하며, 방법론에 의문을 제기하고, 그 작업이 신뢰할 만큼 충분히 훌륭한지 결정합니다. 이 과정을 동료 검토(peer review)라고 부릅니다. 수 세기 동안, 이것은 학술지에 실리는 내용이 정확하고 신뢰할 수 있음을 보장하는 표준적인 방법이었습니다. 그러나 오랜 역사와 핵심적인 역할에도 불구하고, 이 과정이 정확히 무엇인지에 대해 합의된 정의는 지금까지 없었습니다. 분야마다 방식이 다르고, 학술지마다 규칙이 다르며, 심지어 검토를 수행하는 사람들조차 그 용어가 실제로 무엇을 의미하는지에 대해 동의하지 못하는 경우가 많습니다. 명확한 정의가 없다면, 시스템이 제대로 작동하고 있는지 연구하거나, 고장 난 부분을 고치거나, 정당한 과학과 가짜 또는 오도하는 연구를 구별하는 것은 어렵습니다.
한 국제 연구팀은 다양한 전문가 그룹을 모아 단일하고 공유된 정의에 합의함으로써 이러한 혼란을 해결하고자 했습니다. 그들은 단순히 사람들에게 의견을 묻는 것에 그치지 않고, 그룹이 합의를 향해 나아가도록 유도하는 구조화된 다단계 방법을 사용했습니다. 먼저, 그들은 과학자, 의사, 편집자, 환자 파트너를 포함하여 전 세계에서 온 수많은 전문가를 모아 동료 검토가 어떤 모습이어야 하는지에 대한 긴 아이디어 목록에 대해 투표를 실시했습니다. 첫 번째 라운드에서 143명의 인원이 익명성 여부, 진행 속도, 누가 참여할 수 있는지와 같은 수십 가지의 특징들에 대해 평가했습니다. 연구진은 그 결과를 바탕으로 목록을 정제한 후, 동일한 그룹에게 다시 투표를 요청했습니다. 두 번째 라운드에서는 원래 참가자 중 109명이 다시 참여하여 목록을 더욱 좁혀 나갔습니다. 마지막으로, 남은 이견을 해결하기 위해 연구진은 엄선된 16명의 소수 전문가를 가상 회의에 초대했습니다. 이 최종 그룹은 까다로운 지점들을 논의하고, 정의에 포함될 내용과 포함되지 않을 내용에 대한 최종 결정을 내렸습니다.
이 세 단계의 여정의 결과로, 원고 동료 검토(manuscript peer review)를 '인간 전문가가 작성된 연구 논문을 평가하는 구조화된 과정'으로 설명하는 명확하고 합의된 정의가 도출되었습니다. 그룹은 이 과정의 목표가 과학 공동체의 불문율, 즉 모두가 서로를 돕는 문화 속에서 출판된 연구의 품질과 신뢰성을 높이는 것이라고 결정했습니다. 또한 연구진은 좋은 동료 검토 시스템을 정의하는 8가지 핵심 자질을 식별했습니다. 그것은 원칙적이고, 건설적이며, 시의적절하고, 투명하며, 전문적이고, 품질에 집중하며, 비밀이 유지되고, 다원적(pluralistic)이어야 합니다. '다원적'이라는 것은 시스템이 단 한 종류의 전문가만이 아니라, 다양한 유형의 사람들과 관점을 환영해야 함을 의미합니다.
그룹이 내린 가장 중요한 결정 중 하나는 검토 행위와 출판 행위 사이에 명확한 선을 긋는 것이었습니다. 과거에는 편집자가 논문을 수락하거나 거절하는 최종 결정이 동료 검토 과정의 일부라고 주장하는 이들이 있었습니다. 이번 연구의 그룹은 이 둘이 별개의 단계라는 결론을 내렸습니다. 동료 검토는 전문가가 과학 자체를 평가하는 구체적인 순간입니다. 편집자의 결정은 그 평가와 다른 요소들을 바탕으로 그 이후에 이루어집니다. 이러한 구분은 중요한데, 이는 연구자와 학술지가 책임이 정확히 어디에 있는지를 이해하도록 돕기 때문입니다. 이를 통해 연구자들은 최종 출판 결정의 품질과 별개로 검토의 품질을 연구할 수 있습니다.
또한 이 연구는 누가 '동료(peer)'라고 불려야 하는지를 명확히 했습니다. 그룹은 이 용어가 적절하다고 동의했지만, 그렇다고 해서 검토자가 저자와 반드시 동일 인물이어야 한다는 뜻은 아닙니다. 대신, 동료란 배경, 위치, 경력 단계와 관계없이 해당 작업을 판단할 수 있는 필요한 전문성을 갖춘 사람을 의미합니다. 또한 정의는 이 과정이 인간 주도로 이루어져야 함을 강조합니다. 컴퓨터와 인공지능가 표절 검사나 형식 맞추기와 같은 작업에 도움을 줄 수는 있지만, 과학에 대한 최종 평가는 인간의 정신으로부터 나와야 합니다. 이는 판단 과정에 기계가 아직 제공할 수 없는 미묘한 차이, 창의성, 그리고 윤리적 추론이 포함되어야 함을 보장합니다.
이러한 공통 언어를 구축함으로써, 연구진은 시스템을 연구하고 개선하는 것을 더 용이하게 만들기를 희ard합니다. 만약 모두가 동일한 정의를 사용한다면, 서로 다른 연구의 결과를 비교하고, 시스템이 얼마나 잘 작동하는지 측정하며, 검토자를 위한 더 나은 교육을 설계할 수 있습니다. 이 정의는 모든 학술지가 똑같이 운영되도록 강요하는 경고한 규칙 세트가 아닙니다. 대신, 이는 유연성을 허용하는 공통의 토대를 제공합니다. 학술지는 핵심 목적, 즉 연구의 신뢰성을 보장하기 위한 구조화된 인간 중심의 평가라는 점이 동일하다면, 이름이 공개되는 공개 검토(open review)나 이름이 숨겨지는 블라인드 검토(blind review)와 같은 다양한 모델을 선택할 수 있습니다. 이 합의는 과학 공동체가 지식이 공유되는 방식에 있어 더 신뢰할 수 있는 미래를 건설하기 위한 견고한 출발점을 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.