Peer Review Trajectories of Disruptive Research: Evidence from Reviewer Comments, Review Rounds and Author Responses
PLOS ONE의 동료 심사 이력을 분석함으로써, 본 연구는 파괴적 연구가 저자의 답변 시간에 의해 유도된 약간 더 긴 수락 궤적을 거치며 명확성, 실체성 및 독창성에 관한 부정적인 의견의 높은 비율에 직면한다는 것을 밝혀내며, 이는 출판 전 평가적 판독 가능성에서의 선택적 도전을 시사한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
과학은 종종 사후에 일어나는 대화처럼 느껴지곤 한다. 새로운 아이디어가 한 분야의 사고방식을 바꿀 때, 우리는 보통 다른 과학자들이 그 연구를 인용하는 방식을 지켜보며 몇 년이 지난 후에야 비로소 그것을 알아차린다. 이러한 '파괴적(disruptive)' 논문들은 단순히 우리가 이미 알고 있는 것에 무언가를 더하는 것이 아니라, 미래 연구의 경로를 바꾸어 놓으며 기존의 아이디어들을 덜 중요하게 만든다. 하지만 논문이 인식의 단계에 도달하기 전, 반드시 거쳐야 하는 문지기가 있다. 바로 동료 심사(peer review)이다. 이는 전문가들이 원고를 읽고, 비판하며, 그것이 출판될 준비가 되었는지 결정하는 과정이다. 수십 년 동안 우리는 획기적인 아이디어를 포착하기가 어렵다는 사실을 알고 있었지만, 파괴적인 논문이 심사 위원의 책상 위에 놓였을 때 실제로 심사실 내부에서 어떤 일이 벌어지는지에 대한 증거는 거의 가지고 있지 않았다. 그 논문은 더 자주 거절당하는가? 비평가들은 그것을 이해하는 데 어려움을 겪는가? 아니면 그 과정이 다른 일반적인 연구와 매우 유사하게 진행되는가?
난징 과학기술대학교의 연구팀은 이 블랙박스 내부를 들여다보기로 했다. 그들은 독특한 자원을 활용했다. 바로 학술지 PLOS ONE의 공개된 심사 이력이다. 저자와 심사자 사이의 주고받는 기록을 비공개로 유지하는 많은 학술지와 달리, PLOS ONE은 초기 의견, 저자의 답변, 그리고 모든 단계의 타임라인을 포함한 전체 기록을 공개한다. 연구진은 약 19,000개의 승인된 논문을 수집하였고, 이를 나중에 해당 논문이 어떻게 인용되었는지에 기반한 '파괴성' 척도와 연결했다. 그런 다음 고급 언어 소프트웨어를 사용하여 수십만 개의 코멘트를 읽고, 글쓰기가 명확한지, 방법론이 타당한지, 혹은 아이디어가 진정으로 새로운지와 같이 심사위원이 우려했던 내용별로 분류했다. 또한 저자들이 이러한 우려에 어떻게 대응했는지도 살펴보며, 그들이 논문을 수정했는지, 설명을 제공했는지, 혹은 반박했는지를 확인했다.
이 방대한 데이터셋에서 드러난 이야기는 놀라울 정도로 구체적이다. 연구진은 파괴적인 논문이 될 논문들이 출판까지 시간이 조금 더 걸렸지만, 그것이 편집자나 심사위원이 느려서가 아님을 발견했다. 추가적인 시간은 전적으로 저자들로부터 발생했다. 파괴적인 논문이 심사 중일 때, 저자들은 답변을 작성하고 수정 사항을 반영하는 데 더 오랜 시간을 보냈다. 이는 지연이 심사위원의 거절이나 혼란의 징후가 아니라, 저자들이 자신들의 난해한 아이디어를 표준적인 과학 논문의 형식에 맞추기 위해 더 열심히 작업해야 했던 기간이었음을 시사한다.
연구진이 심사위자들이 실제로 무엇을 말했는지 살펴보았을 때, 파괴적인 논문들이 전반적으로 더 많은 비판을 받지는 않는다는 것을 발견했다. 총 코멘트 수는 일반적인 논문과 거의 비슷했다. 그러나 '비판의 유형'은 달랐다. 심사위원들은 글쓰기의 명확성, 내용의 깊이, 그리고 아이디어의 독창성에 대해 불만을 제기할 가능성이 더 높았다. 반면, 연구를 재현할 수 있는지 또는 데이터가 기술적으로 정확한지에 대해서는 질문할 가능성이 낮았다. 이는 특정한 종류의 고충을 가리킨다. 심사위원들은 과학이 틀렸다고 말하는 것이 아니라, 그것을 이해하기 어렵거나 기존의 지식 체계 안에 배치하기 어렵다고 말하고 있었다. 작업의 파괴적인 성격이 과학을 평가하는 표준적인 방식에 대해 이 논문을 '해독 불가능(illegible)'하게 만들었고, 이로 인해 저자들은 메시지를 명확히 하는 데 더 많은 시간을 쏟아야 했다.
심사 과정이 여러 차례 반복됨에 따라, 이러한 우려들은 흥미로운 방식으로 움직였다. 연구를 재현할 수 있는지에 대한 우려는 빠르게 사라지는 경향을 보였는데, 이는 데이터가 검증되면 문제가 해결된다는 것을 시사한다. 그러나 명확성과 내용의 깊이에 대한 우려는 조금 더 오래 지속되었으며, 사라지기 전까지 더 많은 심사 단계에서 나타났다. 이는 파괴적인 아이디어를 명확하고 실질적으로 만드는 것이 여러 번의 검토를 필요로 하는 지속적인 과제임을 나타낸다.
아마도 가장 드러내는 바가 큰 발견은 저자들이 어떻게 맞서 싸웠는가 하는 점이었다. 비판에 직면했을 때, 파괴적인 논문의 저자들은 더 자주 논쟁하지 않았다. 그들은 말로 문제를 해결하려 하지 않았다. 대신, 그들은 단순히 논문을 수정하는 쪽을 택했다. 그들은 심사위원의 노트를 받아들여 단순히 원래 버전이 괜찮다고 설명하는 대신, 텍스트에 구체적인 변화를 주었다. 이러한 패턴은 파괴적인 아이디어를 출판하는 길이 심사위원과의 논쟁에서 이기는 것이 아니라, 새로운 아이디어가 과학 공동체에 명확하고 수용 가능해질 때까지 인내심 있게 원고를 재구성하는 과정임을 시사한다.
결국, 이 연구는 파괴적인 논문의 여정이 사실에 대한 싸움이라기보다 명확성을 위한 투쟁에 의해 정의된다는 것을 보여준다. 이러한 논문을 출판하는 데 필요한 추가적인 시간과 노력은, 급진적인 새로운 아이디어를 심사위원이 즉각적으로 이해할 수 있는 언어로 번역해야 하는 필요성에서 비롯된다. 심사 과정은 옳고 그름을 가리는 필터가 아니라, 해독 가능성을 위한 필터 역할을 한다. 이 논문들이 승인될 즈음에는, 그것들은 재구성되고 안정화되어 결국 해당 분야를 변화시킬 준비를 마친 상태가 된다. 이 연구는 파괴적인 과학이 몇 년 후 그 영향력에 의해 인식되지만, 그 영향력의 씨앗은 논문이 출판되기 훨씬 전, 수정이라는 조용하고도 종종 고통스러운 작업 속에 뿌려져 있다는 사실을 확인시켜 준다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.