Observability of False Negatives in Preprint Moderation: A Framework for Auditable Scientific Gatekeeping

과학은 새로운 아이디어가 누구에게나 보이고, 테스트되고, 토론될 수 있다는 단순한 약속에 의존합니다. 수십 년 동안 연구자들이 초기 연구를 공유하는 주요 방법은 프리프린트(preprint) 서버였습니다. 이는 과학자들이 논문이 학술지에 의해 공식적으로 검토되기 전에 게시하는 디지털 라이브러리입니다. 이러한 플랫폼은 발견을 위한 신속한 고속도로 역할을 하여, 전통적인 피어 리뷰(동료 검토)의 느린 과정을 몇 달 또는 몇 년 기다리는 대신, 주장이 작성되는 즉시 세상이 그 내용과 방법을 볼 수 있게 해줍니다. 그러나 이 서버들은 단순히 파일을 보관하는 캐비닛이 아닙니다. 이곳은 큐레이션된 공간입니다. 논문이 공개 목록에 나타나기 전, 자원봉사자 팀이 논문을 읽고 그 논문이 그곳에 속할 자격이 있는지 결정합니다. 그들은 만약 제출된 논문이 독창성이 부족해 보이거나, 과학적 중요성이 낮거나, 혹은 너무 미완성이라 유용하지 않다고 판단되면 거절할 수 있습니다. 이러한 게이트키핑(문지기) 역할은 도서관이 무의미한 내용으로 넘쳐나는 것을 막기 위해 필요하지만, 동시에 어려운 문제를 야기합니다. 만약 문지기가 "안 된다"라고 말했을 때, 그 결정이 옳았는지 어떻게 알 수 있을까요? 만약 논문이 숨겨지고 저자가 다른 곳에 발표하지 않는다면, 세상은 그 결과를 결코 볼 수 없습니다. 그 논문은 실수로 묻혀버린 탁월한 발견이었을 수도 있고, 혹은 적절하게 중단된 막다른 길이었을 수도 있습니다. 거절된 더미를 다시 들여다볼 방법이 없다면, 시스템은 실수와 성공을 구분할 수 없습니다.

이것이 독립 연구자인 오츠카 아츠시(Atsuka Atsushi)가 새로운 연구에서 다루는 핵심적인 수수께끼입니다. 그는 현재의 시스템이 망가졌다거나 자원봉사자들이 편향되었다고 주장하는 것이 아닙니다. 대신, 그는 측정에 관한 더 근본적인 질문을 던집니다. 즉, 시스템이 스스로의 오류를 확인할 방법이 있는가 하는 점입니다. 오츠카는 가장 크고 유명한 프리프린트 서버인 arXiv의 규칙과 공개 보고서를 조사하여, 거절된 논문들이 나중에 어떻게 되는지 추적하는 것이 가능한지 살펴봅니다. 그는 이 서버가 얼마나 많은 논문을 받았고 얼마나 많은 논문을 거절했는지는 매우 잘 알려주지만, 거절된 논문들이 어떻게 되었는지는 알려주지 않는다는 것을 발견했습니다. 서버는 자신의 거절률은 알고 있지만, 거절된 논문들이 나중에 다른 학술지에 실렸는지, 다른 과학자들에 의해 인용되었는지, 혹은 저자가 이를 개선하여 다시 시도했는지는 추적하지 않습니다. 이러한 사후 정보가 없다면, 시스템은 자신이 얼마나 자주 실수를 하는지 계산할 수 없습니다. 이는 마치 보안 요원이 문 앞에서 얼마나 많은 사람을 막았는지는 정확히 알지만, 그중 어떤 사람이 실제로 잘못 억류된 무고한 방문객이었는지에 대한 기록은 가지고 있지 않은 것과 같습니다.

오츠카의 작업은 전통적인 학술지의 세계에서 이루어진 유사한 연구들의 긴 역사를 바탕으로 합니다. 수년 동안 연구자들은 거절된 학술지 원고들이 결국 다른 곳에서 출판되는지, 혹은 매우 인용도가 높고 중요한 저작물이 되는지를 추적해 왔습니다. 이러한 연구들은 최고의 학술지조차 때때로 탁월한 논문을 놓칠 수 있으며, 거절 과정 자체가 저자의 행동을 변화시켜 어쩌면 연구를 완성하는 것을 저해할 수도 있음을 보여주었습니다. 오츠카는 프리프린트 서버에도 이와 동일한 논리를 적용합니다. 그는 이러한 결정들을 판단하는 방식에 존재하는 결정적인 비대칭성을 지적합니다. 만약 거절된 논문이 나중에 상위 학술지에 출판된다면, 이는 프리프린트 서버가 실수를 했다는 강력한 증거가 됩니다. 하지만 거절된 논문이 결코 출판되지 않는다고 해서, 그것이 서버의 결정이 옳았음을 증명하는 것은 아닙니다. 거절 자체가 논문의 미래를 바꾸어 놓았을 수도 있고, 혹은 논문이 실제로 잘못된 이유로 거절되었을 수도 있기 때문입니다. 거절이 논문의 미래를 변화시키기 때문에, 단순히 최종 결과만을 보고 초기 "안 된다"라는 결정이 옳았는지 판단할 수는 없습니다.

이를 해결하기 위해 오츠카는 과학적 게이트키핑을 "감사 가능(auditable)"하게 만드는 새로운 프레임워크를 제안합니다. 그는 문제를 세 가지 수준으로 나눕니다. 첫 번째 수준은 결정의 투명성으로, 이는 단순히 얼마나 많은 논문이 왜 거절되었는지를 보고하는 것을 의미합니다. 두 번째는 결과의 관찰 가능성으로, 이는 거절된 논문들이 나중에 어떻게 되는지를 추적하는 것을 의미합니다. 세 번째이자 가장 중요한 수준은 오류의 감사 가능성입니다. 이를 위해서는 플랫폼이 자신의 결정이 틀렸는지를 판단할 기준을 사전에 선언해야 합니다. 예를 들어, 어떤 논문이 "상당한 수정"이 필요하다는 이유로 거절되었다면, 플랫폼은 저자가 다른 곳에 출판하기 전에 실제로 그러한 수정을 거쳤는지 나중에 확인할 명확한 규칙을 가져야 합니다. arXiv의 현재 공개 기록에 대한 오츠카의 감사는, 이 서버가 첫 번째 수준에는 강하지만 나머지 수준에는 약하다는 것을 보여줍니다. 서버는 전체 수치와 일반적인 정책은 보고하지만, 특정 거절 건을 이후의 결과와 연결하는 데이터를 공개하지 않으며, 거절된 것이 실제로 실수였는지 확인할 방법도 제공하지 않습니다.

이 연구는 arXiv가 좋은 과학을 거절하고 있다고 주장하거나, 자원봉사자들이 오류를 범하고 있다고 주장하는 것이 아닙니다. 단지 현재의 공개 정보만으로는 알 수 없다고 말할 뿐입니다. 서버가 완벽할 수도 있고, 혹은 많은 실수를 하고 있을 수도 있지만, 현재의 데이터 구조로는 이를 알 수 없습니다. 오츠카는 시스템이 진정으로 신뢰받기 위해서는 스스로의 정확성을 측정할 수 있어야 한다고 제안합니다. 그는 플랫폼이 구체적인 데이터를 수집하고 공유하기 시작할 것을 권고합니다. 즉, 거절된 논문 중 몇 개가 나중에 학술지에 실렸는지, 저자들이 얼마나 자주 항소하여 승리했는지, 그리고 거절 이유가 논문의 최종 운명과 일치하는지 등을 말입니다. 또한 그는 플랫폼이 저자의 과거 기록이나 대학 소속을 거절의 이유로 사용하는 것에 주의해야 하며, 이러한 요소들이 불공정한 오류를 초래하지 않는다는 것을 증명할 수 없는 한 그래서는 안 된다고 제안합니다. 목표는 모든 거절을 없애는 것(이는 불가능합니다)이 아니라, 오류율을 보고 연구할 수 있는 시스템을 만드는 것입니다.

궁극적으로, 이 연구는 논의의 초점을 게이트키핑이 좋은가 나쁜가의 논쟁에서, 어떻게 그 품질을 측정할 것인가의 문제로 전환합니다. 이 논문은 만약 어떤 시스템이 세상으로부터 과학적 저작물을 숨길 수 있는 권한을 가지고 있다면, 그 결정이 얼마나 자주 틀렸는지를 우리에게 보여줄 책임이 있다고 주장합니다. 거절된 논문들을 추적하고 그것들을 이후의 삶과 연결함으로써, 과학계는 게이트키퍼의 품질에 대해 추측하는 단계에서 벗어나 실제로 알 수 있는 단계로 나아갈 수 있습니다. 이 접근 방식은 "좋은 과학"에 대한 완벽한 정의를 요구하지 않습니다. 단지 "안 된다"라는 말이 나온 이후에 어떤 일이 일어났는지에 대한 명확하고 정직한 기록만을 요구할 뿐입니다. 만약 시스템이 그 기록을 보여줄 수 있다면, 시스템이 의도한 대로 작동하고 있음을 증명할 수 있습니다. 만약 그렇지 못하다면, 그 시스템은 결정이 어둠 속에서 내려지며 그 결정의 대가를 저작물이 결코 세상에 드러나지 못하게 된 과학자들이 치르게 되는 블랙박스로 남게 될 것입니다.