Tracking claim changes from preprint to publication across 72,644 biomedical studies using large language models

생물 의학 연구의 세계를 과학자들이 끊임없이 새로운 레시피(그들의 연구)를 만들어내는 거대한 주방이라고 상상해 보세요. 오랫동안 이 레시피들은 전문가 패널의 엄격한 "맛 테스트"(동료 검토)를 거친 후에야 대중에게 제공되었습니다. 하지만 최근에는 셰프들이 자신의 검증되지 않은 생생한 레시피를 프리프린트(bioRxiv와 같은)라고 불리는 공공 게시판에 올려서 누구나 즉시 볼 수 있게 하고 있습니다.

어떤 이들은 이 레시피들이 아직 맛 테스트를 거치지 않았기 때문에 실수나 과장이 가득할 수도 있다고 걱정합니다. 이 연구는 72,644쌍의 레시피, 즉 게시판에 처음 올린 원본 버전과 비평가들의 승인을 받은 후 식당에서 최종적으로 제공된 버전을 비교하여 이 우려를 해결하기로 했습니다.

연구진은 두 버전을 비교하기 위해 (매우 꼼꼼한 편집자처럼) 아주 똑똑한 AI 어시스턴트를 사용하여 다음과 같은 결과를 찾아냈습니다.

1. 핵심 메시지는 그대로 유지됩니다

연구의 주요 주장(main claim)을 뉴스 기사의 헤드라인이라고 생각해 보세요. 연구진은 약 **90%**의 연구에서 헤드라인이 크게 변하지 않았다는 것을 발견했습니다.

• **40%**의 경우, 헤드라인이 완전히 동일했습니다.
• **50%**의 경우, "우리는 치료법을 찾았다"를 "우리는 유망한 치료법을 찾았다"로 바꾸는 것처럼 헤드라인이 약간 다듬어지거나 미세하게 수정되었습니다.
• 헤드라인이 완전히 새롭게 탈바꿈한 경우는 단 **10%**뿐이었습니다.

즉, 연구의 "영혼"은 게시판에서 최종 출판에 이르는 여정 동안 대부분 온전하게 살아남습니다.

2. 과학자들은 더 자신만만해지기보다 더 신중해집니다

과학자들이 프리프린트를 게시할 때는 종종 흥분하고 자신만만합니다. 하지만 비평가들이 그들의 작업을 검토한 후에는 흥분을 약간 가라앉히는 경향이 있습니다.

• 프리프린트에서 과학자가 "이 약은 기적입니다!"라고 말한다고 가정해 봅시다.
• 최종 논문에서 그들은 "이 약은 유망한 결과를 보여줍니다"라고 바꿀 수 있습니다.
• 연구 결과, 과학자들은 리뷰 후에 더 자신감을 갖게 되는 것보다 더 조심스럽고 신중해질 확률이 두 배 더 높았습니다. 그들이 비평가들의 검토를 받은 후에 주장을 더 극적으로 만드는 경우는 거의 없었습니다.

3. 시간은 중요하지만, 추세는 개선되고 있습니다

• 기다림의 게임: 만약 연구가 리뷰 대기열에서 매우 오랜 시간(느린 차선)을 보냈다면, 빠르게 리뷰를 받은 연구(7% 확률)에 비해 대대적인 수정(14% 확률)을 거칠 가능성이 더 높았습니다. 비평가들이 레시피를 오래 씹을수록, 더 많은 전체 레시피 변경을 요구할 가능성이 높은 것으로 보입니다.
• 나아지고 있는 중: 수년에 걸쳐(2019년부터 2024년까지), 대대적인 수정의 필요성은 눈에 띄게 감소했습니다. 이는 마치 셰프들이 비평가들에게 보내기 전부터 이미 레시피를 더 잘 작성하고 있는 것처럼 보입니다.

4. "프리프린트 안전망"

연구진은 또한 게시판에 한 번도 올라오지 않은 논문들에 대해서도 흥미로운 점을 발견했습니다. 이 논문들은 (잘못되었기 때문에 기록에서 삭제되는) 철회율이 프리프린트로 시작된 논문들보다 두 배나 높았습니다. 마치 레시피를 일찍 게시하여 대중이 먼저 볼 수 있게 하는 것이, 영구적으로 기록되기 전에 오류를 잡아내는 안전 점검 역할을 하는 것과 같습니다.

결론

핵籍적인 요점은 간단합니다: 프리프린트는 신뢰할 수 있는 진실의 원천입니다.

과학적 연구가 아직 "공식적으로" 출판되지 않았다고 해서 그 주요 발견들이 터무니없는 추측이라는 뜻은 아닙니다. 프리프린트 게시판에서 최종 출판으로 가는 여정은 보통 내용을 완전히 다시 쓰는 것이 아니라, 약간의 다듬기 과정을 포함합니다. 대부분의 생물 의학 연구의 핵심 주장은 최종 비평가들의 승인을 받기 전이라도 견고합니다.