Estimating the replicability of Brazilian biomedical science

과학 연구의 세계를 완벽한 요리의 비결을 발견했다고 주장하며 끊임없이 새로운 레시피(실험)를 발표하는 셰프(과학자)들이 가득한 거대하고 북적이는 주방이라고 상상해 보세요. 수년 동안 사람들은 걱정해 왔습니다. "만약 내가 내 주방에서 이 레시피대로 요리한다면, 똑같이 맛있는 결과를 얻을 수 있을까, 아니면 완전히 엉망진창이 될까?"

이 논문은 **브라질 재현성 이니셔티브(Brazilian Reproducibility Initiative)**가 조직한 거대하고 체계적인 "맛 테스트"와 같습니다. 원래의 셰프들을 단순히 믿는 대신, 그들은 브라질 전역의 56개 서로 다른 주방(연구실)을 초대하여 이전에 발표된 56가지 특정 레시피를 직접 요리해 보도록 했습니다.

실험은 다음과 같이 진행되었습니다:

• 메뉴: 그들은 세 가지 매우 흔한 요리 기법에 집중했습니다: 세포 건강 확인하기(MTT), 유전 정보 복제하기(RT-PCR), 그리고 생쥐의 불안도 테스트하기(Elevated Plus Maze).
• 도전: 143개의 서로 다른 그룹이 이 요리들을 재현하려고 시도했습니다. 하지만 실제 생활과 마찬가지로, 어떤 시도들은 지저분하거나 규칙을 따르지 않았기에, 독립적인 심사단이 일부 결과를 탈락시켰습니다. 결국 그들은 45개의 원래 레시피를 다루는 90개의 유효한 시도를 남겼습니다.
• 판결: 결과는 엇갈렸습니다. 심사단의 엄격함에 따라, 원래의 "완벽한 요리"와 실제로 일치한 재현은 **20%에서 44%**에 불과했습니다.
• 맛의 차이: 재현하는 주방들이 성공했을 때조차, 그 결과는 원래의 결과보다 훨씬 약한 경우가 많았습니다. 평균적으로 "맛의 강도"(그룹 간의 차이)는 원래 주장되었던 것보다 58% 더 낮았습니다. 또한, 결과는 누가 요리하느냐에 따라 훨씬 더 "짜거나 달았습니다" (결과가 82% 더 가변적이었습니다).

왜 레시피가 재현에 실패했을까요?

이 논문은 몇 가지 흥사로운 패턴을 발견했습니다:

1. "쉬운" 요리: 원래 가장 요리하기 어렵다고 여겨졌던 레시피들이 오히려 재현이 가장 잘 되었습니다.
2. 유명한 셰프들: 만약 원래 레시피를 작성한 셰프가 최근에 아주 많은 레시피를 발표했다면, 재현 성공 확률이 더 낮았습니다. 마치 유명한 셰프가 너무 바빠서 지침을 충분히 명확하게 쓰지 못한 것과 같습니다.
3. "직감": 흥미롭게도, 연구를 재현하려는 과학자들은 자신의 시도가 성공할지 실패할지를 꽤 잘 예측하곤 했습니다.
4. 주방의 혼란: 실패의 주요 원인은 반드시 요리 실력이 부족해서가 아니라, 원래의 지침(프로토콜)을 정확하게 따르는 것이 불가능했기 때문이었습니다. 재현하는 주방들은 자신들의 장비가 다르거나, 생쥐의 종류가 다르거나, 건물의 물류 환경이 원래의 설정과 일치하지 않기 때문에 요리 단계를 변경해야만 했습니다.

결론

이 연구는 브라질의 과학이 "나쁘다"고 말하는 것이 아닙니다. 대신, 과거에 발표된 "레시피"들이 종종 다른 곳에서는 따라 하기 힘든 특정한 조건들에 의존했다는 점을 강조합니다. 이 논문은 미래에 더 나은, 더 신뢰할 수 있는 결과를 얻기 위해서 과학자들이 더 명확한 지침을 작성해야 하며, 자신의 "주방"이 다른 모든 이의 주방과 똑같이 작동하지 않을 수 있음을 인정해야 한다고 제안합니다. 이는 새로운 레시피가 발표되었을 때, 누구나 그것을 요리하여 똑같이 훌륭한 맛을 낼 수 있도록 과학을 더 투명하고 견고하게 만들라는 촉구입니다.