Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

이 연구는 투명성 보고 항목을 명시적으로 요구하는 'Journal of Neurotrauma'의 정책이 관련 보고를 개선하는 데 효과적이지만, 성별과 시약 보고와 같은 핵심 항목은 여전히 개선이 필요함을 보여줍니다.

핵심

🍳 핵심 비유: "요리 레시피와 요리사"

생각해 보세요. 어떤 요리사가 "이 요리는 정말 맛있다!"라고 말한다고 칩시다. 하지만 그 레시피를 보면 "소금 1 티스푼" 이라고만 적혀 있고, "어떤 소금인지, 언제 넣었는지, 누구의 입맛을 기준으로 했는지" 는 전혀 쓰여 있지 않다면요? 우리는 그 요리를 따라 해 볼 수 없겠죠.

이 논문은 뇌 손상 (TBI) 연구를 하는 두 개의 저널을 비교했습니다.

1. 저널 A (Journal of Neurotrauma): 최근부터 "요리사 여러분, 레시피에 소금의 종류, 양, 넣은 시간을 꼭 적어주세요!"라고 강제 규칙을 만들었습니다.
2. 저널 B (Experimental Neurology): "여러분은 알아서 잘 쓰세요."라고 별도의 강제 규칙은 없었습니다.

연구팀은 AI(스마트한 요리 감별사) 를 동원해서 두 저널에 실린 수천 편의 논문 (요리 레시피) 을 샅샅이 뒤져보았습니다.

🔍 연구 결과: 규칙이 정말 효과가 있을까?

1. 규칙이 있는 곳 (저널 A) 은 확실히 나아졌습니다!
규칙을 만든 저널 A 에서, 규칙에 명시된 항목들 (예: 실험 그룹을 무작위로 배정했는지, 실험자가 결과를 미리 알지 못하게 가렸는지, 데이터는 공개했는지 등) 을 작성한 비율이 크게 늘었습니다.

• 비유: "소금 종류를 적어라"는 규칙이 생기니까, 요리사들이 소금 병 라벨을 꼼꼼히 적기 시작했습니다.

2. 하지만 규칙에 없는 것은 여전히 엉망입니다.
규칙에 적혀 있지 않은 항목들 (예: 실험에 쓰인 동물의 성별, 특정 약품의 정확한 출처 등) 은 저널 A 도 저널 B 도 비슷하게 엉망이었습니다.

• 비유: "소금 종류"는 적었는데, "양념장 브랜드"나 "요리할 때 쓴 칼의 종류"는 여전히 적지 않았습니다. 요리사들은 "규칙에 적힌 것만 하고 나머지는 무시" 하는 경향이 있었습니다.

3. 특히 '성별' 문제는 더 나빴습니다.
놀랍게도, 규칙이 없는 저널 B 가 오히려 실험 대상의 성별 (수컷/암컷) 을 더 잘 적어주었습니다. 규칙이 있는 저널 A 는 오히려 성별 정보를 빼먹는 경우가 더 많았습니다.

• 비유: "소금"만 적으라고 하니까, 요리사들은 "양념"이나 "재료의 성별" 같은 다른 중요한 정보는 아예 잊어버린 것입니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 "규칙을 만든다고 해서 과학이 바로 완벽해지지는 않는다" 는 사실을 알려줍니다.

• 규칙은 도움이 됩니다: 특정 항목 (블라인드, 통계 등) 을 적게 하려면 명확한 체크리스트가 필요합니다.
• 하지만 한계가 있습니다: 연구자들은 규칙에 적힌 '필수 항목'만 채우려고 하고, 규칙에 없는 '중요한 세부 사항'은 여전히 소홀히 합니다.
• 진짜 해결책: 과학계가 더 투명해지려면, 단순히 "적어라"라고 하는 것을 넘어, 어떤 재료를 썼는지 (항체, 세포 등) 그 출처를 명확히 밝히는 것과 성별 같은 생물학적 변수를 빠뜨리지 않도록 더 세심한 가이드가 필요합니다.

📝 한 줄 요약

"요리 레시피에 '소금'만 적으라고 하면 소금은 잘 적지만, '양념'이나 '재료의 성별'은 여전히 잊어버리는 요리사들. 과학 논문도 마찬가지라, 규칙을 더 꼼꼼하게 만들어야 진짜 신뢰할 수 있는 연구가 나올 수 있다."

이 연구는 과학자들이 실험을 더 투명하게 보고하도록 돕기 위해, 저널들이 어떤 정책을 써야 하는지에 대한 중요한 힌트를 줍니다.

기술 요약

논문 요약: 신경외상학 저널의 엄격성과 투명성 - 편집 정책이 투명한 보고를 개선하는가?

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 외상성 뇌손상 (TBI) 에 대한 전임상 연구는 지속적으로 증가하고 있으나, 임상적 적용 (Translation) 은 매우 미미한 상태입니다. 이는 연구의 재현성 부족과 투명성 결여가 주요 원인으로 지목됩니다.
• 핵심 문제: NIH 와 같은 주요 기관들은 무작위화 (Randomization), 맹검 (Blinding), 표본 크기 계산 (Power calculation), 생물학적/화학적 자원 인증 등 4 가지 핵심 엄격성 요소를 강조해 왔습니다. 그러나 실제 보고 관행은 여전히 불완전한 것으로 나타났습니다.
• 연구 목적: 저널의 편집 정책 (특히 엄격성 관련 섹션 의무화) 이 실제 저자의 보고 관행에 어떤 영향을 미치는지 정량적으로 평가하기 위해, 두 가지 유사한 신경외상학 저널을 비교 분석했습니다.
  • 비교 대상:
    1. Journal of Neurotrauma (JNeuroT): 2022 년부터 '엄격성, 투명성, 재현성 (TRR)' 섹션을 필수로 요구하는 저널.
    2. Experimental Neurology (ExpNeuro): 유사한 규모와 주제이지만 TRR 섹션에 대한 명시적 지침이 없는 저널 (대조군).

2. 연구 방법론 (Methodology)

• 데이터 수집: 2014 년부터 2024 년까지 PubMed Central (PMC) 에 등재된 JNeuroT 와 ExpNeuro 의 전체 연구 논문 (Full-text) 을 대상으로 했습니다.
• 분석 도구 (SciScore): 수동 분석의 한계를 극복하기 위해 AI 기반 도구인 **SciScore (버전 2)**를 사용했습니다. 이 도구는 논문 텍스트를 파싱하여 무작위화, 맹검, 통계적 힘 (Power), 데이터/코드 공유, 생물학적 자원 (항체, 세포주 등) 의 식별 가능성 등 엄격성 기준을 자동으로 탐지하고 점수화합니다.
• 그룹 분류:
  • ExpNeuro: 대조군.
  • JNeuroT (기존): 2023 년 1 월 1 일 이전 또는 TRR 섹션이 없는 논문.
  • JNeuroT+ (신규): 2023 년 1 월 1 일 이후 TRR 섹션이 포함된 논문 (약 37 편).
• 분석 지표: SciScore 가 산출한 1~10 점의 점수와 8 가지 주요 엄격성 항목 (맹검, 표본 크기, 포함/제외 기준, 손실률, 데이터, 코드, 성별, 자원 식별 등) 의 보고 비율을 비교했습니다. 통계적 유의성은 두 표본 비율의 Z-검정을 사용하여 평가했습니다.

3. 주요 결과 (Key Results)

• 전체 점수 비교:
  • TRR 섹션이 포함된 JNeuroT+ 논문들의 평균 SciScore (5.61) 가 ExpNeuro(3.52) 및 기존 JNeuroT(4.60) 보다 유의하게 높았습니다.
  • 이는 저널의 정책 변화가 전반적인 보고의 질을 높였음을 시사합니다.
• 명시적 요구 사항 vs 비명시적 요구 사항:
  • 명시적 항목 (TRR 섹션에 명시된 것): 표본 크기 계산 (Power analysis), 맹검 (Blinding), 데이터 가용성 (Data availability), 손실률 (Attrition) 등은 JNeuroT+ 에서 약 50% 이상 보고되어 기존 그룹 (~10%) 에 비해 극적인 개선을 보였습니다.
  • 비명시적 항목 (TRR 섹션에 명시되지 않은 것): 성별 (Sex), 항체 식별 (Antibodies), 세포주/생물체 식별 등은 JNeuroT+ 에서 개선되지 않았거나 오히려 ExpNeuro 보다 낮았습니다.
    • 특히 성별 (Sex) 보고는 ExpNeuro 에서 더 높게 나타났습니다.
    • **항체 (Antibodies)**의 투명한 보고 (RRID 등) 는 두 저널 모두 평균 (31%) 보다 훨씬 낮게 (~10%) 나타났습니다.
• 통계적 유의성:
  • JNeuroT+ 는 맹검, 표본 크기, 손실률, 데이터 공유 등에서 기존 JNeuroT 및 ExpNeuro 와 비교해 통계적으로 유의미한 차이를 보였습니다 (p < 0.05).
  • 반면, 성별, 항체, 세포주 등 TRR 섹션에 명시되지 않은 항목들은 통계적으로 유의한 차이가 없거나 오히려 낮았습니다.

4. 주요 기여 및 결론 (Key Contributions & Conclusion)

• 정책의 효과성 입증: 저널이 저자에게 명시적인 체크리스트나 섹션 작성을 의무화할 경우, 해당 항목에 대한 보고는 획기적으로 개선됩니다. 이는 "체크리스트가 실제 행동을 변화시킨다"는 가설을 지지합니다.
• 한계점 지적 (선택적 보고): 저자들은 정책이 명시한 항목에만 집중하는 '선택적 보고' 경향을 발견했습니다. 즉, TRR 섹션에 없는 중요한 엄격성 요소 (성별, 자원 식별 등) 는 오히려 소홀히 될 수 있습니다.
• 지속성 우려: 초기 개선 효과는 뚜렷했으나, 2024 년 데이터에서는 점수가 다소 감소하는 경향을 보였으며, 이는 정책의 장기적 효과를 확인하기 위해 지속적인 모니터링이 필요함을 시사합니다.
• 권고 사항: 저널 정책은 단순히 특정 섹션을 추가하는 것을 넘어, NIH 엄격성 기준이나 ARRIVE 가이드라인과 같은 포괄적인 체크리스트 (성별, RRID 포함) 를 저널 지침에 명시적으로 포함해야 합니다.

5. 의의 (Significance)

• 과학적 재현성 위기 해결: 신경외상학 및 전임상 연구 분야에서 재현성 위기를 해결하기 위해 저널의 편집 정책이 강력한 도구임을 실증했습니다.
• AI 기반 평가의 활용: 수천 편의 논문을 대상으로 한 대규모 자동화 분석 (SciScore) 을 통해 기존 연구들이 가지지 못했던 객관적이고 정량적인 증거를 제시했습니다.
• 미래 방향: 연구자들은 정책이 명시하지 않은 항목까지 스스로 엄격하게 보고하도록 유도해야 하며, 저널은 포괄적인 투명성 기준 (데이터 공유, 자원 식별, 성별 고려 등) 을 의무화해야 함을 강조합니다.

---

핵심 메시지: 저널의 편집 정책 (TRR 섹션 의무화) 은 명시적으로 요구된 항목에 대해서는 보고를 획기적으로 개선시키지만, 명시되지 않은 중요한 항목 (성별, 자원 식별 등) 에 대해서는 효과가 없거나 오히려 소홀해질 수 있습니다. 따라서 포괄적이고 명확한 가이드라인의 전 저널 적용이 필요합니다.