Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting.

该研究利用 SciScore 工具对比分析发现，《神经创伤学杂志》（Journal of Neurotrauma）强制实施的严谨性报告章节显著提升了盲法、统计功效等 6 项透明度指标的报告率，但在受试者性别和试剂透明报告等关键项目上仍与未设强制要求的《实验神经学》（Experimental Neurology）无显著差异，表明强制政策虽有效但仍需进一步完善以覆盖所有核心严谨性要素。

要点

这篇论文就像是在检查两所“科学学校”（两家学术期刊）的学生（研究人员）是否真的在遵守“诚实考试”的规则。

为了让你更容易理解，我们可以把科学研究想象成做一道复杂的菜，而期刊就是美食杂志。

1. 背景：为什么这道菜总是做不好？

在医学界，特别是**脑损伤（TBI）**的研究中，科学家们一直在实验室里尝试研发新药，希望能治愈病人。但是，就像很多厨师在自家厨房（实验室）里做出了绝世美味，却没法在餐厅（医院）里复制出来一样，这些研究很难真正帮到病人。

原因是什么呢？就像厨师没写清楚菜谱：

• 没说是用左手还是右手搅拌（随机化）。
• 没说是谁尝的味道，是不是尝的人自己就是厨师（盲法）。
• 没说是用了多少食材，也没说为什么有些食材被扔掉了（样本量和数据剔除）。
• 没写清楚用了什么牌子的酱油（试剂来源）。

如果菜谱写得含糊不清，别的厨师就永远做不出同样的味道，这道菜也就无法推广。

2. 实验：两所学校的“新规矩”

这篇论文比较了两本著名的“美食杂志”（期刊）：

• 《神经创伤杂志》（Journal of Neurotrauma）：这所学校比较严格。从 2022 年开始，他们规定学生交作业时，必须额外填一张"诚实检查表"（TRR 部分），详细列出他们是怎么做实验的，有没有作弊，数据在哪。
• 《实验神经学》（Experimental Neurology）：这所学校规模差不多，研究内容也差不多，但他们没有强制要求填这张额外的检查表。

研究者想看看：强制填检查表，真的能让学生更诚实、更透明吗？

3. 工具：AI“阅卷机器”

为了公平地检查成千上万份作业，研究者没有一个个人工去读（太累了），而是用了一个叫 SciScore 的AI 阅卷机器人。
这个机器人像是一个挑剔的美食评论家，它拿着放大镜去文章里找关键词：

• “你提到‘随机’了吗？”
• “你提到‘盲法’了吗？”
• “你提到‘数据公开’了吗？”
• “你提到‘抗体’的厂家了吗？”

每找到一项，就给文章加一分。最后算出一个总分（1-10 分）。

4. 发现：检查表有用，但也有“副作用”

结果很有趣，就像学生为了应付考试，只背了老师划的重点：

• 划了重点的，大家都会了：
  在《神经创伤杂志》里，因为老师明确要求在“检查表”里写统计方法、盲法、数据公开，所以填了表的学生（2023-2024 年的文章），在这些项目上的得分显著高于另一所学校的学生。

  • 比喻：就像老师要求“必须写清楚用了多少盐”，学生就都乖乖写了盐的克数。

• 没划重点的，大家还是老样子：
  但是，对于那些没有在检查表里明确强调的项目，比如受试者的性别、抗体的具体来源（RRID），填了表的学生和没填表的学生没什么区别，甚至有时候填了表的学生反而写得更少。

  • 比喻：就像老师只要求写“盐”，学生就只写盐，却忘了写“糖”和“油”。虽然盐写清楚了，但整道菜还是不够透明。
  • 特别有趣的是，在受试者性别这一点上，没填表的那所学校（《实验神经学》）反而写得更好。

5. 结论：规矩是好的，但还不够完美

这篇论文告诉我们：

1. 强制要求确实有效：如果期刊明确说“你必须在这里写清楚”，作者就会写。这比单纯呼吁“请大家自觉”要管用得多。
2. 但作者很“聪明”地偷懒：作者们往往只写检查表里明确列出来的东西，而忽略了那些虽然重要但没被特别强调的东西（比如试剂的具体编号、性别差异等）。
3. 未来的方向：为了让科学更可靠，期刊不能只给一个“填空题”，而应该给一份完整的“透明清单”，并且要像《Nature》或《Science》那样，强制要求列出所有关键材料（如抗体、细胞系）的“身份证”（RRID），否则就不让发表。

一句话总结：
这就好比为了让大家把菜做得更透明，期刊给厨师发了一张“必写清单”。厨师们确实把清单上的菜写清楚了，但清单没写的配料，他们还是习惯性地藏着掖着。要想真正解决问题，清单得列得更全、更细才行。

技术摘要

这是一份关于《两本神经创伤学刊的严谨性与透明度：编辑政策如何改善透明报告》（Rigor and Transparency in two neurotrauma-publishing journals: editorial policies improve transparent reporting）的技术总结。

1. 研究背景与问题 (Problem)

• 核心痛点：创伤性脑损伤（TBI）的转化医学研究面临巨大挑战。尽管预临床（Preclinical）研究数量庞大，但转化为临床疗法的成功率极低。
• 根本原因：实验室研究的缺乏标准化和不可重复性。关键因素包括缺乏随机化、缺乏盲法（Blinding）、样本量计算（Power calculations）缺失、关键生物资源（如抗体、细胞系）无法识别等。
• 现有政策局限：虽然许多期刊（如 Nature、PLoS One）引入了指南（如 ARRIVE 指南）或检查表，但研究表明，仅仅要求作者声明遵循指南并不一定能实质性提高报告的透明度或严谨性。
• 研究缺口：缺乏量化数据来评估具体的编辑政策（如强制性的“严谨性部分”）是否真正改变了作者的报告行为。

2. 研究方法 (Methodology)

本研究采用了一种基于人工智能的大规模自动化分析方法，对比了两本在规模、影响因子和主题上相似，但编辑政策不同的期刊：

• 研究对象：
  • 实验组：《Journal of Neurotrauma》(JNeuroT)。该刊自 2022 年起（特别是 2023 年 1 月 1 日后）强制要求作者在稿件中增加一个独立的“透明度、严谨性和可重复性”（TRR）部分。
  • 对照组：《Experimental Neurology》(ExpNeuro)。该刊没有类似的强制性透明报告指令。
  • 基准数据：PubMed Central (PMC) 2020 年的 331,393 篇论文数据（来自 Menke et al., 2022 的研究）。
• 分析工具：SciScore (RRID:SCR_016251)。
  • 这是一个基于 AI 的工具，专门用于检测已发表论文中的严谨性/透明度语句。
  • 它解析全文（特别是方法部分和 TRR 部分），识别特定的严谨性指标（如随机化、盲法、样本量计算、数据可用性、代码、抗体 RRID 等）。
  • 输出 1-10 分的“严谨性得分”，并统计各项指标的报告比例。
• 数据范围：2014-2024 年间发表在 PubMed Central (PMC) 中的全文研究文章。
• 统计方法：使用双样本 Z 检验（Two-sample Z-test）比较不同组别（JNeuroT+ 带 TRR 部分 vs JNeuroT 不带 TRR 部分 vs ExpNeuro）在各项指标上的报告比例差异。

3. 关键贡献 (Key Contributions)

• 量化评估编辑政策的有效性：首次利用 AI 工具大规模量化评估了期刊强制性的“严谨性部分”对作者报告行为的实际影响，而非仅仅依赖作者的主观声明。
• 揭示“检查表效应”的局限性：发现作者主要报告那些被明确列出在检查表中的项目，而对于未明确列出的重要严谨性指标（如受试者性别、试剂的可追溯性），报告率并未提高，甚至可能低于对照组。
• 工具与指南的差距分析：对比了期刊的 TRR 文档要求与 SciScore 的识别标准，指出期刊指南在试剂识别（如 RRID、目录号）方面的具体指导不足，导致即使有政策，关键资源的可发现性（Findability）依然低下。

4. 主要结果 (Results)

• 总体得分：
  • 带有 TRR 部分的 JNeuroT 论文（JNeuroT+）平均 SciScore 得分最高（5.61），显著高于不带 TRR 部分的 JNeuroT（4.60）和 ExpNeuro（3.52）。
  • JNeuroT 整体得分略高于 ExpNeuro，但带有 TRR 部分的论文提升最为明显。
• 明确列出的指标（Explicitly Asked Items）：
  • 对于 TRR 文档中明确要求的项目，JNeuroT+ 组的报告率显著高于其他组。
  • 盲法 (Blinding)：JNeuroT+ 为 69.70%，显著高于 ExpNeuro (46.99%) 和 JNeuroT (38.27%)。
  • 样本量计算 (Power Analysis)：JNeuroT+ 为 47.06%，远高于 ExpNeuro (8.36%) 和 JNeuroT (11.78%)。
  • 数据可用性 (Data Availability)：JNeuroT+ 为 51.35%，显著高于其他组。
  • 纳入/排除标准和受试者流失 (Attrition) 的报告率也显著提升。
• 未明确列出的指标（Not Explicitly Asked Items）：
  • 受试者性别 (Sex)：ExpNeuro 的报告率 (79.07%) 显著高于 JNeuroT+ (62.16%) 和 JNeuroT (61.35%)。这表明强制性 TRR 部分并未改善性别的报告，甚至可能因为作者只关注检查表而忽略了这一重要变量。
  • 试剂透明度 (Antibodies/Tools)：两本期刊在抗体和工具的透明报告（如提供 RRID 或目录号）方面表现都很差（约 10% 或更低），远低于 PMC 平均水平（约 30%）。JNeuroT+ 并未改善这一情况。
  • 细胞系和生物体：在 JNeuroT+ 的 37 篇样本中，细胞系和生物体的报告率为 0%。
• 趋势观察：2024 年的数据显示，JNeuroT+ 的得分有下降趋势，而 ExpNeuro 的得分有所上升，提示该政策的长期效果尚需观察，可能存在“一次性合规”而非“持续性改进”的风险。

5. 研究意义与结论 (Significance)

• 政策有效性验证：强制性的编辑政策（如要求单独的 TRR 部分）确实能有效提高作者对特定要求项的报告率（如盲法、统计功效、数据共享）。
• 局限性警示：
  • “检查表思维”风险：作者倾向于只完成检查表上的任务，而忽略了未明确列出的关键科学严谨性要素（如性别作为生物变量、试剂的可追溯性）。
  • 指南细节不足：期刊的 TRR 指南在试剂识别（RRIDs）方面指导不够具体，导致即使有政策，关键资源的可发现性依然低下。
• 未来建议：
  • 期刊政策需要更加全面，不仅要求列出特定项目，还应明确强调 NIH 严谨性标准中关于性别、**试剂认证（RRIDs）**等关键要素。
  • 需要长期跟踪研究，以确认这种报告率的提升是否能转化为实验室实际操作规范的持久改变，而不仅仅是论文写作层面的合规。
  • 利用 AI 工具（如 SciScore）进行持续监测是评估期刊政策有效性的有力手段。

总结：该研究证明了编辑政策在提升特定透明度指标方面的有效性，但也揭示了当前政策在引导作者全面关注科学严谨性（特别是试剂识别和生物变量）方面的不足。未来的改进方向应在于细化指南内容，确保所有关键严谨性要素都被纳入强制报告范围。