Report on reproducibility in condensed matter physics

该报告汇集了学术界、政府实验室、媒体、法律界及出版方等多方专家的意见，针对凝聚态物理领域日益严峻的可重复性与可复现性挑战，提出了贯穿科研全过程的改进建议与最佳实践，旨在为制定更具体的子领域规范奠定基础。

要点

这篇报告就像是一份**“凝聚态物理学界的体检报告”和“整改建议书”**。

简单来说，凝聚态物理（研究固体、液体、超导、磁性材料等）是物理学中非常重要的一块，它造就了我们现在的手机、电脑、激光和 MRI 机器。但最近，这个领域也和其他科学领域（比如医学、心理学）一样，遇到了一个棘手的问题：“可重复性危机”。

想象一下，如果一位大厨在杂志上发布了一道“绝世美味”的菜谱，声称只要按步骤做就能做出米其林三星的菜肴。结果，其他厨师照着做，要么做不出来，要么做出来的味道完全不一样。久而久之，大家就会怀疑：这道菜真的存在吗？还是大厨在吹牛？或者他偷偷藏了关键的调料没写出来？

在物理学界，这就叫**“不可重复”**。这篇报告就是由一群科学家、编辑、律师和政府官员聚在一起，讨论为什么会出现这个问题，并开出了 12 张“药方”。

以下是用通俗语言和比喻对报告核心内容的解读：

1. 问题出在哪？（为什么“菜谱”做不出来？）

报告指出，物理学界以前有个错觉，觉得“物理定律是永恒的，所以只要实验做对了，别人肯定能重复出来”。但现实并非如此。

• “报喜不报忧”的偏见：就像新闻只报道“今天股市大涨”，不报道“今天很多人亏钱”。科学家和期刊都喜欢发“惊人发现”（比如室温超导），而不喜欢发“这个实验失败了”或者“那个结果其实很普通”。这导致大家看到的都是“完美”的结果，但背后可能藏着大量被丢弃的失败数据。
• 把“魔术”当科学：有些科学家为了保持自己的“独家秘方”（竞争优势），故意不把实验细节、原始数据或代码写得清清楚楚。这就好比魔术师告诉你“我变出了兔子”，但绝不告诉你兔子是从哪来的，也不让你看他的空袖子。
• 压力太大：现在的学术圈就像一场“军备竞赛”。为了拿经费、评职称、找好工作，研究人员必须不断发表“重磅炸弹”式的论文。这种压力迫使他们可能忽略细节，甚至为了凑出好结果而“挑挑拣拣”数据（只展示好看的部分，扔掉难看的）。
• 缺乏标准：大家用的“尺子”不一样。有的用这个软件，有的用那个参数，没有统一的“操作手册”，导致别人想重复实验时，根本不知道从何下手。

2. 后果是什么？（“魔术”穿帮了）

• 资源浪费：无数年轻科学家和经费被浪费在试图重复那些根本做不出来的“神话”上。
• 信任崩塌：当像“室温超导”或“马约拉纳费米子”这样的大新闻被证明无法重复甚至被撤稿时，公众和资助机构对科学的信任就会受损。
• 职业生涯受损：很多年轻研究者因为无法重复前人的工作，或者因为前人的错误而被迫转行，这是人才的巨大损失。

3. 解决方案：给科学界的“新规矩”

报告提出了针对科学家、出版社、大学、资助机构四个方面的具体建议，我们可以把它们想象成重建信任的“四根支柱”：

🧪 给科学家（做饭的人）的建议：

• 公开所有“食材”和“火候”：发表论文时，不仅要给菜谱，还要把原始数据、处理数据的代码、实验设备的型号全部公开。就像把厨房监控录像也放出来，让大家看你是怎么一步步做出来的。
• 别只挑好看的菜：如果你做了 10 次实验，有 3 次失败了，也要在论文里提一下。不要只展示那 1 次成功的，要告诉大家全貌。
• 承认错误不丢人：如果发现以前的文章有错，要主动去修正或撤回。这就像承认“上次那道菜盐放多了”，比硬撑着说“这是特色”要高尚得多。

📰 给出版社（发杂志的）的建议：

• 别只看“标题党”：编辑在审稿时，不要只盯着“这个发现惊不惊人”，更要看“这个实验做得扎不扎实”。
• 欢迎“打假”文章：如果有一篇文章专门去验证别人的发现并说“做不出来”，出版社应该高兴地把这篇发出来，而不是把它拒之门外。
• 数据必须存好：不能只说“数据可索取”，必须强制要求把数据上传到公共仓库，谁都能看。

🏫 给大学和实验室（老板们）的建议：

• 别只数论文数量：在评职称时，不要只看一个人发了多少篇论文，要看他分享了多少数据、代码，以及他的工作是否经得起推敲。
• 保护“吹哨人”：如果有学生或年轻研究员发现导师或同事的数据有问题，要保护他们不被报复，让他们敢说话。

💰 给资助机构（给钱的）的建议：

• 给“重复实验”发钱：专门设立基金，资助那些去验证别人成果的研究。哪怕结果是“重复失败了”，也是有价值的科学贡献。
• 把“可重复性”作为发钱条件：申请经费时，必须写出你打算如何公开数据和代码，否则不给钱。

4. 总结：为什么要这么做？

这就好比我们要盖一座摩天大楼（科学大厦）。如果地基（实验数据）是模糊的、甚至是伪造的，那么楼盖得再高、再漂亮，迟早会塌。

这份报告的核心思想是：科学不仅仅是发现新事物，更是确保这些发现是真实的、可靠的。

通过**“透明化”（公开所有数据）、“标准化”（统一报告格式）和“去功利化”**（不再唯论文论），物理学界希望重建信任，让科学回归其最本质的样子——诚实、严谨、可验证。只有这样，未来的技术突破（比如真正的室温超导）才能稳稳地落在地面上，造福人类。

技术摘要

这份报告由凝聚态物理（Condensed Matter Physics, CMP）领域的多位研究人员、期刊编辑、政府实验室代表、法律专家及出版商共同撰写，旨在应对该领域日益严重的可重复性（Reproducibility）和可复现性（Replicability）危机。报告基于 2024 年 5 月在匹兹堡大学举行的“凝聚态物理可重复性国际会议”的讨论成果。

以下是该报告的详细技术总结：

1. 问题背景 (The Problem)

尽管物理学常被认为因遵循自然定律而免受“可重复性危机”的影响，但报告指出，凝聚态物理领域正面临严峻挑战，其根源与其他科学领域（如生物医学和社会科学）类似：

• 定义混淆与现状： 报告严格区分了可重复性（使用相同的数据、代码和条件重新生成结果）与可复现性（独立收集新数据并得出一致结论）。目前，大多数 CMP 研究因缺乏原始数据、代码、详细协议和样本访问权限，实际上既不可重复也不可复现。
• 激励错位：
  • 发表偏见： 学术界和出版商倾向于发表“新颖”、“惊人”或“颠覆性”的结果（即“逆奥卡姆剃刀”效应），而忽视平淡但稳健的验证性研究。
  • 职业压力： 研究人员面临巨大的晋升、资助和终身教职压力，导致倾向于选择性报告数据、过度解读结果，甚至隐瞒负面数据。
  • 竞争壁垒： 部分研究者故意不公开代码或方法，以维持竞争优势，阻碍了验证。
• 具体表现： 数据不透明（仅提供部分数据或难以处理的格式）、实验协议缺失、代码不可用、样本差异未说明、以及缺乏对替代解释的讨论。
• 严重后果： 导致资源浪费（资助了无法复现的研究）、职业生涯受损（年轻研究者被误导）、以及重大科学声明的撤回（如室温超导、马约拉纳费米子等热点领域的争议）。

2. 方法论 (Methodology)

本报告并非基于单一实验，而是基于多方利益相关者的协作研究：

• 会议基础： 汇集了来自学术界、政府实验室、科学新闻界、法律界、出版商和专业学会的专家。
• 讨论形式： 包括案例研究（高压超导、非常规超导、马约拉纳零模、密度泛函理论等）、小组讨论和专题演讲。
• 分析框架： 参考了美国国家科学院、工程院和医学院（NASEM）2019 年关于科学可重复性的报告，并结合 CMP 领域的特殊性（如小团队研究、定制化设备、探索性研究为主）进行了适应性分析。
• 共识构建： 通过多轮讨论，识别了阻碍可重复性的系统性障碍（文化、政策、技术），并制定了针对不同角色的具体建议。

3. 关键贡献与建议 (Key Contributions & Recommendations)

报告提出了针对四个主要利益相关群体的详细最佳实践和政策建议：

A. 针对凝聚态物理研究人员 (Best Practices for Researchers)

1. 全参数范围报告： 报告实验参数的完整范围，避免仅展示支持特定结论的窄范围数据。
2. 全员数据访问： 所有作者在同意发表前必须能访问所有原始数据和分析软件。
3. 信息完整性： 论文、附录和补充材料必须包含足够的信息以供复现（包括仪器型号、软件版本、库文件等）。
4. 数据共享： 尽可能随论文发布原始数据，遵循 FAIR 原则（可发现、可访问、可互操作、可重用），若无法完全达标，也应提供现有格式的数据。
5. 数据呈现： 包含所有合理的数据呈现方式（如不同坐标轴比例），避免通过可视化手段误导。
6. 处理步骤透明化： 明确说明从原始数据到最终图表的所有处理步骤和脚本。
7. 多解释性讨论： 总结所有合理的结果解释，讨论替代假设，而不仅仅是支持作者观点的解释。
8. 样本统计： 报告测试样本的数量，并展示次优数据集以评估内部可重复性。
9. 代码发布策略： 制定内部代码的发布政策（如延迟公开或托管），并在论文中声明。
10. 纠错机制： 发现错误后应主动撤回或更正。

B. 针对科学出版商 (Recommendations for Publishers)

1. 重审发表标准： 从侧重“主观吸引力”转向侧重“科学有效性”和“准确性”。
2. 强制数据可用性： 要求所有数据和分析脚本必须存储在可引用的存储库中，而非仅声明“合理请求可得”。
3. 支持复现研究： 制定明确标准，鼓励并发表复现性研究（包括负面结果），设立专门的复现文章类型。
4. 审查补充材料： 对补充材料实施严格的审查标准，确保其包含验证所需的关键信息。
5. 开放同行评审： 考虑采用开放评审（公开审稿人身份或报告），以增加透明度和问责制。
6. 透明撤稿政策： 制定清晰的撤稿和更正流程，减少法律威胁带来的寒蝉效应。

C. 针对大学与研究机构 (Recommendations for Universities & Labs)

1. 重新定义产出： 将数据集和代码视为与论文同等重要的研究成果，纳入简历和晋升评估。
2. 晋升标准改革： 在晋升评估中认可可重复性实践，减少对引用数等指标的过度依赖（遵循 DORA 宣言）。
3. 调查机制： 建立透明、独立的调查程序来处理不端行为指控，不仅限于欺诈，还包括不可靠的研究。
4. 保护吹哨人： 为举报不可靠科学的研究人员（特别是初级研究人员）提供强有力的保护。

D. 针对政府与资助机构 (Recommendations for Funding Agencies)

1. 资助复现工作： 专门设立资金用于验证高影响力的先前结果，消除“复现研究无价值”的文化偏见。
2. 提案要求： 要求资助申请书中必须包含可重复性和可复现性计划（如数据管理计划）。
3. 评估与奖励： 将可重复性作为项目评估和奖励的核心指标。
4. 强制报告： 要求受资助机构向资助机构报告所有科学不端行为的调查情况。

4. 结果与现状分析 (Results & Findings)

• 危机普遍性： 报告确认 CMP 领域存在显著的可重复性问题。虽然缺乏精确的统计数据，但社区调查显示，许多研究人员目睹过数据造假或技术描述不诚实的现象。
• 典型案例： 列举了近年来因无法复现而被撤回的高影响力研究（如室温超导、马约拉纳费米子相关研究），以及理论计算领域的争议（如多体局域化、AI 材料预测）。
• 系统性障碍： 现有的政策（如“合理请求”条款）往往流于形式，缺乏执行力。机构内部调查往往不透明且效率低下，导致问题被掩盖。
• 技术可行性： 现有的数字存储和共享基础设施（如 Zenodo, Figshare 等）已足够支持大多数 CMP 研究的数据共享，主要障碍在于文化和政策，而非技术。

5. 意义与展望 (Significance)

• 维护科学诚信： 提高可重复性是恢复公众对科学信任、确保科学发现真实性的基石。
• 资源优化： 减少因不可靠研究导致的资金和人力浪费，使科研资源能更有效地用于真正的创新。
• 文化变革： 推动从“追求轰动效应”向“追求稳健验证”的科研文化转变。
• 长期价值： 通过标准化数据、代码和协议的共享，确保科学成果能够被长期保存、验证和在此基础上进一步发展。
• 未来方向： 报告呼吁各子领域（如拓扑材料、量子信息）制定具体的最小报告标准，并定期进行可复现性评估。

总结： 这份报告是凝聚态物理领域应对可重复性危机的里程碑式文件。它不仅诊断了问题的根源（激励错位、透明度缺失），还提出了一套全面、可操作的政策框架，旨在通过研究人员、出版商、机构和资助方的共同努力，重塑该领域的科研生态，确保科学发现的可靠性和持久价值。