这篇论文就像是一次对“软件工程师们写的总结报告"进行的大体检。
想象一下，软件工程师（SE）就像是一群在森林里探险的寻宝猎人。他们经常写“寻宝地图”（也就是系统性综述，SR），告诉后来者：“嘿，这里有个宝藏，我们是怎么找到的，证据是什么。”
但这篇论文的作者（来自芬兰和加拿大的三位学者）发现了一个大问题：很多“寻宝地图”虽然画得很漂亮，却把真正的“藏宝图”（研究数据、代码、工具等，统称为研究制品**）藏起来了，或者根本没画出来。**
他们检查了从 2013 年到 2023 年发表的537 份这样的“寻宝地图”，看看大家到底有没有把“藏宝图”公开。
以下是用大白话和比喻总结的核心发现：
1. 现状：只有三成的人愿意分享“藏宝图”
- 比喻：想象有 100 个猎人写了寻宝报告，但只有 31 个 猎人真的把他们的“藏宝图”（研究数据、代码）贴在了报告后面。
- 数据：在检查的 537 份报告中，只有 31.5% 包含了研究制品。这意味着绝大多数人只是说“我找到了”，却不给你看“我是怎么找到的”或者“证据在哪”。
2. 好消息：情况正在变好（像春天发芽一样）
- 比喻：虽然起步很低，但就像春天的树苗，情况正在慢慢变好。
- 数据：作者发现，随着年份推移，愿意分享的人越来越多。到了 2023 年，已经有 62% 的报告开始分享“藏宝图”了。这说明大家越来越意识到“透明”的重要性。
3. 坏消息：很多“藏宝图”放在不安全的“临时帐篷”里
- 比喻：即使有人分享了“藏宝图”，他们往往把它放在临时的帐篷（个人网页、机构临时链接）里，而不是坚固的银行金库（永久存储库，如 Zenodo、Figshare，带有 DOI 永久编号）。
- 风险：临时帐篷很容易被风吹走（链接失效）。
- 数据：
- 在那些分享了“藏宝图”的报告里，只有 38.5% 是放在“银行金库”里的。
- 如果看所有报告，只有 12.1% 真正做到了“永久保存”。
- 更糟糕的是，作者发现即使是 2023 年发布的报告，里面有些链接已经死掉了（打不开），就像你拿着地图去寻宝，结果发现那个山洞入口被堵死了。
4. 为什么这很重要？（为什么要强迫大家分享？）
作者列出了四个理由，告诉我们为什么必须把“藏宝图”公开：
- 为了“复现”（验证真伪）：科学的核心是“可重复”。如果别人不能拿着你的“藏宝图”重新走一遍流程，怎么知道你是不是在吹牛？
- 为了“信任”：如果你把方法、数据和过程都摊开在阳光下，大家才会相信你的结论是靠谱的，不是瞎编的。
- 为了“更新”：世界在变，旧的“寻宝地图”可能会过时。如果有原始数据，后人可以很容易地更新地图，而不是重新发明轮子。
- 为了“自动化”（让 AI 帮忙）：现在流行用人工智能（AI）来写报告。但是，AI 需要“藏宝图”作为训练材料。如果大家都藏着掖着，AI 就学不会怎么帮人类写报告。
5. 作者的建议：我们要“强制公开”
- 比喻：以前大家是“自愿分享”，现在作者呼吁要变成“强制规定”。就像去超市买东西，必须明码标价，不能藏着掖着。
- 具体做法：
- 所有的“寻宝报告”（系统性综述）必须有一个专门的章节，说明数据在哪里。
- 数据必须放在永久存储库（有 DOI 编号），确保几十年后还能找到。
- 不能只说“数据保密”或者“有需求再联系”，因为学术研究本来就不该有这种保密理由。
总结
这篇论文就像一位严厉的导师，指着软件工程师们的鼻子说：
“你们写的总结报告越来越多了，这很好！但是，别再只给结论，不给证据了！ 把你们的‘藏宝图’（数据、代码）拿出来，放在‘银行金库’（永久存储库）里，这样科学才能进步，大家才能互相信任。”
虽然目前只有少数人做到了，但趋势是向上的，作者希望未来能达到 100% 的公开率。
论文技术总结：软件工程二次研究中的研究 artifacts 现状：一项系统映射研究
论文标题：Research Artifacts in Secondary Studies: A Systematic Mapping in Software Engineering
作者：Aleksi Huotala, Miikka Kuutila, Mika Mäntylä
发表机构：赫尔辛基大学（芬兰），达尔豪斯大学（加拿大）
时间范围：2013 年 - 2023 年
1. 研究背景与问题 (Problem)
系统综述（Systematic Reviews, SRs）是总结软件工程（SE）领域前沿证据的关键方法。然而，当前的 SRs 在**研究 artifacts（研究制品/数据/代码等）**的公开和报告方面存在严重不足。
核心问题：
- 可重复性与信任缺失：缺乏 artifacts 使得其他研究者难以复现综述过程，削弱了科学结论的可信度。
- 更新困难：没有 artifacts 导致后续难以更新综述，使研究容易过时。
- 自动化障碍：随着大语言模型（LLMs）等自动化工具在 SE 综述中的应用，缺乏标准化的 artifacts 阻碍了自动化验证和质量提升。
- 现状不明：此前缺乏对 SE 领域二次研究（Secondary Studies）中 artifacts 可用性、存储位置及报告方式的系统性量化分析。
2. 研究方法 (Methodology)
本研究采用**系统映射研究（Systematic Mapping Study）**的方法，遵循 Petersen 等人指南及 SIGSOFT 实证标准。
- 数据来源：
- 检索库：Scopus。
- 时间跨度：2013 年 1 月 1 日至 2023 年 12 月 31 日（选择此范围是因为 Zenodo 和 Figshare 等永久存储库分别于 2013 年和 2011 年上线）。
- 检索对象：13 本 SE 相关期刊和 2 本计算机科学综述类期刊（如 ACM Computing Surveys）。
- 检索式：包含 "Systematic review", "Mapping Study", "Meta Analysis" 等关键词。
- 筛选过程：
- 初始检索得到 643 篇文章。
- 纳入标准：2013-2023 年发表、属于二次研究、与 SE 相关。
- 最终样本：537 篇二次研究。
- 一致性检验：Krippendorff's Alpha 为 0.776，表明作者间一致性高。
- 数据提取：
- 采用“人工 + 自动”两轮提取。人工检查全文以识别 dedicated sections（专门章节）；自动脚本搜索关键词并人工核对上下文。
- 重点检查：是否存在外部资源链接、是否存储在永久存储库（如 Zenodo, Figshare, Mendeley）、是否有 DOI。
- 统计分析：
- 使用二元逻辑回归模型（Binary Logistic Regression），以年份（作为有序因子）和期刊为自变量，预测 artifacts 的可用性。
3. 主要贡献 (Key Contributions)
- 首个系统性量化分析：提供了 SE 领域二次研究中 artifacts 可用性的全面基线数据（基于 537 篇文献）。
- 分类与存储分析：详细区分了 artifacts 的存储方式（永久存储库 vs. 临时链接 vs. 按需索取 vs. 死链）。
- 趋势建模：通过回归分析揭示了 artifacts 可用性随时间显著增长的趋势，并量化了不同期刊之间的差异。
- 政策建议：基于数据提出了强制要求在二次研究中发布 artifacts 的具体建议，以推动开放科学。
4. 关键研究结果 (Results)
RQ1: 二次研究中包含研究 artifacts 的比例是多少？
- 总体比例：在 537 篇研究中，仅 31.5% (169 篇) 包含研究 artifacts。
- 趋势：虽然总体比例较低，但随时间推移显著改善。
RQ2: 研究 artifacts 存储在哪里？
- 永久存储库（带 DOI）：在包含 artifacts 的 169 篇研究中，仅 38.5% (65 篇) 使用了永久存储库（如 Zenodo, Figshare）。
- 整体占比：在所有 537 篇研究中，仅 12.1% 使用了永久存储库。
- 2023 年数据：2023 年使用永久存储库的比例上升至 30.4%。
- 死链问题：4.1% 的链接已失效（Dead Link），即使是 2023 年发表的文章中，非永久链接也有失效案例。
RQ3: 数据可用性是如何声明的？
- 在包含 artifacts 的研究中，仅 29.6% (50/169) 包含专门声明数据可用性的章节（如 "Data Availability" section）。
- 2023 年进步：2023 年有 58.2% 的论文包含此类专门章节，但部分声明内容空洞（如“未使用数据”或“仅按需索取”）。
RQ4: 发表年份和期刊对 artifacts 可用性有何影响？
- 年份影响：年份是显著的预测因子。每过 3 年（一个标准差），包含 artifacts 的几率增加 2.31 倍 (Odds Ratio = 2.31)。
- 期刊差异：
- 以 IEEE Transactions on Software Engineering 为基准，其他期刊包含 artifacts 的可能性普遍较低。
- Software: Practice & Experience 和 Computer Science Review 的 odds ratio 最低（分别为 0.04 和 0.09），显著低于基准。
- IEEE Transactions on Software Engineering 和 Automated Software Engineering 表现相对较好。
5. 研究意义与结论 (Significance & Conclusion)
核心发现：
尽管 SE 领域的二次研究在 artifacts 公开方面取得了显著进步（从 2013 年的 3.7% 增长到 2023 年的 62.0%），但透明度仍不足。特别是永久存储库（带 DOI）的使用率极低（整体仅 12.1%），这严重威胁了研究的可重复性和长期可访问性。
主要建议：
- 强制发布：期刊应强制要求在二次研究中发布研究 artifacts。
- 永久存储：必须使用带有 DOI 的永久存储库（如 Zenodo, Figshare），避免使用个人主页或临时链接。
- 规范声明：论文应包含专门的“数据可用性”章节，明确说明 artifacts 的位置，而非模糊的“按需索取”或“无数据”。
- 未来方向：未来的研究应关注 artifacts 的质量评估，并进一步探索如何利用这些 artifacts 自动化综述过程。
总结：
该研究通过详实的数据证明了开放科学原则在 SE 二次研究中的实施仍有巨大提升空间。推动 artifacts 的标准化和永久化存储，是提升软件工程研究可信度、可重复性及自动化水平的关键步骤。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。