A Meta-Study on Replication Papers in Usable Security & Privacy
这项混合方法研究分析了可用安全与隐私领域的 24 篇复制论文，旨在揭示该领域目前缺乏明确指南的问题、修改型复制而非精确复制的普遍现象，以及时间与上下文因素的重要作用，并最终为加强复制实践提供实践性建议。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
科学依赖于一个简单但强大的理念：如果你重复进行一项实验并得到相同的结果，你就可以信任该发现。这个过程被称为“复现”（replication），它是可靠知识的基石。在可用安全与隐私（usable security and privacy）领域，研究人员研究真实的人类如何与安全工具（从密码管理器到隐私设置）进行交互。由于人类行为是混乱且随时间变化的，确认一项研究结果在不同情况下依然成立至关重要。如果没有这些检查，该领域面临着将安全准则建立在不稳固基础之上的风险。然而，对于一个年轻且快速发展的领域来说，关于如何重复研究的规则一直以来并不明确，导致研究人员不确定什么才算有效的重复，期刊也不确定应该接受什么样的论文。
来自卡尔斯鲁厄理工学院和南丹麦大学的研究小组致力于绘制这一实践现状的图谱。他们想知道该领域是否真的在重复研究，这些重复是如何进行的，以及是什么驱动了科学家们开展这些工作。为了寻找答案，他们查看了十三个主要的、用于分享安全与隐私研究成果的会议和研讨会的官方指南。随后，他们对 2016 年至 2025 年间发表的论文进行了系统性搜索，寻找声称是重复先前工作的研究。这次搜索得到了二十四篇相关的特定论文。研究小组使用一个详细的框架对这些论文进行了分析，以精确分类它们与原始研究的不同之处，最后，他们向这些论文的作者发送了调查问卷，询问他们最初选择复现这项工作的初衷。
调查显示，尽管复现研究的想法被广泛接受，但这种实践却出奇地罕见。在近十年间发表于这十三个场所的数千篇论文中，研究人员仅发现了二十四篇符合用户研究复现标准的论文。这种稀缺性表明，尽管该领域在十年前就承认了复现的重要性，但它尚未成为研究工作流中的标准组成部分。分析表明，学术场所本身并不总是明确其需求。只有大约一半的会议明确鼓励作者提交复现论文，即便是在这些会议中，大多数也没有提供关于如何撰写复现论文或应包含哪些细节的具体说明。其中一个主要会议 SOUPS 虽然提供了特定的复现类别，但即使是那里，指南也随着时间的推移发生了变化，用更宽泛的描述取代了具体的定义。
当研究人员检查发现的这二十四篇论文时，他们发现该领域根本不存在严格、精确的重复。在精确复现中，科学家会尝试完美地复制原始研究，使用相同的人群、相同的工具和相同的问题，仅仅是为了观察数据是否一致。但这篇研究中的所有论文都没有遵循那条路径。相反，几乎所有的研究都是“概念性”复现，这意味着研究人员改变了原始工作的多个方面。大约三分之二的研究改变了实验的一个以上的主要部分。他们可能会测试不同的群体，例如将大学生更换为老年人；或者可能会改变方法，例如将研究从计算机实验室转移到在线调查。在许多情况下，数据分析的方式也是不同的。研究人员指出，仅仅通过阅读论文，往往很难准确判断到底改变了什么，因为作者并不总是清晰地列出他们的修改之处。
发给作者的调查问卷提供了关于为何选择从事这项工作的洞察。最常见的理由是观察原始发现是否仍能随着时间的推移和技术的演进而保持不变。安全威胁和用户习惯变化迅速，因此五年前的研究结果在今天可能不再适用。另一个强有力的动力是效率；研究人员经常重复利用现有的材料或方法以节省时间和资源，从而能够将精力集中在新的问题上，而不是从头开始构建一切。一些作者还希望确认结果是否可以推广到不同的文化或人口统计特征。有趣的是，研究人员发现，许多研究的动机在于验证早期的结果，但论文本身往往缺乏解释其与原研究联系的清晰陈述。
基于这些发现，作者提出了一套改进现状的实际步骤。他们建议会议组织者应为作者和评审员提供更清晰的指南，明确说明什么是复现以及必须包含哪些细节。他们建议未来的复现研究作者使用一张简单的表格来列出其工作与原始研究的具体差异，涵盖涉及的人群、使用的方法以及进行的分析。这种透明度将有助于评审员和读者理解新研究的价值。目标并不是强迫研究人员完美地复制研究，而是要确保当他们进行研究重复时，是以一种清晰、诚实且对整个领域都有益的方式进行的。通过使这些实践标准化，该领域可以朝着一个更强大、更可靠的基础迈进，以理解人类如何与安全及隐私进行交互。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。