An Agentic Approach Towards Replication Package Quality Evaluation

技术摘要：一种用于复制包质量评估的智能体方法

问题陈述
经验软件工程中的可复现性依赖于研究人工制品（源代码、数据集、脚本等）的可获得性和质量。然而，对这些复制包的评估在很大程度上仍是一个依赖人工、耗时且难以规模化的过程。现有的指南和检查表（例如来自 ICSE 或 OSDI 等会议）定义了应当报告的内容，但在自动评估异构人工制品是否符合这些标准方面提供的支持非常有限。因此，评审人员面临着巨大的工作负担，大规模的可复现性评估也因评估深度不一致和缺乏标准化、机器可验证的程序而受到阻碍。

方法论
作者提出了一种智能体方法，旨在将开放科学指南转化为机器可验证的标准，以实现自动化的人工制品评估。该方法围绕三个研究问题（RQ）构建，分别涉及评估可复现性潜力、识别优缺点以及利益相关者的感知效用。

1. 标准操作化： 团队分析了 34 个来源（包括顶级会议指南、期刊政策和社区最佳实践），提取了 380 个原始需求。这些需求被整合为 51 个层级化的可复现性标准。为了实现自动化推理，其中 31 个标准通过结构化的辅助字段进行了增强：additional_information（附加信息）、input_needed（所需输入）、detection_strategy（检测策略）和 success_failure_conditions（成功/失败条件）。这些数据存储在 SQLite 知识库中，以支持可追溯性和检索。
2. 智能体系统架构： 该系统使用 LangGraph 实现为一个有状态的、基于图的工作流，包含五个阶段：
   • 摄取与嵌入： 将输入论文（从 PDF 转换为 Markdown）和人工制品转换为向量数据库，以进行检索增强生成（RAG）。
   • 人工制品检索与分析： 子智能体提取人工制品引用（例如 GitHub、Zenodo）。如果自动检索失败，则通过人机回环（HITL）中断请求用户指导。检索到的 README 文件会被摘要处理，无关文件（二进制文件、日志）通过基于规则和基于 LLM 的分类器进行剔除。
   • 计划生成： 工作子智能体针对用户选择的子主题生成检查步骤，并将其合成一个层级化的策略。该计划经过 HITL 循环进行用户细化和批准。
   • 子主题评估： 编排器向在隔离上下文中评估标准的子智能体分发任务，通过混合检索（词法和语义）收集证据。评估要求提供明确的引用（文件路径、代码片段），并且在证据缺失时默认判定为“失败（Fail）”。
   • 报告汇编： 发现结果被聚合为一个带有执行元数据和追踪 ID 的层级化 Markdown 报告。
3. 智能体配置： 系统采用了五个专门的智能体（检索、计划、编排、执行、报告），利用各种 GPT-5 变体（例如 gpt-5-nano、gpt-5-mini、gpt-5.1），并将温度设定为 0 以最大化确定性。

核心贡献
本文提出了三个主要贡献：

1. 操作化的标准： 一套从 34 个来源中提取的、统一的 51 个机器可验证的可复现性标准，其中 31 个专门针对基于人工制品的自动化评估进行了操作化处理。
   2. 智能体评估框架： 一个新型的多智能体原型，能够自主检索、结构化并根据这些标准评估研究人工制品，从而生成基于证据的改进报告。
   3. 试点实证证据： 来自技术评估和对七名软件工程研究人员调查的初步结果，展示了该方法的潜力及当前的局限性。

结果
评估针对五个复制包进行了测试，并开展了针对七名研究人员的试点调查。

• 可靠性与一致性： 在每个包进行 10 次独立执行的情况下，系统表现出 91.4% 的高运行间一致性。在结构化领域（数据/人工制品可用性：94.8%；伦理/治理：94.0%）的稳定性最高。
• 与人工基准的一致性： 与人工地面真值（ground-truth）评估相比，智能体的微平均准确率（micro-accuracy）为 75.4%，宏平均准确率（macro-accuracy）为 68.2%。
  • 对于识别“通过（Passed）”标准的项，智能体表现出高精确度（86.4%）和高召回率（81.5%）。
  • 对于“失败（Failed）”标准的项，召回率较高（85.8%）但精确度较低（56.7%），这表明存在趋向严格的偏差（即在证据不明确时默认判定为失败）。
  • 性能随主题变化显著：代码/环境为 84.6%，数据/可用性为 77.2%，但实验严谨性仅为 38.0%。
• 定性分析： 智能体在结构性标准（代码、环境、可用性）方面表现良好，但在定性或混合方法研究以及条件性标准（例如，区分是训练新模型还是重新运行现有代码）方面表现挣扎。
• 用户感知： 调查参与者对工具的清晰度和集成度给予了积极评价（均值约为 3.83/5），并对使用该工具改进人工制品的信心表示认可（均值约为 3.67/5）。然而，用户注意到在 HITL 计划阶段存在认知负荷，认为对于新用户而言，所需的细节程度过于繁琐。

意义与主张
本文声称，智能体研究人工制品评估具有支持作者和评审员的潜力，可以通过自动化部分常规检查，将流程从回顾性的手动负担转变为可扩展的主动工作流。

• 常规检查自动化： 该方法成功地将广泛的开放科学规则操作化为自动化检查，特别是在计算型和以代码为中心的研究领域。
• 基于证据的透明度： 不同于不透明的端到端模型，该智能体通过提取带有明确文件路径引用的证据来支撑评估，从而允许对推理过程进行独立审计。
• 可扩展性： 该架构能够较好地处理复制包的异构性（多样化的格式和结构），为大规模可复现性评估提供了路径。
• 局限性： 作者谦虚地承认，目前的方法偏向于定量和以代码为中心的研究，在处理定性研究和非典型人工制品布局方面存在困难。他们还指出，对商业 LLM 的依赖以及 HITL 计划阶段的认知负荷是未来需要改进的领域。

作者将这项工作定位为一篇“初步结果”论文，提供了此类系统具有可行性和价值的初步证据，同时也强调了在处理复杂格式、提高对不同研究类型的适应性以及简化用户界面方面的改进需求。