论文技术总结：生成式 AI 如何重塑软件工程研究格局

论文标题：Taking a Pulse on How Generative AI is Reshaping the Software Engineering Research Landscape
作者：Bianca Trinkenreich 等（来自科罗拉多州立大学、奥克兰大学、PUC-Rio 等多所国际知名高校及机构）
发表年份：2025 (Manuscript submitted to ACM)

---

1. 研究背景与问题 (Problem)

生成式人工智能（GenAI）正在深刻改变软件开发和工程实践，同时也正在重塑学术研究的方式。软件工程（SE）研究人员越来越多地利用 GenAI 工具辅助文献综述、代码编写、数据分析、论文写作及同行评审等工作。然而，尽管 GenAI 在学术界迅速普及，目前仍缺乏关于研究人员实际如何使用这些工具、这种使用对研究实践和治理有何影响的实证证据。

现有的早期指南尚不完善，许多研究人员对于在研究中如何合规、负责任地使用 GenAI 感到困惑。此外，研究人员面临着来自出版和资助机构的“生产力压力”，被迫采用 GenAI 以保持竞争力，这引发了关于研究可靠性、透明度、完整性以及潜在风险（如幻觉、偏见、剽窃）的争议。

核心研究问题 (RQs)：

• RQ1: 谁在使用 GenAI？其动机是什么？
• RQ2: 研究人员在 SE 研究的哪些环节（策略、方法、阶段）如何使用 GenAI？具体如何使用？
• RQ3: 研究人员感知到的 GenAI 带来的益处、挑战和机遇是什么？
• RQ4: 研究人员对 GenAI 的信任度如何？他们感知到哪些风险？如何缓解这些风险？
• RQ5: 研究人员认为应制定哪些监管政策来规范 GenAI 在研究和同行评审中的使用？

2. 研究方法 (Methodology)

本研究采用大规模混合方法调查（Survey），结合定量统计分析和定性归纳/演绎分析。

• 数据收集：
  • 样本：针对 2023 年至 2025 年间在顶级软件工程会议（ICSE, ASE, FSE）和期刊（TSE, TOSEM, EMSE）发表论文的作者进行抽样。
  • 规模：共收到 457 份有效回复，来自全球不同经验水平的研究人员。
  • 工具：使用 Qualtrics 设计的在线问卷，包含封闭式和开放式问题。
• 数据分析：
  • 定量分析：对封闭式问题进行描述性统计（频率、比例、Top-2-Box 评分），分析不同人口统计学特征（如职业阶段、地理位置）下的使用模式。
  • 定性分析：对开放式回答进行主题分析（Thematic Analysis）。采用演绎编码（基于 Andersen et al. 的研究阶段框架）与归纳编码（从数据中涌现的新类别）相结合的方法。
  • 细分分析：将受访者分为“仅用于研究”、“仅用于非研究”和“未使用”三组，重点分析“用于研究”的群体（n=339）。

3. 主要贡献 (Key Contributions)

1. 首个 SE 研究领域的 GenAI 使用实证画像：提供了关于 SE 研究人员如何采用 GenAI 及其在研究流程中分布情况的详细基线数据。
2. 分类学构建：
   • 构建了 SE 研究人员感知的益处、挑战和机遇分类学。
   • 构建了风险缓解策略分类学（如“人在回路”、技术保障等）。
   • 构建了同行评审中 GenAI 使用场景的分类学。
3. 信任与治理洞察：揭示了研究人员对 GenAI 的信任度分布，识别了关键风险（如准确性、偏见），并总结了社区对监管和政策的需求。
4. 揭示张力：识别了生产力与质量、效率与努力、民主化与不平等之间的核心张力。

4. 关键研究结果 (Key Results)

4.1 使用现状与动机 (RQ1)

• 普及率：74% 的受访者表示在研究中使用 GenAI。
• 人群特征：早期职业研究人员（Early-career）使用率最高（86%），亚洲地区使用率最高（93%）。
• 动机：主要受系统性压力驱动。58% 的受访者感到有压力将研究内容与 GenAI 挂钩以维持相关性或获取资金；55% 感到有压力去学习 GenAI 以保持竞争力。许多人认为“没有 GenAI 的研究几乎自动被视为无效”。

4.2 使用场景与方式 (RQ2)

• 分布不均：GenAI 的使用高度集中在写作与传播（Writing and Dissemination）阶段，其次是早期阶段（目标设定、设计）。
• 低使用区：在数据收集、数据处理和方法论设计阶段的使用率较低，这些环节仍主要由人类主导。
• 具体用例：
  • 写作：润色语言、总结文本、生成标题/摘要、翻译（非母语者受益最大）。
  • 数据分析：辅助编写分析脚本、解释定性数据、生成合成数据。
  • 同行评审：主要用于润色评审意见、检查参考文献、总结论文，但极少用于直接做出接受/拒绝的决策。
• 信任度：研究人员对 GenAI 在“写作与传播”阶段的信任度最高（77%），而在“研究目标与问题 formulation"阶段信任度最低（23%）。

4.3 益处、挑战与机遇 (RQ3)

• 主要益处：提高生产力（写作更快、脚本开发更容易）、降低非母语者的语言障碍、自动化繁琐任务。
• 主要挑战：缺乏信任（34%）、监管不确定性（23%，如 GDPR 合规性）。
• 机遇：释放时间用于高价值思考、降低认知负荷、促进跨学科知识融合。
• 负面观点：部分研究人员担心 GenAI 会导致研究质量下降、产生“浅薄”的研究，甚至认为 SE 社区正在沦为“二流 AI 社区”。

4.4 风险感知与缓解 (RQ4)

• 核心风险：
  1. 准确性与幻觉：担心 GenAI 在研究文本中引入错误或捏造事实（85% 同意此风险）。
  2. 偏见与不平等：加剧现有偏见，或导致资源不平等（只有大团队能负担最新模型）。
  3. 学术不端：剽窃、伪造数据、难以检测。
• 缓解策略：
  1. 人在回路 (Human-in-the-loop)：最核心的策略（65%）。强调人类必须审查、验证 GenAI 的输出，保留最终决策权。
  2. 使用边界：限制 GenAI 仅用于特定任务（如语法检查、头脑风暴），禁止用于核心方法论判断。
  3. 透明度：明确披露 GenAI 在研究中的具体用途。
  4. 教育与治理：加强研究人员培训，制定机构层面的指导方针。

4.5 监管与政策 (RQ5)

• 监管共识：绝大多数（101/119）受访者认为需要监管。
• 监管方向：
  • 不应是“一刀切”的禁令，而应基于原则（如透明度、可重复性）。
  • 需区分任务类型：例如，允许用于头脑风暴，但禁止用于系统性文献综述（SLR）的筛选，或禁止用于同行评审的决策。
  • 关注学习机会：过度依赖 GenAI 可能剥夺初级研究人员学习核心技能的机会。

5. 核心张力与讨论 (Significance & Tensions)

论文深入探讨了 GenAI 引入 SE 研究后产生的几组关键张力：

1. 生产力 vs. 努力 (Productivity-Effort)：虽然 GenAI 旨在提高效率，但负责任地使用它（验证、调试、批判性思维）实际上需要更多的努力和专业知识。新手若缺乏指导，可能导致研究质量下降。
2. 生产力 vs. 质量 (Productivity-Quality)：追求产出速度可能导致研究深度不足，甚至产生不可信的研究成果，损害整个学术生态的信任基础。
3. 能力管道风险 (Competence Pipeline at Risk)：如果初级研究人员过度依赖 GenAI 完成核心任务（如数据分析、写作），可能导致基础研究技能（批判性思维、数据理解）的退化，长远来看将削弱社区利用 GenAI 的能力。
4. 快速变化 vs. 稳定指导：技术迭代极快，而制定稳定的研究规范需要时间。社区需要在“原则性指导”（如强调验证）和“具体工具规范”之间找到平衡。

6. 结论与意义

该研究为软件工程社区提供了 GenAI 使用的实证基线。

• 现状：GenAI 已广泛渗透，但主要集中在辅助性任务（写作、代码生成），核心研究环节（设计、数据收集）仍由人类主导。
• 警示：如果不加干预，生产力压力可能导致研究质量下降和初级研究人员技能退化。
• 建议：
  1. 建立动态的、基于原则的社区指南，强调透明度、验证和问责制。
  2. 改革研究生教育，确保学生在掌握基础研究技能的同时学习 GenAI 素养，而非将其作为替代。
  3. 开展纵向研究，跟踪随着技术演进，研究人员实践和感知的变化。

这项研究不仅揭示了现状，更呼吁社区在拥抱技术红利的同时，必须警惕其对学术严谨性和人才培养的潜在侵蚀，通过“人在回路”和严格治理来确保 GenAI 负责任地融入学术实践。