Improving Code Comprehension through Cognitive-Load Aware Automated Refactoring for Novice Programmers

这是一份关于论文《Improving Code Comprehension through Cognitive-Load Aware Automated Refactoring for Novice Programmers》（通过认知负荷感知自动化重构提升新手程序员的代码理解能力）的详细技术总结。

1. 研究背景与问题 (Problem)

• 核心痛点：新手程序员在理解他人编写的代码时面临巨大困难。这种困难并非源于语法不熟悉，而是源于代码结构问题，如深层嵌套、复杂的控制流、模糊的命名以及不清晰的模块化边界。
• 现有方案的局限：
  • 传统的代码解释（Explanations）只能提供辅助，无法改变代码本身的结构。
  • 现有的自动化重构（Refactoring）方法通常旨在降低常规复杂度指标（如圈复杂度），但往往忽略了认知负荷（Cognitive Load）。不加约束的重构可能会破坏新手已经建立的心理模型，或者引入新的逻辑错误，反而增加了理解负担。
• 研究目标：开发一种基于**认知驱动开发（Cognitive-Driven Development, CDD）**原则的自动化重构系统，在保持代码行为不变的前提下，通过降低认知负荷来辅助新手理解代码。

2. 方法论 (Methodology)

本研究提出了 CDDRefactorER，一个基于大语言模型（LLM）的自动化重构框架。

2.1 核心理论基础：认知驱动开发 (CDD)

• 内在复杂度点 (ICPs)：基于工作记忆限制（米勒定律，7±2 原则），为控制流结构（如 if, while, for）及其嵌套深度分配成本点。
• 约束机制：重构的目标是将单个代码单元的 ICP 值控制在阈值（如 7）以内，避免超出人类工作记忆的处理能力。

2.2 系统设计与提示工程 (Prompt Engineering)

研究对比了两种提示策略：

1. 基线（Baseline）：无约束的 Zero-shot 提示，仅要求提高可读性。
2. CDDRefactorER：
   • ICP 计算：指示模型计算代码块的 ICP 值。
   • 阈值约束：强制模型识别并重构超过 ICP 阈值的代码单元。
   • 具体重构策略：包括提取方法（Extract Method）、减少嵌套（Reduce Nesting）、消除重复（Eliminate Duplication）、简化布尔返回、改进命名等。
   • 行为保持约束：明确禁止修改字符串字面量、数字常量、函数签名或引入领域假设（防止模型“自作聪明”地修改逻辑）。

2.3 评估实验设计

研究通过三个研究问题（RQs）进行验证：

• RQ1 (基线评估)：在无约束提示下，重构的准确性和结构变化如何？
• RQ2 (CDDRefactorER 验证)：与基线相比，CDDRefactorER 在正确性和代码结构上的表现如何？
  • 数据集：MBPP（974 个入门级 Python 程序）和 APPS（5000 个入门级子集）。
  • 模型：gpt-5-nano 和 kimi-k2。
  • 指标：功能正确性（测试用例通过率）、圈复杂度 (CC)、认知复杂度 (CogC)、CodeBLEU（结构相似度）。
• RQ3 (人类受试者研究)：CDDRefactorER 对新手理解代码的实际影响。
  • 参与者：20 名刚完成 CS-101 课程的大一新生。
  • 设计：组间设计（Between-subject），分为“原始代码组”和“重构后代码组”。
  • 任务：理解代码目的、逻辑流、功能分解和结构可读性。

3. 关键贡献 (Key Contributions)

1. CDDRefactorER 系统：提出了首个将认知负荷理论（CDD）编码进 LLM 提示策略的自动化重构系统，通过约束控制流复杂度来指导重构。
2. 实证证据：提供了关于认知约束如何影响重构安全性、结构控制以及新手代码理解能力的全面实证数据。
3. 教育启示：证明了受控的重构可以作为有效的教学脚手架，帮助新手识别功能分解和导航控制流。

4. 实验结果 (Results)

4.1 功能正确性与错误率 (RQ1 & RQ2)

• 基线问题：无约束提示虽然大部分能保持功能正确，但仍有显著错误（MBPP 上约 3.7% 失败）。主要错误类型包括：逻辑篡改（Logic alteration，如模型根据常识修改了平均值计算）、数值偏差和函数签名改变。
• CDDRefactorER 表现：
  • 错误率大幅降低：相比基线，重构失败率降低了 54.40% 到 71.23%。
  • 例如，在 APPS 数据集上使用 kimi-k2 模型，错误率从 7.44% 降至 2.14%。

4.2 代码结构复杂度 (RQ2)

• 复杂度控制：
  • 基线：重构后，认知复杂度和圈复杂度的增加与减少相互抵消，净变化不明显，且存在大量结构退化（即变得更复杂）的情况。
  • CDDRefactorER：显著降低了复杂度增加的概率。
    • 在 APPS 数据集上，使用 gpt-5-nano 时，认知复杂度增加的比例从 29.08% 降至 12.32%。
    • 圈复杂度增加的比例从 26.56% 降至 6.18%。
  • 统计显著性：所有 CDDRefactorER 配置在降低复杂度增加概率方面均具有统计显著性，且效应量（Effect Size）从中等到大。

4.3 结构相似度 (CodeBLEU)

• CDDRefactorER 生成的代码在结构上更接近原始代码（CodeBLEU 分数更高）。
• 在 MBPP 数据集上，gpt-5 的中位数相似度从 0.297 提升至 0.601（提升 102.6%）。这表明该方法倾向于增量式重构，而非破坏性的重写，有助于保留新手对原代码结构的熟悉感。

4.4 人类受试者研究 (RQ3)

• 理解能力提升：使用 CDDRefactorER 重构后的代码，新手在各项理解指标上均有显著提升：
  • 功能识别 (Function Identification)：提升 31.3% (从 2.97 到 3.90)。
  • 结构可读性 (Structural Readability)：提升 22.0%。
  • 逻辑流理解：提升 19.45%。
  • 目的理解：提升 17.65%。
• 定性反馈：学生普遍认为重构后的代码命名更清晰、结构分解更合理、逻辑步骤更明确。
• 局限性：对于涉及高级编程概念（如复杂的 while 循环逻辑）的问题，重构虽能改善结构，但无法完全弥补新手在概念知识上的缺失。

5. 意义与启示 (Significance)

• 教育实践：
  • 重构工具应作为教学脚手架，而非替代基础教学。
  • 建议采用“先尝试理解 -> 遇到困惑 -> 使用 CDDRefactorER 重构 -> 对比分析”的教学流程。
  • 重点在于帮助学生识别功能分解和控制流，这是新手最薄弱的环节。
• 工具设计：
  • 面向新手的代码工具应将认知原则作为一等公民的设计约束。
  • 应优先采用增量式、局部化的重构策略（如提取函数、减少嵌套），避免激进的结构性重写，以维持代码的熟悉度。
• 未来研究：
  • 探索认知阈值对简化与熟悉度之间权衡的影响。
  • 将认知约束应用于程序修复、代码生成和翻译等其他任务。

总结：该论文证明了通过引入认知负荷感知（Cognitive-Load Aware）的约束，可以显著提高自动化重构的安全性和有效性，从而实质性地帮助新手程序员克服代码理解障碍。这不仅是一个技术改进，更是将认知科学理论成功应用于软件工程教育工具设计的典范。