COBOLAssist: Analyzing and Fixing Compilation Errors for LLM-Powered COBOL Code Generation

这是一份关于论文《COBOLAssist: Analyzing and Fixing Compilation Errors for LLM-Powered COBOL Code Generation》的详细技术总结。

1. 研究背景与问题 (Problem)

• 背景：COBOL（面向商业的通用语言）自 20 世纪 50 年代末以来一直是全球商业计算（如银行、保险、政府系统）的基石。尽管现代语言兴起，全球仍有约 2200 亿行 COBOL 代码在运行，且每年新增 15 亿行。然而，熟练的 COBOL 开发者日益稀缺，维护遗留系统面临巨大挑战。
• 痛点：
  • LLM 生成代码质量低：虽然大语言模型（LLM）在 Python、Java 等流行语言上表现良好，但在 COBOL 这种“低资源”语言上表现不佳。COBOL 缺乏大规模开源数据集，导致 LLM 难以掌握其严格的语法、语义和结构规则。
  • 编译错误频发：LLM 生成的 COBOL 代码经常包含编译错误，且错误模式与人类开发者不同（例如结构理解偏差）。
  • 缺乏自动修复方案：现有的 LLM 修复研究多集中于现代语言，针对 COBOL 编译错误的自动化修复（特别是利用编译器反馈进行迭代修复）的研究几乎空白。
• 核心问题：如何分析 LLM 生成 COBOL 代码中的编译错误类型，并设计一种机制利用编译器反馈自动修复这些错误，以提高代码的编译成功率和功能正确性？

2. 方法论 (Methodology)

论文提出了 COBOLAssist，一种基于编译器反馈的自调试框架，并进行了系统的错误分类研究。

2.1 COBOL 编译错误分类体系

研究团队首先对 LLM 生成的 COBOL 代码进行了实证分析，将编译错误归纳为三大类（共细分多个子类）：

1. 不完整代码错误 (Incomplete Code Errors)：
   • 块终止不完整 (Incomplete Block Termination)：LLM 常遗漏 END-IF, END-PERFORM 等关键终止符，这是人类代码中较少见但在 LLM 代码中特有的错误。
   • 语句未终止 (Unterminated Statements)：COBOL 语句需以句号 . 结束，LLM 常遗漏或错误放置。
2. 语法错误 (Syntax Errors)：
   • 程序结构误用 (Incorrect Use of Program Structures)：如重复声明 LINKAGE SECTION、错误的嵌套结构。
   • 保留字误用 (Incorrect Use of Reserved Word)。
   • 内置函数误用 (Incorrect Use of Built-in Functions)：LLM 常混淆 COBOL 函数语法（如 FUNCTION MOD 的正确调用方式），这是 LLM 特有的高频错误。
   • 未定义对象 (Undefined Object) 和 变量误用 (Incorrect Use of Variable)。
3. 类型相关错误 (Type-related Errors)：
   • 数据类型错误 (Incorrect Data Type)：如 PIC 子句定义不匹配，导致类型冲突。

关键发现：LLM 生成的代码中，程序结构误用（35.1%）和内置函数误用（17.2%）是主要错误，且“块终止不完整”和“内置函数误用”是 LLM 特有的错误类型，人类代码中极少出现。

2.2 COBOLAssist 框架

COBOLAssist 是一个迭代式的自调试流程（如图 4 所示）：

1. 初始生成：LLM 根据自然语言描述生成初始 COBOL 代码。
2. 编译与反馈：使用 GnuCOBOL 编译器编译代码。如果失败，捕获编译器错误日志。
3. 迭代修复：
   • 将原始代码和编译器错误日志作为输入，构建提示词（Prompt）。
   • 提示词要求 LLM 扮演“资深 COBOL 工程师”，根据错误日志修正代码。
   • 模型生成修正后的代码，再次编译。
4. 终止条件：当代码编译成功或达到最大迭代次数（实验中设为 3 次）时停止。

3. 实验设置与评估 (Evaluation)

• 数据集：使用 COBOLEval 基准（146 个 COBOL 编程任务，源自 HumanEval-Python 的翻译）。
• 模型：评估了 5 个模型：
  • GPT 系列：GPT-3.5, GPT-4, GPT-4o-mini, GPT-4o。
  • 专用模型：mAInframer (7B, 13B, 34B)，这是目前唯一针对 COBOL 微调的开源 LLM。
• 指标：
  • 编译成功率 (CSR)：无错误编译的代码比例。
  • Pass@1：生成的第一个程序通过所有单元测试的比例（功能正确性）。
• 对比基线：无辅助（Zero-shot）、无编译器反馈的零样本迭代（Zero-shot refinement）、COBOLAssist（有编译器反馈）。

4. 关键结果 (Key Results)

4.1 错误分类发现 (RQ1)

• LLM 在程序结构上的错误率（35.1%）远高于人类开发者（19.8%）。
• LLM 特有的内置函数误用（17.2%）和块终止不完整（5.6%）揭示了模型对 COBOL 语义理解的深层缺陷。
• 人类代码的错误类型更多样化，而 LLM 错误集中在特定结构问题上。

4.2 COBOLAssist 的有效性 (RQ2)

COBOLAssist 显著提升了所有模型的编译成功率和功能正确性：

• GPT-4o：编译成功率从 41.8% 提升至 95.89%；Pass@1 从 16.4 提升至 29.45。
• GPT-4o-mini：编译成功率从 29.5% 提升至 64.38%。
• GPT-4：Pass@1 从 9.1 提升至 22.6。
• mAInframer-34B：作为专用模型，其初始编译率较高（74.66%），但在 COBOLAssist 辅助下（配合 GPT-4o 进行调试）进一步提升至 97.94%。
• 对比：仅靠零样本迭代（无编译器反馈）的提升非常有限，证明了编译器反馈在解决 COBOL 严格语法约束中的关键作用。
• 效率：平均迭代次数少于 2 次即可解决大部分问题。

4.3 未解决的错误 (RQ3)

尽管有显著提升，部分错误仍难以自动修复：

• 剩余主要错误：程序结构误用、内置函数误用、块终止不完整。
• 原因：这些错误需要深层的上下文理解和多行推理能力（例如在长嵌套结构中正确匹配 IF/END-IF），超出了当前 LLM 的推理能力。
• 易修复错误：数据类型错误和未定义对象错误在提供编译器日志后修复率极高。

5. 主要贡献 (Key Contributions)

1. 首次实证研究：首次系统性地分析了 LLM 生成 COBOL 代码中的编译错误，并揭示了其与人类代码错误的显著差异（特别是结构性和语义性错误）。
2. 提出 COBOLAssist：设计并实现了一种基于编译器反馈的自调试框架，通过迭代修复显著提高了 LLM 生成代码的可用性。
3. 全面评估：在 146 个任务上评估了 5 个主流及专用 LLM，提供了关于 COBOL 代码生成现状的基准数据。
4. 遗留系统维护路径：为自动化调试遗留系统（Legacy Systems）提供了一条切实可行的技术路径，证明了 LLM 结合编译器反馈在低资源语言维护中的潜力。

6. 意义与启示 (Significance)

• 对开发者的启示：在使用 LLM 辅助维护 COBOL 时，需特别警惕“结构误用”和“函数误用”等 LLM 特有错误。采用“生成 - 编译 - 反馈 - 修复”的闭环工作流是必要的。
• 对研究者的启示：
  • 当前的 LLM 在理解 COBOL 严格的结构化编程范式上仍有不足，未来的研究需要结合语法感知技术（如抽象语法树 AST）来增强模型对结构的理解。
  • 证明了利用 LLM 修复人类编写的遗留代码也是可行的（因为错误模式有重叠），为自动化遗留系统现代化提供了新思路。
• 局限性：目前主要解决语法和编译层面的错误，对于深层逻辑错误（语义错误）的修复能力仍有限（Pass@1 提升幅度小于 CSR），未来需结合测试用例和更复杂的语义分析。

总结：该论文通过 COBOLAssist 框架，成功利用编译器反馈机制将 LLM 生成 COBOL 代码的编译成功率从不足 50% 提升至 95% 以上，为解决 COBOL 人才短缺和遗留系统维护难题提供了重要的技术参考。