InCoder-32B: Code Foundation Model for Industrial Scenarios

本文提出了首个面向芯片设计、GPU 内核优化、嵌入式系统、编译器优化及 3D 建模等工业场景的 320 亿参数代码基础模型 InCoder-32B，通过从预训练到执行验证的全流程优化，在保持通用代码任务竞争力的同时，显著提升了在严格资源约束和硬件语义推理等工业场景下的性能。

要点

这篇论文介绍了一个名为 InCoder-32B 的超级人工智能模型。为了让你轻松理解，我们可以把它想象成一位**“全能工业级超级工程师”**。

1. 它是什么？（从“通才”到“专才”的进化）

想象一下，现在的普通 AI 程序员（比如之前的代码大模型）就像是一位**“通识大学毕业生”**。他们读过很多书，会写网页、做小程序、写简单的脚本，在通用的编程世界里表现很棒。

但是，一旦把他们扔进**“硬核工业现场”**，比如：

• 芯片设计（在纳米级上雕刻电路）；
• GPU 优化（让显卡跑得更快，像给赛车引擎调校）；
• 嵌入式系统（让微波炉、汽车芯片在极小的内存里精准运行）；
• 3D 建模（设计能直接制造出来的零件）。

这位“通识毕业生”就会懵圈。因为工业代码不仅要“能跑”，还要“跑得对”、“不烧硬件”、“符合物理定律”。普通 AI 写的芯片代码，可能因为一个小小的逻辑错误，导致芯片造出来就废了。

InCoder-32B 就是为了解决这个问题而生的“工业专家”。它不仅仅会写代码，更懂硬件的脾气和物理的限制。它是第一个专门为了这些高难度工业场景打造的 320 亿参数（32B）的“大脑”。

2. 它是怎么练成的？（“三段式”特训营）

为了把这位“大学生”培养成“工业专家”，作者给它安排了一个极其严苛的三段式特训：

• 第一阶段：海量阅读与去伪存真（预训练）

  • 做法：它读了海量的代码，但不仅仅是 GitHub 上的普通代码。作者像淘金一样，从公开库、技术手册、甚至通过 OCR 扫描技术书籍中，专门搜集了芯片、GPU、嵌入式等**“硬核工业代码”**。
  • 比喻：就像让实习生不仅看《编程入门》，还去读《芯片设计手册》、《嵌入式硬件圣经》，并且把那些写错的、有版权问题的、没用的垃圾代码全部剔除，只留下最精华的“工业级”知识。

• 第二阶段：场景模拟与思维升级（中期训练）

  • 做法：这是最关键的一步。普通的 AI 只能写代码，但 InCoder-32B 被训练去**“思考”**。
  • 模拟环境：作者搭建了一个**“虚拟工厂”**。
    • 写 Verilog（芯片语言）？先在虚拟仿真器里跑，看能不能通过测试。
    • 写 CUDA（显卡代码）？真的在显卡上跑，看会不会报错、会不会慢。
    • 写嵌入式？在虚拟的单片机上跑，看会不会死机。
  • 比喻：这就像让实习生在**“模拟驾驶舱”**里练车。如果代码有错，仿真器会直接报警（比如“电压过高”、“时序冲突”）。模型通过不断的“试错 - 修正 - 再试”，学会了像老工程师一样，在写代码前就能预判哪里会出问题。它的“视野”也从看几行代码，扩展到了能同时处理几万行代码的复杂项目。

• 第三阶段：实战演练与带教修复（后期微调）

  • 做法：让模型在真实的工业任务中“带徒弟”。
  • 闭环修复：如果模型写错了，系统不会直接删掉，而是把错误日志、报错信息、波形图都喂给它，让它自己分析：“哦，原来是因为这里少了一个分号”或者“那个寄存器配置错了”，然后生成修复后的代码。
  • 比喻：这就像一位**“带教老师”，不仅让你做题，还专门让你分析错题本**。它学会了从失败中吸取教训，最终不仅能写出正确的代码，还能像经验丰富的工程师一样，快速定位并修复 Bug。

3. 它有多强？（实战成绩单）

论文里展示了很多“考试”成绩：

• 通用考试：在写普通代码（如网页、算法）的考试中，它的成绩和那些几百亿参数的超级大模型不相上下，甚至更好。说明它没有因为学工业技能而忘了基础。
• 工业考试：
  • 芯片设计：在生成复杂的芯片模块（如 AES 加密）时，它的成功率远超其他开源模型，甚至打败了一些闭源的商业巨头模型。
  • GPU 优化：在让显卡跑得更快这件事上，它生成的代码效率极高。
  • 3D 建模：它能根据文字描述，生成精确的 3D 零件模型，且几何形状非常准确。

图 2 的一个精彩例子：
当需要处理一个巨大的 512x512 图像时，普通 AI（如 Claude）可能会直接分配一个巨大的内存块，结果超过了显卡的物理限制，导致程序崩溃。而 InCoder-32B 像一位老练的工程师，它知道“不能硬来”，于是它把大任务拆解成小块，巧妙地绕过了硬件限制，成功完成了任务。

4. 为什么这很重要？（打破“学术”与“工业”的墙）

过去，AI 写代码主要是在**“学术实验室”里玩，题目都是“写个排序算法”或“生成一个网页”。但真正的工业界**（造芯片、做自动驾驶、优化服务器）需要的是**“在刀尖上跳舞”**的能力。

InCoder-32B 的出现，意味着 AI 终于跨过了这道鸿沟。它不再只是一个会写“玩具代码”的助手，而是真正能进入核心研发流程的合作伙伴。

总结

InCoder-32B 就像是一位经过“地狱级”特训的“工业级 AI 工程师”。

• 它懂硬件（知道芯片和显卡的脾气）；
• 它会仿真（在虚拟工厂里反复试错）；
• 它能修 Bug（从错误日志中学习）；
• 它既全能又专精（既能写普通代码，又能搞定最难的芯片设计）。

它的目标很简单：让 AI 不仅能写代码，更能造出真正能用的、高性能的工业产品。

技术摘要

InCoder-32B 技术总结

1. 研究背景与问题定义 (Problem)

尽管大型语言模型（LLM）在通用编程任务（如算法实现、Web 开发）上取得了显著进展，但在工业级软件场景中表现依然乏力。这些场景包括芯片设计（Verilog/RTL）、GPU 内核优化（CUDA/Triton）、嵌入式系统固件、编译器优化以及 3D 建模（CAD）。

现有模型面临的主要挑战包括：

• 硬件语义推理缺失：难以理解硬件约束（如时序、资源限制、网格维度限制）。
• 专用语言构建困难：缺乏对 Verilog、Triton 等特定领域语言（DSL）的深层理解。
• 严格约束与验证：工业代码不仅需要语法正确，还必须通过仿真、综合、形式化验证或真实硬件运行，且对性能（如延迟、吞吐量）有严格要求。
• 数据分布偏差：现有训练数据多来自通用代码库（GitHub 等），缺乏工业级的高质量、经过验证的代码数据。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 InCoder-32B，这是一个 320 亿参数的代码基础模型，旨在统一通用软件开发与工业编程领域。其核心方法论包括高效架构设计和三阶段训练流水线（Code-Flow Pipeline）。

2.1 模型架构

• 采用标准的 Decoder-only Transformer 架构。
• 参数量：32B。
• 上下文窗口：支持高达 128K tokens。
• 训练目标：结合自回归语言建模（AR）和填充中间（FIM）任务。

2.2 三阶段训练策略

第一阶段：预训练与退火 (Pre-training & Annealing)

• 数据构建：从公开仓库、技术文献（通过 OCR 提取）和专业网络来源收集工业代码。
• 清洗与增强：实施严格的许可证过滤、PII 移除、去重（哈希、MinHash、Fork 合并），并进行领域特定的语法解析和 AST 验证。
• 训练：在 4096 张 GPU 上训练，使用 15T tokens 的数据量，包含通用代码和工业代码的混合。

第二阶段：中期训练 (Mid-training) - 构建工业感知基础

此阶段旨在扩展上下文并注入工业推理能力：

• 上下文扩展：分两步将上下文从 8K 逐步扩展至 32K，最终达到 128K。
• 数据合成与 curated：
  • 合成工业推理 QA：与硬件工程师合作定义场景（如时序违例调试、资源优化），生成种子代码，并通过自动化验证生成问答对。
  • 智能体轨迹 (Agent Trajectories)：包含“思考 - 行动 - 观察”循环，模拟使用硬件仿真器、综合工具、编译器进行调试和修复的过程。
  • 工业 artifacts：引入测试用例、时序约束（SDC）、综合脚本、性能分析日志等辅助数据。

第三阶段：后期训练 (Post-training) - 基于执行的验证

• 数据构建：构建 250 万条基于真实工业任务的 SFT 样本。
• 执行 grounded 验证：所有生成的代码必须在真实的工业环境（如 NVIDIA A100 硬件、STM32 仿真器、OpenCascade CAD 内核、Verilog 综合工具）中运行并验证。
  • 直接解决方案：满足需求的正确代码。
  • 缺陷修复：包含失败代码、错误反馈（编译器报错、仿真波形差异）及修复后代码的闭环轨迹。
  • 性能优化：在功能正确的基础上提升效率或架构质量。
• 输出：生成指令微调（Instruction-tuned）和思维链（Thinking）两个变体。

2.3 工业环境仿真

为了确保训练数据的真实性，作者重构了四大工业环境：

1. 芯片设计：使用 Icarus Verilog, Verilator, Yosys 构建 RTL 仿真与综合流程。
2. GPU 优化：在 NVIDIA A100 上模拟 CUDA/Triton 的编译、加载和运行，验证数值正确性和性能。
3. 3D 建模：基于 CadQuery/OpenCascade 构建参数化 CAD 生成与几何验证环境。
4. 代码优化：针对嵌入式（STM32F407 + Renode 仿真）和汇编优化（x86-64）构建专用验证环境。

3. 关键贡献 (Key Contributions)

1. 首个工业代码专用大模型：InCoder-32B 是首个专为工业代码智能构建的 32B 参数 LLM，填补了学术基准与真实工业工程（芯片、GPU、嵌入式、编译器）之间的鸿沟。
2. 最全面的工业代码评估体系：构建了涵盖 14 个通用基准和 9 个工业基准（4 个专业领域）的评估体系，包括 VeriScope, RealBench, KernelBench, CAD-Coder 等。
3. 训练策略的实证发现：
   • 仓库级过渡数据优于静态快照，对规划能力至关重要。
   • 中期训练中的推理轨迹显著提升了模型在分布偏移下的鲁棒性。
   • **思维路径（Thinking Paths）**解锁了标准指令微调中不存在的涌现能力。
4. 开源基线确立：在多个工业领域建立了最强的开源基线，甚至在部分指标上超越了闭源商业模型。

4. 实验结果 (Results)

4.1 通用代码能力

InCoder-32B 在通用代码基准上表现出极强的竞争力，与更大规模的模型（如 Qwen3-Coder-480B, DeepSeek-V3.2）相比毫不逊色：

• SWE-bench Verified: 74.8%
• LiveCodeBench: 49.14%
• BFCL V3: 60.99%
• 在代码生成、推理和 Text2SQL 任务上均达到 SOTA 或接近 SOTA 水平。

4.2 工业代码能力 (核心优势)

在工业基准测试中，InCoder-32B 全面领先所有开源模型，并在部分任务上超越闭源模型（如 Claude-Sonnet-4.6）：

• 芯片设计 (Chip Design)：
  • RealBench (模块级任务)：Syn@1 达到 74.8%，远超其他模型（次优为 50.1%）。
  • VeriScope 和 VeriRepair 上表现优异，修复成功率显著。
• GPU 优化 (GPU Optimization)：
  • KernelBench：在 L1/L2/L3 三个难度级别上均取得最佳开源结果，甚至在 L1 和 L2 上超越了 Claude-Sonnet-4.6。
  • TritonBench：调用准确率和执行准确率均表现突出。
• 3D 建模 (3D Modeling)：
  • CAD-Coder：编译通过率达到 82.0%，IoU（几何保真度）达到 53.5%，显著优于其他开源模型，并超越 Claude-Sonnet-4.6。
• 代码优化：
  • 在 EmbedCGen (嵌入式) 和 SuperCoder (汇编优化) 上展现了强大的领域适应能力，尽管这些任务本身极具挑战性。

4.3 消融实验

• 数据规模扩展：随着 SFT 数据从 83M 扩展到 250M tokens，大多数基准测试性能持续提升，验证了大规模工业数据微调的有效性。
• 错误分析：主要失败原因集中在编译/语法错误（如 Verilog 端口声明错误）和逻辑/功能错误（如时序违例、几何轴旋转错误），表明模型已掌握广泛词汇，但在精确的工业语义和硬件约束推理上仍有提升空间。

5. 意义与影响 (Significance)

• 统一工业智能：InCoder-32B 证明了单一模型可以跨越芯片设计、GPU 编程、嵌入式系统和 CAD 等多个高度专业化的领域，打破了以往“一域一模型”的碎片化局面。
• 工业落地可行性：通过引入“基于执行的验证”和“真实环境仿真”的训练闭环，该模型生成的代码不仅仅是语法正确的，更是可运行、可综合、可制造的，极大地缩短了从代码生成到实际部署的距离。
• 开源生态推动：作为首个高性能的工业代码开源模型，它为学术界和工业界提供了宝贵的基线，推动了工业级 AI 辅助开发（AI4Engineering）的发展。
• 未来方向：论文指出，尽管取得了显著进展，但在处理极复杂的硬件语义、长时序依赖和罕见 API 方面仍有挑战，未来的工作将集中在更精细的数据清洗、强化学习（RL）以及多模态工业数据的融合上。

总结：InCoder-32B 不仅仅是一个更大的代码模型，它是首个真正理解“工业约束”和“硬件语义”的基础模型，通过独特的三阶段训练和严格的执行验证机制，成功将 LLM 的能力边界从通用软件扩展到了硬核的工业工程领域。