🤖 machine learning

When the Next Step Is Not One Step: Distribution-Aware Execution Modeling for Concurrent Go Programs

本文引入了一种针对并发 Go 程序的分布感知执行建模方法，该方法利用调度器非确定性在经验事件分布上对 7B 模型进行微调，在实现最先进的准确率并改善现实世界缺陷预测的校准方面的同时，还为检测特定的 goroutine 泄漏提供了形式化保证。

原作者： Kaviru Hapuarachchi

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaviru Hapuarachchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人预测国际象棋中的下一步棋。如果这是一场标准的国际象棋，规则是固定的：如果你在这里走了一步兵，对手必须以特定的方式响应。机器人只需要记住这个模式即可。

但现在，想象一场在混乱、嘈杂的房间里进行的国际象棋比赛，三个人都在同时试图移动棋子，而且一阵随机的风会吹动棋盘。有时候，当你走了一步兵，风可能会把棋子撞倒。有时候，玩家可能会在棋子落下前将其抓走。有时候，对手可能会决定移动完全不同的棋子。

这就是计算机程序同时运行多个任务（并发程序）时面临的问题。

这篇论文解决的正是不折不扣的这种混乱。以下是简单的术语拆解：

问题所在：“单一答案” vs. “多种可能的答案”

在传统的计算机科学中，当一个程序运行时，我们通常假设它遵循一条直线。如果你给它相同的输入，它会给出相同的输出。

旧方法： 研究人员训练 AI 模型来预测程序采取的下一个单一步骤。他们将程序视为一条直线。
现实情况： 在并发程序（如使用 Go 语言编写的程序）中，“调度器”（决定哪个任务何时运行的部分）就像一个混乱的裁判。如果你运行同一个程序两次，它可能会先做 A 再做 B，或者先做 B 再做 A。这两种都是正确的。两者都有效。

如果你训练一个 AI 去猜测一个实际上存在三个有效答案的情况下的其中一个答案，AI 就会感到困惑。这就像要求气象预报员预测“将会下雨”，而现实情况是“可能会下雨，也可能会下雪，或者可能是晴天”，而 AI 只是随便选了一个并寄希望于运气。

解决方案：预测“天气预报”

作者意识到，他们不应该把这种混乱视为错误。相反，他们将这种混乱视为数据。

多次运行： 他们拿一个程序并运行了数百次。
统计结果： 他们注意到，虽然顺序发生了变化，但一些模式浮现了出来。例如，“事件 A”发生了 60% 的时间，“事件 B”发生了 30% 的时间，而“事件 C”发生了 10% 的时间。
教导 AI 分布： 他们没有教 AI 去猜测“事件 A”，而是教它去猜测整个预报：“有 60% 的概率是 A，30% 的概率是 B，以及 10% 的概率是 C。”

他们使用了一种特殊的数学技巧（称为“KL 目标函数”）来训练一个拥有 70 亿参数的 AI 模型，使其去匹配这些现实世界的百分比，而不是仅仅猜测一个单一的赢家。

结果：奏效了吗？

他们在来自 Kubernetes 和 Google gRPC 等著名系统的真实、混乱的代码上进行了测试。

AI 对阵专家： 经过微调的 AI（使用不到 1,000 个示例进行训练）在正确预测下一步的准确率达到了 36.2%。
竞争对手： 这击败了一个非常强大的、预训练好的 AI（Gemini 3.5 Flash），后者并未针对这种特定类型的问题进行过训练（其准确率仅为 34.8%）。
“校准”方面的胜利： 更重要的是，新的 AI 更好地知道何时它并不确定。如果情况很混乱，AI 会说：“我不确定，它可能是任何情况。”如果情况是可预测的，它会说：“我很确定。”旧的训练方法会让 AI 表现得过于自信且错误更多。

局限性：天花板在哪里

论文非常诚实地说明了 AI 目前不能做到的事情：

准确率天花板： AI 的准确率最高在 35–36% 左右。它无法做得更高，因为某些事件是非常罕见的（比如某种特定类型的故障），AI 看到的次数不够多，因此无法学习它们。
“单步”问题： AI 非常擅长预测紧接着的下一步。但如果你要求它连续预测接下来的 10 步，它会在大约一步之后就崩溃。这就像一个人可以告诉你电影下一秒会发生什么，但如果你问他预测整个剧情，他就会开始胡编乱造。

“泄漏”发现

作者还发现了一种特定类型的计算机 Bug 的“特征签名”，即“goroutine 泄漏”（即一个任务卡住了且永远不会结束）。

他们从数学上证明了，如果一个任务卡在特定类型的等待循环中，它“苏醒”的可能性是零。
这不是 AI 通过猜测学到的，而是宇宙的规则（Go 语言的规则）。AI 正确地学习到在这种特定场景下“苏醒”是不可能的，这表明它理解的是逻辑，而不仅仅是在背诵数字。

总结

这篇论文的观点是：“不要试图将一个混乱的多路径系统强行塞进一条单一的直线。相反，向 AI 展示所有可能性的地图。它不会完美，目前也无法预测长链事件，但它会变得更擅长理解混乱的本质，并知道自己何时是在猜测。”

他们发布了他们的代码、数据和工具，以便他人可以在这种“感知混乱”的方法上进行构建。

技术摘要：面向并发 Go 程序的分布感知执行建模

问题陈述
训练语言模型预测并发程序的下一步与顺序代码有着本质的区别，这是由于调度器的非确定性造成的。在顺序执行中，特定的状态和语句会产生唯一的、确定性的下一个状态。然而，在并发 Go 程序中，由于 Goroutine 之间交织方式的不同，同一个执行前缀可能会合法地导致多种不同的后续事件（例如：阻塞、开始或解阻塞）。

标准的代码世界模型（CWMs）使用交叉熵损失进行训练，假设每个输入对应一个正确的标签。当应用于并发追踪（traces）时，这迫使模型去记忆随机过程中的一个任意结果，从而无法捕捉底层的动态特性。这种局限性是至关重要的，因为并发缺陷（死锁、数据竞态、Goroutine 泄漏）本质上是依赖于调度的，且缺乏顺序执行的类比。现有的基准测试和模型往往未能解决这种非确定性，将其视为噪声而非一种结构性属性。

方法论
作者提出将下一事件预测重新定义为分布估计，而非点预测。该方法不再训练模型去猜测单个下一事件，而是通过聚合多次运行同一程序所观察到的下一事件，来形成一个经验分布。

数据收集： 本研究利用了 130 个并发 Go 程序，包括手工构建的模式、合成代码以及来自生产系统（CockroachDB、Kubernetes、gRPC、etcd）的 66 个真实世界并发缺陷内核。每个程序在运行时追踪器下执行五次，以捕获调度器事件。
目标定义： 对于给定的程序前缀，目标不是单个标签，而是在六种事件类型上的经验分布 $\hat{p}_g$ ：GoBlock（Go 阻塞）、GoCreate（Go 创建）、GoEnd（Go 结束）、GoSched（Go 调度）、GoStart（Go 开始）和 GoUnblock（Go 解阻塞）。该分布是通过观察多次运行中下一事件出现的频率得出的。
模型训练： 作者使用两个目标对一个 7B 参数模型（Qwen2.5-Coder）进行微调：
1. 交叉熵 (CE)： 一个基准方法，通过按事件频率比例复制样本来近似分布。
2. KL 散度 (KL)： 一种分布感知的目标函数，旨在最小化模型预测分布与经验目标之间的 Kullback-Leibler 散度。KL 项专门应用于区分事件类型的 Token 位置。
评估： 模型在一个未见过的 66 个真实生产缺陷集（GoKer）上进行评估。评估指标包括 Top-1 准确率、预期校准误差（ECE）以及多步连贯性（通过将预测结果反馈为输入来模拟执行）。

核心贡献

分布感知训练： 论文证明，将调度器的非确定性视为一种信号，可以使模型学习 Go 调度器允许的“有效未来”。一个在不到 1,000 个追踪序列上进行微调的 7B 模型，在持有的生产缺陷上达到了 36.2% 的准确率，优于其零样本（Zero-shot）表现（28.6%）以及 Gemini 3.5 Flash 的零样本表现（34.8%）。
校准改进： 虽然分布训练（KL 损失）实现的准确率与交叉熵相当（35.8% vs 36.2%），但它显著提高了模型的校准度。预期校准误差从 0.205 降至 0.169，且模型熵与程序的非确定性相关联，使得模型能够在适当的地方表达不确定性。
形式化泄漏特征： 作者推导出了特定类别的 Goroutine 泄漏（select-阻塞的 Goroutine）的形式化特征。他们证明，对于这些情况，在所有追踪深度处，GoUnblock 事件的概率恰好为零（ $P(\text{GoUnblock}) = 0$ ）。这是 Go 调度器语义的结果（如果没有任何可达的 Goroutine 能满足 select 条件，则解阻塞是不可能的），而非仅仅是学习到的统计模式。
识别局限性： 研究明确界定了该方法的边界。无论模型规模或目标函数如何变化，准确率都会在 35–36% 附近达到平台期。模型无法预测稀有事件类型（GoEnd、GoSched），这是由于类别不平衡和分布偏移造成的。此外，多步预测在约一步之后就会失去调度器连贯性，因为模型仅在单步转换上进行了训练。

结果与分析

准确率天花板： 性能天花板（~36%）归因于两个因素：类别不平衡（稀有事件如 GoEnd 和 GoSched 永远无法被正确预测）以及分布偏移（真实世界的缺陷比手工构建的训练集更频繁地触发 GoCreate 和 GoSched 等事件类型）。
特定事件表现： 模型能较好地学习常见的生命周期事件（GoStart 为 47%，GoCreate 为 44%），但在稀有事件上表现不佳。值得注意的是，尽管 GoCreate 在训练数据中仅占 1.5%，其准确率仍达到了 44%，这表明模型是从程序结构而非仅仅从频率进行推理。
多步连贯性： 当以自回归方式使用时，模型在大约一步之后就会违反 Go 的不变性（Invariants）。这证实了单步训练在没有轨迹训练的情况下，无法转化为多步模拟。
推理能力： 在基准模型（Gemini）中启用“思考”模式并未提高准确率，这表明该任务依赖于结构化信号，而非多步演绎推理。

意义与主张
作者明确表示，他们并非声称这是一个可部署的缺陷检测器或生产就绪的执行模拟器。这项工作的意义在于：

公式化： 提供了一个将并发执行建模为分布估计的有原则的框架。
数据集与基准： 发布了一个并发追踪数据集、训练好的适配器（Adapters）以及工具链，以建立针对该特定问题的基准。
澄清限制： 证明了虽然分布感知训练有效并能改善校准度，但仍存在重大障碍（稀有事件、分布偏移、多步连贯性），必须解决这些问题才能使该方法更有效。

论文结论指出，目前的方法证明了分布感知训练在并发代码中的可行性，但也强调未来的工作必须侧重于轨迹训练、更丰富的状态表示（包括通道缓冲区和互斥锁所有权）以及通过匹配真实世界事件分布来重新平衡训练数据。