🤖 machine learning

The Correctness Illusion in LLM-Generated GPU Kernels

本文通过证明一组受控的、带有种子转录错误的语料库（这些错误能通过标准的固定形状 allclose 检查）能够被一个使用跨多样化硬件的高精度 CPU 参考值的、更严谨的模式感知模糊测试判别器可靠地检测出来，从而揭示了当前 LLM 生成的 GPU 核函数基准测试中存在的“正确性幻觉”。

原作者： Dipankar Sarkar

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dipankar Sarkar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一支 AI 机器人团队来制造赛车的高性能引擎（这些引擎被称为 GPU 核函数/kernels）。在让你投入比赛之前，你需要确保这些引擎确实能够正常工作。

这篇论文讨论了一个有缺陷的测试——目前大家都在使用它来检查这些引擎——以及作者构建的一个更好的测试，旨在捕捉旧测试所遗漏的错误。

目前的标准测试（被 KernelBench 等基准测试使用）就像一名技师，仅通过在一个特定的距离、以一个特定的速度、在某一天驾驶引擎来检查它。

设置： 技师选取了一小份燃料（输入数据），将引擎设定为一个固定的尺寸（形状），然后检查其速度是否“足够接近”预期速度。
缺陷： 如果引擎存在一个隐藏缺陷，只有当你驾驶 100 英里而不是 10 英里，或者当燃料类型不同时才会显现，那么技师永远也发现不了。引擎通过了测试，但实际上它是损坏的。
结果： 论文称之为**“正确性幻觉”**。测试显示 AI 生成的代码是完美的，但实际上它充满了漏洞，只是这些漏洞恰好在那个特定的单次测试驾驶中隐藏了起来。

作者构建了一个名为 gpuemu 的新测试系统。这个系统不再只进行一次驾驶，而是像一个混乱、高度警觉的侦探，向引擎投掷所有可能的情景。

“模糊测试”（投掷混沌）： 系统不再使用固定的尺寸，而是尝试用奇怪的、极小的、巨大的以及“边缘情况”下的尺寸来测试引擎。这就像是在颠簸的路面、陡峭的山坡和湿滑的赛道上同时测试引擎。
“高精度”裁判： 旧的测试使用一把略显模糊的尺子（允许微小的误差）。新的测试则使用激光测量仪（运行在双精度数学下的高精度计算机），来观察引擎实际表现与它“应该”表现之间的精确差异。
“种子”回放： 如果侦探发现了一个 Bug，他们会保存导致崩溃的精确“种子”（即特定输入组合）。稍后，任何人都可以回放那次精确的崩溃过程，以证明引擎是损坏的。

为了证明他们的观点，作者设计了一个受控的实验室实验：

他们构建了 24 个引擎。
15 个是完美的（对照组）。
9 个是“损坏的”（有 Bug 组）。这些损坏并非随机产生的；它们是以 LLM（大语言模型）经常犯错的特定方式损坏的，例如忘记乘以 0.5、使用了错误的掩码数值，或忘记了平方根运算。

实验结果：

作者不仅在一种类型的计算机上进行了测试。他们在五种不同类型的强大显卡上运行了相同的测试（从消费级显卡如 RTX 3060 到超级计算机显卡如 H100）。

结论： 结果在所有五台机器上都是一致的。“损坏的”引擎在到处都失败了，而“完美的”引擎在到处都通过了。这证明了问题不在于特定的计算机，而在于测试本身。

论文发现了旧测试漏掉的两类主要错误：

“常量”错误： 引擎始终存在微小的偏差（就像一个总是慢 5 分钟的钟）。旧测试的“宽松尺子”吸收了这个误差。而新测试的“激光”能立即识别它。
“边缘情况”错误： 引擎在处理大数字时表现良好，但在处理小数字或奇特数字时会崩溃（就像一个尾门只有在汽车长度恰好为 3 英尺时才会卡住）。旧测试从未尝试过这些小数字。而新测试尝试了所有情况，包括那些奇特的尺寸，并找到了卡顿点。

论文得出结论：目前用于图形卡 AI 生成代码的“正确性认证”，正被过于简单的测试所认证。

作者并不是说 AI 是没用的；他们是说我们用来衡量它的尺子坏了。通过转向他们的新方法——使用多种尺寸进行测试并使用更严格的高精度尺子——我们终于可以抓住那些目前正从缝隙中溜走的 Bug。

关键启示： 仅仅因为一个 AI 生成的引擎通过了一次性的快速测试，并不意味着它是安全的。你需要用混沌和精度来进行压力测试，才能找到隐藏的裂痕。

类似论文