🤖 AI

Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization

本研究证明，硬件感知代码优化中的大语言模型智能体主要依赖预训练先验，而非迭代反馈或智能体结构，这体现在其在黑盒设置中的贪婪行为、无法适应未见过的核尺寸，以及在低密度中间表示下运行时性能下降等方面。

原作者： Dmitry Redko (Applied AI Institute), Albert Fazlyev (AI Talent Hub, ITMO University), Konstantin Sozykin (Applied AI Institute), Maria Ivanova (YSDA, Applied AI Institute), Evgeny Burnaev (Applied AI

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dmitry Redko (Applied AI Institute), Albert Fazlyev (AI Talent Hub, ITMO University), Konstantin Sozykin (Applied AI Institute), Maria Ivanova (YSDA, Applied AI Institute), Evgeny Burnaev (Applied AI Institute), Egor Shvetsov (Applied AI Institute)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《先验知识还是搜索？硬件感知代码优化中的大语言模型代理研究》的通俗化解读，辅以类比说明。

宏观图景：“智能”厨师 vs. “搜索”厨师

想象你正在寻找一份完美的蛋糕食谱。你有两位不同的厨师为你工作：

厨师 A（黑盒优化器）： 这位厨师从未烤过蛋糕。他有一个笔记本，记录每一次尝试，品尝结果，并利用数学方法精确决定下一步如何调整食谱。他纯粹依靠逻辑和适应性。
厨师 B（大语言模型代理）： 这位厨师是享誉世界的专家，读过数百万本食谱。他无需笔记本就知道如何烤蛋糕。然而，在与你交谈时，他并不会“学习”新事物；他只是回忆书中读到的内容，并试图将你的当前请求融入这些记忆之中。

这篇论文提出了一个简单的问题：在解决难题时，是更依赖厨师庞大的记忆（先验知识），还是更依赖其基于反馈进行搜索和适应的能力（搜索）？

研究人员通过让这两位厨师编写计算机代码（具体而言，是让图形处理器运行更快的代码）来测试这一点。以下是他们的发现。

发现一：“贪婪”的厨师

实验： 他们让厨师们在雾蒙蒙的山谷中寻找最低点（这是一个经典的数学问题）。
结果： 大语言模型厨师（厨师 B）表现得像一个贪婪的徒步者。一旦找到一个感觉比起点稍低的地方，他们就会停止四处张望。他们只是从那个点开始小心翼翼地向下走，坚信那就是谷底。他们很少偏离去探索山谷的其他部分。
类比： 想象你在黑暗的房间里寻找一把丢失的钥匙。一个智能搜索算法会系统地扫遍整个房间。然而，大语言模型厨师找到一处“可能”是钥匙的地方后，就会在那个特定位置戳弄几个小时，而忽略了房间的其他部分。
结论： 大语言模型极不擅长探索新领域。它们擅长 refinement（精炼）已知内容，但很容易陷入僵局。

发现二：“一刀切”的帽子

实验： 他们让厨师们为不同大小的数据编写代码（例如，一张小照片与巨大的 4K 视频）。他们明确告诉厨师：“这是给小照片用的！”
结果： 大语言模型厨师忽略了尺寸指令。他们为小照片编写的代码与为巨大视频编写的代码完全相同。仿佛“把它做小”这条指令对他们来说是不可见的。
类比： 想象一位裁缝制作过数百万套西装。你请他为一位 5 岁的孩子做一套西装。尽管你告诉他“这是给孩子的”，裁缝还是拿出了标准的成人版型，照样做了一套巨大的西装。他太习惯于制作成人西装（他的“先验知识”），以至于即使你要求他做儿童西装，他也无法想象。
结论： 大语言模型的记忆过于强大，以至于压过了你的具体指令。无论实际问题的规模如何，它都会默认采用它最常见到的模式。

发现三：“语言障碍”反馈循环

实验： 他们建立了一个系统：厨师编写代码，计算机进行测试，然后给出反馈，如“程序崩溃了”或“速度太慢”。接着厨师再次尝试。
结果：

场景 A（CUDA - 通用语言）： 厨师被要求用 CUDA 编写代码，这是一种他们在训练数据中读过数百万次的语言。随着每一条反馈，厨师的表现越来越好。代码稳步改进。
场景 B（TVM IR - 罕见语言）： 厨师被要求用 TVM IR 编写代码，这是一种他们极少见过的语言（如同大海捞针）。随着每一条反馈，厨师的表现实际上变差了。他们越是试图根据反馈去修复，代码就变得越糟糕。
类比：
CUDA： 你正在与母语者交谈。当他们犯错而你纠正时，他们能立即理解并修正。
TVM IR： 你正在与一个 barely 懂这门语言的人交谈。当他们犯错而你纠正时，他们会感到困惑，误解你的纠正，并犯下更大的错误。他们对这门语言的“先验知识”不足以理解反馈。
结论： 只有当 AI 已经很好地掌握了该语言时，反馈才有效。如果 AI 对该主题不熟悉，反馈只会让它感到困惑并使情况恶化。

最终裁决

该论文得出结论：大语言模型并非我们期望中的“搜索引擎”或“问题解决者”。它们是“模式匹配器”。

它们严重依赖已经记忆的内容（它们的“先验”）。
它们不擅长独立探索新领域。
如果反馈涉及它们未曾见过的事物，它们无法从中学习。

解决方案？
如果你希望 AI 优化代码或解决难题，你不能仅仅让它“聊天”并反复尝试。你需要将其包裹在一个强制其探索（如搜索算法）或检索其未见过的具体示例的系统中。你不能依赖 AI 的“代理”能力去自行搞定。

简而言之： AI 是一位博学的图书管理员，能倒背如流图书馆里的每一本书。但如果你让它写一本关于图书馆里没有的主题的书，它只会基于图书馆里确实存在的书编造一个故事，即使你要求它有所不同。当图书馆的答案耗尽时，它需要人类（或搜索工具）来引导它。

技术摘要：先验知识还是搜索？关于硬件感知代码优化中 LLM 代理的研究

问题陈述

大型语言模型（LLM）正日益被部署为自主发现系统，通过“提出 - 评估 - 修订”循环运行，模仿黑盒优化（BBO）。尽管在极值组合数学和科学方程发现等领域取得了成功，但尚不清楚这些代理的哪些组件对性能贡献最大，以及探索在何时会失效。具体而言，很难确定 LLM 代理的成功是源于其通过上下文条件（反馈）进行适应的能力，还是因为它们严重依赖预训练先验。本文通过对比 LLM 与经典 BBO 方法，并分析其在不同先验密度和分布偏移下的行为，来研究基于 LLM 的发现方法的失效点。

方法论

作者进行了三项受控实验，以隔离先验知识与反馈机制的影响：

纯黑盒优化（BBO）：
- 设置： LLM（gpt-oss-120b, DeepSeek-V3.2）被 tasked 以最小化未知函数（合成函数、物理动力系统以及 BBOB 基准），且无法访问代码先验。
- 基线： 与 CMA-ES、混合 Centaur 系统（CMA-ES + LLM）以及 LLM 增强的蒙特卡洛树搜索（MCTS）进行对比。
- 指标： 评估收敛速度（最佳步数）、探索广度（覆盖率）和轨迹一致性（归一化轨迹长度）。
- 分析： 通过考察 LLM 在初始随机采样阶段之后的决策过程，探究 LLM 是进行探索还是仅仅在局部进行细化。
零样本内核生成（形状条件化）：
- 设置： LLM 为不同的输入张量大小生成 GPU 内核（Softmax, Matmul, Convolution）。
- 变量： 研究操纵了尺寸指令的明确性（隐式提示与显式提示）以及采样温度（ $T \in \{0.1, 0.5, 0.8\}$ ）。
- 目标： 确定 LLM 能否根据特定输入维度调整硬件级参数（分块、块大小），还是会退化为固定的先验。
迭代反馈循环优化：
- 设置： LLM 通过涉及编译错误和性能分析的迭代反馈循环来优化内核。
- 变量：
  - 表示语言： 对比 CUDA（预训练数据中密度高）与 TVM 中间表示（IR）（密度低，频率低约 100 倍）。
  - 尺寸范围： 基准原生尺寸与小型输入尺寸（分布偏移）。
- 基线： 与 TVM MetaSchedule（一种无先验的 BBO 方法）和 torch.compile 进行对比。
- 代理： 测试了两种流程：“采样代理”（并行生成并聚合反馈）和“反馈循环”（带有顾问/诊断器的顺序细化）。

主要贡献与发现

1. LLM 作为纯 BBO 中的贪婪优化器

在没有强代码先验的纯黑盒优化任务中，LLM 表现为贪婪的局部细化器而非探索者。

行为： LLM 将其提议锚定在迄今为止看到的最佳解决方案上，试图模仿梯度下降，即使不存在梯度。它们无法在高维空间（例如 BBOB-5D）中有效地探索搜索空间，输给了 CMA-ES 和混合 Centaur 系统。
证据： 轨迹分析显示覆盖率低且方向一致性强（线性路径），表明缺乏全局探索。思维链分析证实，模型使用类梯度的启发式方法来证明局部扰动的合理性。
启示： LLM 需要明确的编排（例如 MCTS 或混合状态更新）才能跳出局部最优；它们不会自然地执行广泛的探索。

2. 内核生成中的先验坍塌

在零样本内核生成中，LLM 表现出先验坍塌，无论输入维度如何，都生成与尺寸无关的解决方案。

观察： 无论是否提示明确的尺寸指令，模型在所有输入尺寸和温度下都收敛到同一组固定的内核参数（例如块大小、分块大小）。
后果： 这导致在分布偏移下性能显著下降。对于小型输入尺寸，LLM 的加速内核比例从 59% 下降到 31%，而无先验的 TVM MetaSchedule 则从 41% 提升到 69%。
结论： 预训练先验覆盖了提示条件化；如果训练数据中没有强烈表示特定的映射关系，模型就无法将请求的形状映射到专门的硬件配置。

3. 依赖表示的反馈循环

迭代反馈的有效性严格取决于目标语言上先验的密度。

CUDA（密集先验）： 反馈循环单调地提高性能。模型对 CUDA 的强先验使其能够有效地结合编译器错误和分析数据来细化解决方案。
TVM IR（稀疏先验）： 反馈循环导致性能下降。由于对 TVM IR 的先验较弱，模型无法解释反馈以生成有效的调度，导致编译成功率和加速比随迭代次数下降。
尺寸偏移： 在小型输入分布偏移下，LLM 代理输给了 TVM MetaSchedule。LLM 针对基准原生形状校准的尺寸特定偏差变得具有误导性，而 MetaSchedule 则自由适应。

意义与主张

本文认为，代理优化的核心变量不是反馈的存在，而是反馈能否被模型的先验所吸收。

先验与搜索： LLM 是强大的先验利用者，但却是弱化的开放式搜索者。当目标解空间被其预训练数据密集覆盖时（例如标准 CUDA 内核），它们表现优异；但当任务需要真正的探索或在低密度领域（例如 TVM IR、小型输入尺寸）运行时，其性能会下降。
设计启示： 鲁棒的优化流程应具有适应性：
- 在先验覆盖密集的地方使用 LLM 细化。
- 当发生分布偏移或先验稀疏时，依赖任务自适应搜索（如 BBO）。
- 需要结合 LLM 引导的提议与结构化搜索或检索的混合方法，以弥补仅靠上下文适应的局限性。

作者总结道，当前的代理流程往往未能将性能归因于具体因素，因为它们混淆了上下文操纵与搜索。通过隔离这些因素，本研究揭示了根本性的失效模式：在先验缺失时的贪婪局部搜索，以及在先验稀疏时无法针对新颖约束进行条件化。