💬 NLP

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

本文介绍了“程序即权重”（Program-as-Weights, PAW）这一范式，该范式将自然语言规范编译为紧凑且可本地执行的神经适配器，使一个微小的冻结解释器能够达到规模大得多的基础模型的性能，同时大幅降低推理成本并实现离线执行。

原作者： Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Wentao Zhang, Liliana Hotsko, Woojeong Kim, Pengyu Nie, Stuart Shieber, Yuntian Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明、但非常昂贵且动作缓慢的大厨（一个大型 AI 模型）。目前，如果你想做一道特定的菜，你每次感到饥饿时都必须去请这位大厨。你必须从头开始向他解释食谱，等待他思考，并且每做一顿饭都要支付费用。这虽然可行，但既慢又贵，而且如果断网了，你就没法做饭。

“程序即权重”（Program-as-Weights, PAW） 这篇论文提出了一种完全不同的烹饪方式。与其每次都去请这位大厨，不如只请他一次，让他为你那道特定的菜写一本微型的、定制的食谱。一旦书写完成，你就可以把这本书交给一个小型、廉价的本地厨房助手（一个微型 AI 模型），由他来即时、免费地烹饪出那道完全相同的菜，甚至在没有电的情况下（离线状态）也能操作。

以下是该论文如何使用简单的类比来拆解其内容的：

1. 问题所在：“模糊”任务

有些工作对人类来说很容易，但却无法用严格的规则写下来。

类比： 想象一下尝试编写一本关于“如何识别紧急邮件”的规则手册。你不能只写“如果包含‘紧急’字样，就标记它”。如果邮件里写的是“今天结束前需要！”或者“我的老板在打电话”呢？人类能瞬间理解，但计算机需要非常具体、死板的指令。
目前的解决方案： 开发人员目前只是让那个庞大、昂贵的 AI 大厨去阅读每封邮件并做出决定。这既慢又贵。
PAW 的解决方案： 创建一个“模糊函数”——一个能够理解这些模糊、类人指令的定制工具。

2. 魔法技巧：“编译一次，本地运行”

论文引入了一个称为 Program-as-Weights（程序即权重） 的两步过程。

第一步：编译器（编写食谱的大厨）
你用自然语言描述你的需求（例如：“标记今天需要签名的邮件”）。一个大型 AI 模型（编译器）会阅读你的描述，它不仅会给你一个答案，还会编写一套微型的、定制的指令集（一个“神经程序”），专门用于该任务。
- 论文所述： 这个编译器将你的自然语言描述转化为一个很小的文件（约 23 MB），其中包含了“权重”（数学上的调整值）和一个简短的“伪程序”（对你指令的清晰重写版本及示例）。
第二步：解释器（本地厨房助手）
你将这个微型文件加载到一个存储在你笔记本电脑或手机上的小型、冻结的 AI 模型（解释器）中。这个小模型就像一个通用的厨房助手。它本身并不知道如何烹饪任何东西。但当你把那本“定制食谱”（权重）交给它时，它就能立即知道如何执行那项特定任务。
- 论文所述： 这个小模型（0.6 十亿参数）在本地运行任务。它不需要调用互联网或那个大 AI。

3. 为什么这种方式更好？

论文将这种方式与旧方法进行了对比：

速度与成本： 旧的方法（调用大 AI）就像是每次都点外卖。而新方法像是拥有一个了解你最爱食谱的私人副厨。论文声称，该小模型在标准 MacBook 上运行速度快了 30 倍（每秒 30 个 token），且使用的内存比大模型少 50 倍。
可靠性： 如果网络中断，大 AI 就会停止工作。而 PAW 系统可以离线工作，因为“食谱”直接保存在你的设备上。
可复现性： 使用大 AI 时，公司可能会在明天偷偷修改大厨的食谱，导致你的应用崩溃。而使用 PAW，你拥有一个保存好的文件。它将永远执行同样的操作，因为“食谱”已经锁定在该文件中。

4. 他们实际测试了什么？

作者不仅停留在理论层面，还建立了一个庞大的训练场，名为 FuzzyBench（包含 1000 万个此类“模糊”任务的示例），并测试了他们的系统。

结果： 当使用定制“食谱”时，这个微型本地模型（0.6B）的表现优于直接询问那个 320 亿参数的大型模型（68.7% 的准确率 vs 73.8% 的准确率）。
“一次运行时，多种程序”的概念： 想象一个小型厨房助手。你可以秒级切换他们的“食谱”。这一分钟他们在处理邮件分类，下一分钟他们在修复损坏的 JSON 代码，再下一分钟他们在玩文字游戏。他们不需要重新训练，只需要加载一组新的权重即可。

5. 论文中的现实世界案例

论文展示了该系统在五个特定场景下的运作情况：

日志监控： 扫描计算机日志，仅在你真正需要时发出警报，忽略噪音。
网站导航： 根据用户模糊的搜索意图理解其需求，而无需庞大的服务器。
搜索重排序： 根据搜索的“意图”而非仅仅是关键词，对搜索结果进行重新排序。
工具调用： 帮助 AI 根据用户的请求决定使用哪种工具（如计算器或地图）。
文字游戏： 运行一个多语言猜词游戏，AI 根据描述猜测单词，全程在小型服务器上运行。

核心结论

论文认为，我们正在经历一个转变：从要求一个庞大、昂贵的 AI 去解决每一个问题，转向要求一个庞大的 AI 为我们构建一个小型、定制化的工具。然后，这个小型工具就能在你的设备上，廉价、快速地永久执行这项工作。

重要提示： 论文严格限制了其声明范围，仅限于这些基于文本（以及部分基于图像）的编程任务。它并不声称这适用于医疗诊断、法律建议或其他高风险的现实应用，也不声称该系统可以在没有将其分解为这些单步“函数”的情况下，独立进行复杂的、多步骤问题的推理。

技术摘要：程序即权重 (Program-as-Weights, PAW)

1. 问题陈述

许多现实世界的编程任务难以通过精确的、基于规则的实现来完成。这些“模糊函数”（例如：根据紧迫性过滤日志行、修复格式错误的 JSON 或根据意图对搜索结果进行排序）对于人类来说直观易懂，但当使用清晰的符号规则（如正则表达式）实现时却非常脆弱，因为它们难以应对噪声、拼写错误和边缘情况。

目前，开发者将这些任务外包给大语言模型 (LLM) API。虽然这种方式很方便，但会产生高昂的成本，引入延迟，破坏可复现性（由于提供商的静默模型更新），并阻碍了软件的自包含性。本文认为，需要一种既能保留 LLM 处理模糊任务的灵活性，又能实现本地化、可复现且高性价比执行的新范式。

2. 方法论：程序即权重 (PAW)

作者提出了 程序即权重 (PAW)，这是一种将模糊函数从自然语言规范编译为紧凑、可本地执行的神经人工制品（neural artifact）的范式。该系统将理解规范的“重型工作”与执行函数的“日常工作”解耦。

核心架构

PAW 流水线由三个主要组件组成：

编译器 (The Compiler)： 一个将用户规范 ( $s$ ) 映射到程序 ( $p$ ) 的神经模型。
程序 ( $p$ )： 一个混合人工制品，包含：
- 离散组件 ( $p_{discrete}$ )： 一个“伪程序”，以自然语言形式呈现（对任务的重述加上具有代表性的输入-输出示例）。它使解释器免受原始规范中歧义和拼写错误的影响。
- 连续组件 ( $p_{continuous}$ )： 一个参数高效微调 (PEFT) 模块（具体为 LoRA 或 prefix-tuning KV cache），用于针对特定任务对冻结的解释器进行重调优。
解释器 (The Interpreter)： 一个小型、冻结的语言模型（例如 Qwen3-0.6B）负责执行程序。它加载 PEFT 模块和伪程序，处理用户输入，并自回归地生成输出。

编译流水线

编译过程涉及两个阶段，两者均使用 4B 参数的 Qwen3 模型：

伪编译器 ( $C_p$ )： 一个现成的、未经训练的模型，通过任务重写模板进行提示。它将原始的用户规范转换为一个干净的伪程序，包含清晰的任务描述和少样本 (few-shot) 示例。
PEFT 编译器 ( $C_{PEFT}$ )： 一个经过训练的模型（在当前最佳实例中为 LoRA 编译器）接收规范和伪程序作为输入。它通过将其隐藏状态映射到 LoRA 映射器 (LoRA mapper)，从而输出连续的 PEFT 权重（LoRA 矩阵）。
- 映射器聚合来自编译器特定层的隐藏状态，进行池化处理，并将其投影为混合系数。这些系数将 LoRA 矩阵 ( $A, B$ ) 组合在了一组共享的可学习基底之上，为每个函数注入了约 38.5M 个参数。

训练

仅对 PEFT 编译器和 LoRA 映射器进行训练。伪编译器和解释器保持冻结。训练目标是最大化给定冻结解释器、生成的伪程序和生成的 LoRA 权重时，目标输出的似然概率。这是一个使用 FuzzyBench 数据集进行的单一监督学习目标。

3. 核心贡献

FuzzyBench 数据集

作者发布了 FuzzyBench，这是一个旨在训练 PAW 类方法的 1000 万示例数据集。

构建方式： 使用 gpt-5.2 通过两阶段流水线生成（规范生成以及随后的输入/输出对生成）。
覆盖范围： 循序渐进地构建了 29 个主题版本，涵盖了 800 多个类别的模糊任务（如文本处理、格式修复、智能体工具调用、安全性验证等）。
验证： 包含一个经过验证的测试集，其中两个强模型必须对输出达成一致，以过滤掉有歧义的目标。它还包括了噪声扰动版本（拼写错误、语法错误、歧义）用于鲁棒性评估。

PAW 系统

文本转 LoRA 实例化： 作者证明了从文本规范生成 LoRA 适配器比 prefix-tuning 和直接提示的效果更好。
模态通用性： 该抽象通过仅更换编译器为视觉语言模型 (Qwen3-VL) 即可扩展到图像驱动的任务，同时保持相同的文本解释器。
开发者接口： 提供了一个实用的 API (paw.compile, paw.function)，允许开发者将规范编译为可序列化的权重文件（GGUF 格式），这些文件可以完全离线运行。

4. 实验结果

在 FuzzyBench 上的表现

准确率： 执行 PAW 程序的 0.6B 参数解释器在 FuzzyBench 上实现了 73.78% 的精确匹配。
对比： 这优于 Qwen3-32B 的直接提示性能 (68.70%)，并且显著超过了 0.6B 基座模型在直接提示下的表现 (9.84%)。
效率： PAW 系统使用的推理内存仅约为 32B 模型的 1/50（约 1.2 GB 对比 60 GB）。
延迟： 在 MacBook M3 上，量化后的系统运行速度为 30 tokens/second。

鲁棒性

PAW 对噪声规范（拼写错误、语法错误）表现出高度的鲁棒性。离散的伪程序充当了去噪器；当直接将带有噪声的原始规范喂给解释器（跳过伪程序）时，性能会大幅下降（在严重拼写错误下下降 4.5 个百分点），而完整的 PAW 流水线性能下降极小。

消融实验

编译器的必要性： PAW 比对 0.6B 基座进行全量微调高出 15.4 个百分点，比固定 LoRA 高出 21.7 个百分点，这证实了其增益来自于编译器生成的、感知规范的 LoRA。
架构： 最简单的 LoRA 映射器设计（将隐藏状态进行均值池化为单个向量，配合浅层 MLP 和共享基底）被证明优于更复杂、“更具表达力”的变体。
量化： 将基座量化至 Q6_K 并将 LoRA 适配器量化至 Q4_0，与 bf16 相比准确率损失微乎其微，总磁盘占用约为 507 MB。

案例研究

论文在五个用例上验证了该范式：

事件驱动的日志监控： 本地分类日志的紧迫程度。
基于意图的站点导航： 无需 API 调用即可对用户意图进行分类。
语义搜索重排序： 根据意图对关键词搜索结果进行重排序。
智能体预处理： 在 TOOLCALL-15 上得分 93% 的工具调用流水线。
创意生成： 由 0.6B 解释器服务的多语言猜词游戏 (Alien-Taboo)。

5. 重要性与主张

论文将 PAW 框架化为迈向 “小模型未来” 的具体一步，在这种未来中，基础模型充当的是 工具构建者 而非逐个输入的解决者。

范式转变： 与其为每一个查询都调用一个庞大的模型，不如在编译时完成繁重的任务（理解模糊规范）。由此产生的产物是一个小型、可重用、可版本化且可分发的“神经二进制文件”。
本地执行： PAW 使得复杂的模糊逻辑可以在消费级硬件（如 MacBook、通过 WebAssembly 运行在浏览器中）上完全离线运行，解决了与云端 LLM API 相关的成本、隐私和可复现性问题。
模块化： “一个运行时，多个程序”的架构允许单个小型解释器通过热交换 PEFT 适配器来服务无数个模糊函数。

作者对局限性保持了谦逊的态度，指出该系统目前仅处理单步模糊函数（多步推理是未来的工作方向），依赖于合成训练数据，并且如果解释器架构发生变化，则需要重新训练编译器。然而，他们认为对于这类难以用符号实现但不需要大规模上下文或推理能力的任务，PAW 提供了一种比基于 API 的 LLM 更高效、更本地化的可行替代方案。