💬 NLP

optimize_anything: A Universal API for Optimizing any Text Parameter

本文介绍了"optimize_anything"，这是一个基于大语言模型的通用优化框架，通过将基于文本的搜索与多任务迁移及可操作侧信息相结合，在智能体架构设计、云成本降低和 CUDA 内核生成等六个不同领域实现了超越专用算法的最先进成果。

原作者： Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lakshya A Agrawal, Donghyun Lee, Shangyin Tan, Wenjie Ma, Karim Elmaaroufi, Rohit Sandadi, Sanjit A. Seshia, Koushik Sen, Dan Klein, Ion Stoica, Joseph E. Gonzalez, Omar Khattab, Alexandros G. Dimakis, Matei Zaharia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢的大厨（即大型语言模型，或 LLM），他非常擅长撰写食谱，却不会实际烹饪。通常，为了得到一道佳肴，你需要为每一道菜聘请不同的专家：甜点师负责甜点，烧烤大师负责牛排，副主厨负责汤品。

这篇论文介绍了一种名为 optimize_anything 的新系统，它就像一个通用的“品尝与指导”循环。它声称，你无需为每项工作聘请不同的专家。相反，你可以使用这一单一系统来改进任何基于文本的解决方案，无论是计算机程序、一套指令、机器人的“大脑”，甚至是一幅画作。

以下是其工作原理，分解为简单的概念：

1. 核心理念：“文本制品”

作者们意识到，几乎任何问题都可以转化为一段文本。

代码只是文本。
机器人的指令只是文本。
数学公式只是文本。
一幅画（如 SVG 格式）也只是文本代码。

类比：将“文本制品”想象成故事的一个草稿。系统的任务是拿过这份草稿，阅读它，评估其效果如何，然后请这位 AI 大厨重写它，使其变得更好。

2. 秘诀：“侧面信息”（教练的笔记）

过去，如果你要求 AI 改进某物，它只能得到一个分数（例如，“这段代码得了 60 分”）。它不知道为什么失败了。这就像学生考试得了"C"，却没有收到关于哪些题目做错的反馈。

optimize_anything 改变了规则。系统不仅给出分数，还提供侧面信息（SI）。

类比：想象一位教练在观看运动员跑步。教练不只是说“你跑了 10 秒”，而是说“你跑了 10 秒，但你在第三个跨栏时绊倒了，因为你的鞋带松了，而且你向左倾斜得太厉害了”。
如何起作用：AI 利用这些具体的笔记（如错误消息、崩溃日志或视觉描述）来修复确切的问题。论文表明，这使得 AI 的学习速度快了 4 到 6 倍，并且取得的分数远高于仅拥有简单分数的情况。

3. 三种玩法

该系统有三种不同的模式，就像视频游戏中的不同游戏模式：

单任务模式（单人玩家）：你给系统一个具体问题来解决，例如“将 26 个圆打包进一个正方形”。AI 只尝试解决这一件事。
多任务模式（学习小组）：你给系统一批相关的问题，例如“编写 30 个不同的计算机程序以加速数学运算”。AI 一起解决所有这些问题。
- 魔法之处：如果 AI 为问题 #1 想出了一个技巧（例如“使用更快的内存技巧”），它可以立即将同样的技巧应用到问题 #15 上。这就像一个学生在代数课上学到了数学捷径，并将其用于精通微积分。论文发现，这种模式比逐个解决问题要好得多。
泛化模式（大师班）：你给 AI 一个训练集和一个测试集。目标是创建一个能解决新的、未见过的问题的解决方案。
- 示例：AI 学会了为编程机器人编写“技能指南”。它在一系列编程任务上进行训练，然后变得如此擅长编写指南，以至于它帮助机器人解决了全新的、它从未见过的编程任务。

4. 他们实际取得了什么成就？

论文在六种截然不同的问题类型上测试了该系统。以下是发生的情况：

机器人“大脑”（智能体架构）：他们给 AI 一个非常简单的、10 行代码的机器人“大脑”。该系统将其进化为一个复杂的 300 多行代码的“大脑”。结果如何？该机器人在一个高难度逻辑谜题（ARC-AGI）上的准确率从 32.5% 跃升至 89.5%。
云成本：他们要求 AI 为云服务器编写调度计划。与标准方法相比，新调度计划节省了 40% 的费用。
计算机速度（CUDA 内核）：他们要求 AI 编写代码以加快显卡速度。87% 的 AI 编写代码的速度与最佳人类编写的代码一样快，甚至更快。
数学谜题：他们改进了数学考试提示，将 AI 的分数从 46.6% 提升至 60%。
圆打包：他们要求 AI 尽可能紧密地打包圆。AI 发现了一个优于著名先前 AI（AlphaEvolve）的解决方案，并且使用的计算能力更少。
3D 模型：在“无种子”模式（AI 必须从零开始，没有任何代码）下，它成功生成了一个独角兽的 3D 模型。

5. 为什么这很重要

在此之前，如果你想优化一个机器人，你需要一位机器人专家。如果你想优化云服务器，你需要一位云专家。

optimize_anything 声称是首个“通用 API"。它说：“给我文本，给我评分规则，剩下的交给我。”它将这些不同的领域统一在一个简单的接口之下。

注意事项（局限性）：

它仅适用于可以写成文本的事物。
它需要一个“评分器”（评估器）来告诉它文本表现如何。
结果的质量取决于 AI“大厨”有多聪明。
有时，如果你要求它一次性解决太多完全不同的问题（例如打包不同大小的圆），它会感到困惑。当问题相关时，它的效果最好。

总结

optimize_anything 是一个工具，它让单一 AI 系统能够学习成为几乎任何文本内容的优化大师。通过向 AI 提供详细的反馈（而不仅仅是分数），并让它从多个问题中同时学习，它能够发现往往优于人类专家为特定工作构建的专用工具的解决方案。

技术摘要：optimize_anything

问题陈述

当前的大语言模型（LLM）优化系统大多按工件类型和优化模式相互隔离。现有的工具如 AlphaEvolve 和 OpenEvolve 专门从事单一任务的代码进化，而 GEPA 和 MIPROv2 等框架则专注于具有泛化能力的提示词优化。没有任何单一系统能够同时优化根本不同的文本工件——从代码和提示词到智能体架构及图像生成参数。此外，先前的系统通常缺乏利用诊断反馈（侧信息）的统一机制，也不支持跨相关问题进行知识迁移的多任务搜索。

本文提出，广泛的优化问题可以统一在一个单一的公式之下：优化一个文本工件 $x$ ，该工件由评分函数 $f(x)$ 进行评估，该函数返回一个分数和可选的诊断反馈。目标是创建一个通用 API，支持单一任务搜索、具有跨问题迁移能力的多任务搜索，以及跨不同领域对未见输入的泛化。

方法论：optimize_anything

作者提出了 optimize_anything，这是一个实现通用文本优化循环的声明式 API。该系统后端无关，但默认采用 GEPA 算法的扩展版本，并针对任意文本工件进行了适配。

核心接口

系统需要三个主要输入：

种子工件：一个起始文本字符串（例如代码、提示词、智能体定义）。在“无种子模式”下，系统仅从自然语言目标出发引导生成第一个候选项。
评估器：一个执行工件并返回分数（越高越好）和**侧信息（SI）**元组的函数。
数据集/验证集：用于定义优化模式的可选输入。

三种优化模式

该系统在一个接口下统一了三种不同的模式，具体模式由数据集的存在与否决定：

单一任务搜索：针对特定问题优化单个工件（例如圆形填充）。评估器直接对工件进行评分。
多任务搜索：同时优化一批相关任务。系统在各任务间维护一个共享的帕累托前沿，使得为一个任务（例如 CUDA 内核优化）发现的优化模式能够迁移到其他任务。
泛化：优化工件使其在训练集上表现良好，同时在独立的、未见过的验证集上进行验证。此模式不仅限于提示词，还扩展到智能体架构和调度策略。

关键算法机制

侧信息（SI）作为一等契约：与依赖标量反馈的传统基于梯度的优化器不同，optimize_anything 将诊断反馈（编译器错误、性能分析数据、执行轨迹、渲染图像）视为主要输入。LLM 提议器在“反思”步骤中使用此 SI 来诊断失败并提出针对性修复，模拟工程师对原型进行迭代的过程。
基于帕累托的搜索：系统不将多维分数坍缩为单一总和，而是按任务或按指标跟踪分数。它维护非支配候选项的帕累托前沿。这保留了互补优势（例如，一个在任务 A 表现良好但在任务 B 表现中等的候选项），并防止过早收敛。
候选项选择与反思：根据候选项在帕累托前沿上的频率来选择用于变异的候选项。提议器会看到一个小批量示例及其对应的 SI，以生成改进后的工件。在评估之前，一个“精炼”步骤会捕获常见的生成缺陷（例如语法错误）。

主要贡献

统一的跨域优化：本文证明，单一的基于 LLM 的系统可以在六个根本不同的领域取得最先进的成果：智能体架构搜索、云调度、CUDA 内核生成、提示词优化、圆形填充和图像生成。
LLM 进化的首个多任务模式：该系统引入了一种多任务搜索模式，其中解决一批相关问题能够实现优化模式的跨任务迁移，其表现优于独立的单一任务优化。
可操作的侧信息：作者将诊断反馈形式化为统一的 API 契约。消融研究表明，与仅基于分数的反馈相比，可操作的 SI 使收敛速度提高了 4–6 倍，最终分数也显著提高。
开源实现：该系统作为 GEPA 项目的一部分发布，支持多种后端，并提供一个声明式接口，抽象掉了变异提示、岛屿配置和特定任务模板。

实验结果

该系统在六个主要领域进行了评估：

智能体架构（ARC-AGI）：将一个 10 行代码的种子优化为一个 300 多行的系统（包含代码和提示词），在 ARC-AGI 测试集上将准确率从 32.5% 提高到了 89.5%，翻了三倍。
云调度：发现了调度算法，将云数据流出成本降低了 40.2%（CloudCast），并提高了抢占式实例的利用率（Can't Be Late），表现优于现有基准。
CUDA 内核：为 31 个 PyTorch 操作生成了内核，其中 87% 匹配或超过了 PyTorch 基线。在多任务模式下，加速阈值的表现显著优于单一任务模式。
提示词优化：将 GPT-4.1-mini 在 AIME 2025 数学问题上的准确率从 46.67% 提高到 60.00%，表现优于 MIPROv2。
圆形填充：超越了 AlphaEvolve 报告的 26 个圆形填充解决方案，以更少的评估次数实现了更高的半径总和。
图像生成：优化了 SVG 和 CAD 代码，人类评估者更倾向于这些结果，而非零样本基线。

消融研究结果：

侧信息：移除 SI 会显著降低最终性能（例如，圆形填充分数降至最优值的 94%；内核加速超过 1.1 倍的比例从 40% 降至 0%）。
多任务与单一任务：在相关任务（CUDA 内核）上，多任务搜索由于模式迁移而始终优于单一任务搜索。然而，在不相关任务（不同 $N$ 值的圆形填充）上，多任务搜索引入了噪声并降低了性能。
提议器敏感性：虽然更大的模型（GPT-5.1）实现了更高的最终质量，但更便宜的模型（GPT-5-nano）仍以极低的成本提供了相对于种子的显著改进。

意义与主张

本文主张建立基于 LLM 搜索的文本优化作为一种通用问题解决范式。它认为，通过将优化问题视为由带有诊断反馈的评分函数评估的文本工件的改进，可以减少对特定领域算法的需求。

其意义在于：

统一性：将传统上需要不同算法的任务（代码进化、提示词工程、智能体设计）统一在一个框架下。
迁移的可扩展性：证明了优化模式可以在相关问题之间迁移，随着任务数量的增加，其效益也随之扩展。
可操作的反馈：表明将标量分数转化为可操作的诊断信号（SI）对于基于 LLM 的优化的效率和有效性至关重要。

作者总结道，optimize_anything 提供了一个声明式接口，用户定义要优化什么（工件、评估器、目标），而系统处理如何优化（搜索策略、反思、选择），从而有效地使复杂的优化任务民主化。