🤖 AI

OMEGA: Optimizing Machine Learning by Evaluating Generated Algorithms

本文介绍了 OMEGA，这是一个端到端框架，通过结合结构化元提示工程与可执行代码生成来自动化人工智能研究，从而构建出新型机器学习分类器，这些分类器在 20 个基准数据集上的表现优于 scikit-learn 基线。

原作者： Jeremy Nixon, Annika Singh

发布于 2026-04-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Jeremy Nixon, Annika Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一台完美的机器，用来分拣一大堆杂乱无章的玩具。传统上，你需要一位人类专家来设计这台分拣机器、编写指令、进行测试、修复漏洞，然后再次尝试。本文介绍了一种名为OMEGA的新系统，它就像一个“超级自动化车间”，可以为你完成整个流程。

以下是 OMEGA 的工作原理，分解为几个简单的概念：

1. 创意工厂（生成蓝图）

通常，人类会提出新分拣机器的构想。OMEGA 改变了这一点，让计算机自己提出构想。

工作原理：你可以给系统一个简单的提示（例如“制造一个更好的分拣器”），或者让计算机自行头脑风暴。它就像一个富有创造力的建筑师，基于已知规则勾勒出 10 种不同的机器构建方案。
类比：这就像一位厨师，他不仅遵循食谱书，还会通过以前从未有人尝试过的方式混合食材，从而发明新菜肴。

2. 自愈车间（编写代码）

一旦计算机有了构想，它就会尝试编写实际的指令（代码）来构建机器。但计算机在编写代码时经常出错。

“自愈”技巧：OMEGA 内置了一个机械装置。如果代码崩溃或出现错误，系统会读取错误信息，意识到哪里出了问题，并尝试自动修复。它会不断尝试，直到机器完美运行。
类比：想象一个机器人在搭建乐高城堡。如果某块积木不合适，机器人不会放弃；它会立即检查说明书，更换积木，并再次尝试，直到城堡在没有人类帮助的情况下稳稳矗立。

3. 大竞赛（“无限基准”）

为了检验这些新机器是否真的出色，OMEGA 让它们与 20 个不同的标准分拣挑战（数据集）进行大规模竞赛。

记分牌：系统不仅仅看谁最快，而是考察它们的表现如何与“标准”机器（即其他人使用的机器，例如流行工具箱scikit-learn中的机器）相比。
结果：论文声称，OMEGA 创造了两台新机器，在这场竞赛中比标准工具运行得更快、更准确。
- “元合成”机器：这台机器就像一个专家团队。它汇集了几台不同简单机器的意见，将它们结合起来，并任用一位“智能经理”来决定针对每个特定玩具该信任哪位专家。
- “定向森林”机器：这台机器就像一群徒步者，他们在开始行走之前都同意哪边是“北方”。通过先就数据的方向达成一致，它们在分拣玩具时犯的错误更少。

4. 脑力测试（比较 AI 模型）

研究人员还测试了四种不同的"AI 大脑”（大型语言模型），以查看哪一款最擅长设计这些机器。

发现：他们发现具体的 AI 模型很重要，但初始构想（提示词）的质量更为关键。
转折：当他们让 AI 改进自己的指令（提示词），而不仅仅是修复代码时，结果显著变好。这就像告诉学生“这里有更好的学习方法”，而不仅仅是“这是答案钥匙”。

总结

简而言之，OMEGA是一个框架，它将一个简单的构想转化为一个可运行、无错误的机器学习工具，无需人类程序员修复漏洞。它证明了 AI 不仅能编写代码，还能发明新的解决问题的方法，且这些方法优于当前的标准工具。该论文使这些新工具可供任何人下载和使用。

以下是论文《OMEGA：通过评估生成算法优化机器学习》（ICLR 2026）的详细技术总结。

1. 问题陈述

本文解决了将机器学习（ML）研究从理论假设过渡到生产就绪、经过验证的实现过程中存在的高摩擦问题。虽然现有的自动化技术（如神经架构搜索 NAS 和 AutoML）已成功优化了固定算法结构内的超参数和层选择，但它们尚未解决发现全新算法逻辑的问题。目前，将新颖、非直观的想法转化为可执行、无错误且能集成到标准流程（例如 scikit-learn）中的代码，仍然是一项依赖人工且充满调试工作量的任务。作者提出将大型语言模型（LLM）的角色从静态文本生成器转变为能够自主进行算法发现的可执行学习系统。

2. 方法论：OMEGA 框架

OMEGA 是一个端到端框架，旨在自动化 ML 算法创建的全生命周期，从想法生成到可执行代码评估。它通过四个主要阶段运行：

A. 想法生成

该框架利用两种互补的方法来生成算法概念：

LLM 本体搜索：系统向 LLM 提供现有模型和研究原则列表，以生成独特的修改方案（每个模型 10 个）。这些想法被解析并用作代码生成的提示。
人工提示想法：人类研究人员可以直接将新颖概念提交到框架中，与 LLM 生成的想法一同处理。

B. 代码生成与自愈

一旦想法被定义，LLM 将在两个严格约束下生成代码：

Scikit-Learn 合规性：生成的模型必须继承自 BaseEstimator 并实现 .fit() 和 .predict() 方法。这确保了模型作为与现有 ML 工作流兼容的领域特定语言（DSL）发挥作用。
自愈流程：为确保执行能力，框架采用迭代调试循环。如果代码生成失败，错误堆栈跟踪会被反馈给 LLM 以重新生成代码。此过程重复固定的重试次数；如果代码无法修复，则将其丢弃。这确保了只有无错误、可编译的代码才能进入评估阶段。

C. 评估：Infinity-Bench

为了评估生成的算法，作者引入了Infinity-Bench，这是一个包含 20 个多样化分类数据集（源自 scikit-learn 和 OpenML）的基准存储库。

多样性：数据集在规模、特征类型（数值/类别）和领域（生物、医学、教育）方面各不相同。
指标：框架不使用原始准确率（因其随数据集难度变化），而是使用最小 - 最大归一化排名分数。
- 对于每个数据集 $d$ ，分数 $n_{m,d}$ 通过将模型准确率 ( $s_{m,d}$ ) 相对于最差 ( $min_d$ ) 和最佳 ( $max_d$ ) 模型进行归一化来计算：
  $n_{m,d} = \frac{s_{m,d} - min_d}{max_d - min_d}$
- 最终性能分数是这 20 个数据集中这些归一化排名的平均值。

D. 库创建

表现优异的模型被打包成 Python 库（omega-models），允许无缝集成到标准工作流中。

3. 主要贡献

OMEGA 框架：一个自动化的端到端系统，可将简单提示转换为无编译错误且兼容 scikit-learn 的 ML 分类器。
Infinity-Bench：一个基于 20 个多样化数据集上的相对性能和鲁棒性来评估分类模型的稳健基准。
新颖算法发现：生成了两个特定的新颖算法，其表现优于既定基线：
- MetaSynthesisClassifier：一个人工提示的堆叠泛化模型。
- DirectionalForest：一个由 LLM 自主生成的集成模型，利用特征方向性。
LLM 比较分析：一项研究比较了四种领先 LLM（Gemini 2.5 Flash、GPT-4.1 mini、Claude Sonnet 4.5 和 xAI 的 grok-code-fast-1）的代码生成能力。
自我改进策略：对递归自我提示的分析，比较了迭代改进提示与改进代码的有效性。

4. 结果

A. 性能与基线对比

OMEGA 框架成功生成了优于标准 scikit-learn 基线（如 RandomForest、MLPClassifier、LogisticRegression）的模型。

顶级表现者：基准测试中排名前 3 的模型均由 OMEGA 生成（MetaSynthesisClassifier、VotingEnsembleClassifier 和用户提示变体），其最小 - 最大分数分别为 0.9474、0.9445 和 0.9401。
基线对比：标准 scikit-learn 模型排名较低（例如 RandomForest 为 0.9285，LogisticRegression 为 0.8708）。

B. 新颖算法分析

MetaSynthesisClassifier：利用分层堆叠泛化方法。它在排除特定样本的数据上训练基础估计器（以防止泄漏），并使用元估计器学习这些基础预测的最佳加权。它在不同的流形复杂性中表现出卓越的鲁棒性。
DirectionalForest：一项自主发现，结合了特征方向性。它根据类均值与全局均值之间偏差的符号计算方向性向量。它在训练决策树之前转换输入特征（ $x_{dir} = x \odot d$ ），有效地归一化了特征重要性的方向并减少了高维空间中的方差。

C. LLM 比较

Gemini 2.5 Flash 在生成可执行分类模型方面表现最佳，在 10 个多样化提示中实现了最高的平均分数（0.9162）。
提示质量与模型身份：虽然 Gemini 领先，但模型之间的性能差距相对较小，这表明初始提示的质量通常比所使用的特定 LLM 更为关键。

D. 自我改进（提示与代码）

作者测试了迭代提示还是迭代代码能产生更好的结果：

发现：对于几乎所有 LLM，提示调整始终优于仅代码优化。
示例：对于 Claude，提示改进带来了 8.88% 的增益（相对于基线），而代码改进仅带来 4.85% 的增益。
启示：在此背景下，细化给予 LLM 的概念性指令比要求它调试自己的代码更有效。

5. 意义

OMEGA 框架代表了迈向自动化 AI 研究的重要一步。通过弥合想法生成与可执行、经过验证的代码之间的差距，它降低了发现新颖 ML 算法的门槛。

可扩展性：它证明了 LLM 能够推理算法逻辑并生成具有竞争力、生产就绪的代码，而无需人工干预。
民主化：通过打包这些模型，该框架使技术和非技术工程师都能利用 LLM 生成的算法。
未来研究：“AI 科学家”在该领域的成功表明，未来整个研究流程——从假设到论文——将完全自动化，从而可能将 ML 创新的步伐加速到超越人类手动推导的程度。