🤖 machine learning

CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization

本文介绍了 CoFEH，这是一个协同框架，通过相互调节机制和动态步骤选择，将大语言模型驱动的特征工程与贝叶斯超参数优化协同交织，以克服传统 AutoML 中搜索空间僵化和工作流程贪婪的局限性。

原作者： Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Beicheng Xu, Keyao Ding, Wei Liu, Yupeng Lu, Bin Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是CoFEH论文的通俗化解释，辅以富有创意的类比。

核心难题：打造更强大的机器学习机器

想象你正在试图打造一辆终极赛车。你有两项主要工作：

准备燃料（特征工程）：你需要提炼原始燃料（数据），以便引擎能高效燃烧。这包括过滤杂质、混合特殊添加剂，或改变燃料的化学结构。
调校引擎（超参数优化）：你需要调整引擎的设置（如火花塞点火时机、燃油喷射速率），以从燃料中榨取最大速度。

旧方法：
传统上，工程师们将这些工作分开并按僵硬的顺序进行。

首先，他们使用一本固定的食谱书（一组有限的预定义化学反应）来混合燃料。他们无法发明新的添加剂，只能混合书中已有的内容。
一旦燃料“完成”，他们就会锁定食谱，开始调校引擎。
缺陷：这就像用低标号汽油调校法拉利引擎。如果燃料糟糕，无论引擎如何调校，车都跑不快。反之，如果你有绝佳的燃料但引擎调校不当，你依然会输掉比赛。旧方法没有意识到，最佳燃料取决于最佳引擎设置，反之亦然。

新方案：CoFEH

这篇论文的作者创建了CoFEH（协同特征工程与超参数优化）。将 CoFEH 想象成一个超级聪明的双人维修团队，在实时协作工作。

1. “创意厨师”（大语言模型）

CoFEH 不使用僵硬的食谱书，而是利用大语言模型（LLM）作为“创意厨师”。

它做什么：这位厨师不仅仅是从列表中混合食材。它会阅读数据，理解问题的“风味”，并即时发明新的食材和烹饪技巧。
“思维树”类比：想象这位厨师正在探索一片巨大、无限的食谱森林。它不是只走一条路，而是采用“思维树”策略。它会分叉探索，尝试几条路径，发现某条路通向死胡同时便回退，然后尝试完全不同的方向。这使得它能够找到那些僵化系统永远想不到的、真正独特且强大的数据转换方法。

2. “精密技师”（贝叶斯优化）

当厨师在发明新燃料时，一位“精密技师”（使用一种称为贝叶斯优化的方法）正在调校引擎。

旧问题：通常，厨师制作好燃料，交给技师，说：“来，调校这个。”技师尝试调校，但如果燃料很奇怪，技师可能会放弃或调校不当。
CoFEH 的改进：厨师和技师现在持续对话。
- 技师告诉厨师：“嘿，你做的这种新燃料添加剂在这个特定引擎设置下效果很好，但在另一个设置下却失败了。”
- 厨师告诉技师：“好的，我会调整食谱，以更好地匹配你的引擎设置。”
- 他们在一个循环中工作，同时优化燃料和引擎设置。这被称为相互条件化（Mutual Conditioning）。

3. “团队队长”（动态选择器）

团队只有有限的时间（预算）来调试赛车。此刻他们应该专注于什么？

旧方法：无论情况如何，他们都会花 50% 的时间在燃料上，50% 的时间在引擎上。
CoFEH 的改进：一位“团队队长”观察进度。
- 如果赛车因为燃料糟糕而挣扎，队长会大喊：“厨师，继续烹饪！暂时忽略引擎！”
- 如果燃料完美但引擎在喘息，队长会喊道：“技师，精细调校引擎！厨师可以休息一下。”
- 这确保他们将时间恰好花在针对那场特定比赛最重要的地方。

为什么这很重要？

该论文在28 个不同的数据集上测试了这个系统（可以将这些想象为 28 种规则各异的赛道）。

结果：CoFEH 击败了所有其他方法，包括旧的僵化系统和使用大语言模型的其他 AI 系统。
秘密武器：
1. 自由度：它不被困在固定的操作列表中。它可以发明新的操作。
2. 协作：它不是分开处理燃料和引擎工作。它是一起处理，使它们相互促进。
3. 适应性：它知道何时专注于数据，何时专注于模型，从而节省时间和能量。

总结

想象你正在试图解决一个拼图。

旧 AI：试图用锤子（僵化的规则）强行将拼图块塞进盒子里。
其他新 AI：使用智能机器人寻找拼图块，但机器人一次只寻找一块，忽略了它们如何相互契合。
CoFEH：使用专家团队。一位专家（大语言模型）是拼图大师，必要时可以发明新的拼图块。另一位专家（优化器）确切知道如何排列它们。他们并肩站立，不断说道：“如果我们把这块移到那里，它会与那块更好地契合”，直到拼图被完美解决。

该论文声称，通过让这两位专家实时协作并共享信息，他们能够比任何先前的方法更好、更快地解决复杂的数据问题。

技术摘要：CoFEH

问题陈述

特征工程（FE）是机器学习流程的基石，但仍是传统自动化方法的瓶颈。现有方法存在三个根本性局限：

语义无关性：它们依赖僵化的预定义搜索空间和试错法，未能利用领域先验知识。
僵化的拓扑结构：它们强制固定的流程序列（例如先生成后选择），阻碍了异构操作的动态交错或灵活组合。
受限的操作集：它们局限于内置算法或基本算术的封闭库，无法发现超出预定义原语之外的特定任务操作。

此外，虽然大语言模型（LLM）为生成具有语义基础且无界的操作符提供了有前景的替代方案，但当前基于 LLM 的特征工程方法通常专注于孤立的子任务（如特征生成），未能构建自由形式的流程。关键的是，这些方法很少将特征工程与下游模型的超参数优化（HPO）相结合。这导致了一种“贪婪”的串行工作流（先 FE 后 HPO），忽略了特征表示与模型容量之间的强依赖性，往往使系统陷入次优的局部极小值。

方法论：CoFEH 框架

作者提出了 CoFEH（协作特征工程与超参数优化），这是一个旨在交错进行 LLM 驱动的特征工程和贝叶斯超参数优化，以实现稳健端到端 AutoML 的框架。该系统包含三个核心组件：

1. LLM 驱动的思维树（ToT）特征工程优化器

为了解决自由形式特征工程的挑战，CoFEH 将流程构建重新表述为通过蒙特卡洛树搜索（MCTS）解决的序列决策问题。

状态表示：在任何转换阶段的数据集被视为搜索树中的状态节点。
可引导推理：LLM 基于包含数据集元数据、祖先流程以及动态指令（ $d$ $d$ ）的结构化提示生成新的特征工程操作：
- 初始化：为根节点生成高质量的初始操作。
- 探索：提出新颖的操作以探测搜索空间的未知区域。
- 利用：通过重用和适应高性能的历史操作来优化当前状态。
全局记忆：一种基于帕累托的检索机制归档了成功的操作（推理链、特征子集、分数和相对增益），以在利用阶段指导 LLM。

2. 相互调节机制

为了解决协作特征工程–超参数优化的挑战，CoFEH 在 LLM（特征工程）和贝叶斯优化（BO）（超参数优化）之间建立了双向信息流，避免了孤立的调优。

基于特征工程的超参数优化条件：BO 代理模型使用从数据集状态提取的元特征（ $\phi(s)$ ）来表征特征工程流程。这使得 BO 能够对流程和超参数的联合影响进行建模，并为特定的数据集状态（ $s^*$ ）推荐最优配置（ $\lambda^*$ ）。
基于超参数优化的特征工程条件：MCTS 的选择和模拟阶段受超参数优化结果的指导。节点的“最佳性能”指标由针对该特定数据集状态发现的最优超参数决定，确保 LLM 在最优模型配置而非默认设置下评估特征质量。

3. 动态优化器选择器

为了解决任务自适应调度问题，CoFEH 将特征工程与超参数优化之间的优化预算分配建模为多臂老虎机（MAB）问题，采用预测器置信上限（PUCB）策略。

选择器根据经验成功率（ $Q(a)$ ）和时变先验权重（ $\omega_a$ ），在每次迭代中动态决定执行特征工程步骤还是超参数优化步骤。
先验权重调度：系统开始时偏向特征工程（以确保数据“模型就绪”），并随着预算耗尽线性衰减该偏向，直至达到 50/50 的平衡。这保证了在中立场景下的预算分配平衡，同时允许任务特定的经验奖励在实际中引导分配。

主要贡献

自由形式流程优化：一个 LLM 驱动的思维树优化器，探索无约束的流程拓扑和操作符，实现了真正的自由形式特征工程，能够动态组合预处理、转换、生成和选择。
相互调节机制：一种新颖的双向耦合，特征工程和超参数优化相互指导决策，防止了串行优化的“贪婪短视”，并实现了联合空间全局最优的发现。
动态资源分配：一个基于 PUCB 的选择器，根据给定任务中各自的具体效用，自适应地在特征工程和超参数优化之间分配计算预算。
实证验证：广泛的实验表明，CoFEH 优于传统 AutoML 系统和现有的基于 LLM 的基线方法。

实验结果

作者在 28 个公共数据集（19 个分类，9 个回归）上评估了 CoFEH，涵盖了三种下游模型场景：XGBoost、MLP 和 CASH（组合算法选择与超参数优化）。

独立特征工程：CoFEH 在所有基线中取得了最佳平均排名（1.82），显著优于传统方法（Mindware、OpenFE）和其他基于 LLM 的方法（OCTree、ELLM、LFG）。
联合特征工程 + 超参数优化：在端到端设置中，与自身的独立特征工程性能相比，CoFEH 实现了 7.03% 的相对误差降低，优于所有基线。其平均排名达到 1.75，确立了新的最先进水平。
泛化能力：该框架在不同模型类型（MLP、CASH）上表现出稳健的泛化能力，保持了顶尖性能，并实现了显著的误差降低（例如，在 CASH 场景中提升了 45.1%）。
成本效率：CoFEH 实现了最佳的成本 - 性能权衡，使用 Gemini-2.0-flash 骨干网络时，每个任务仅需约 0.07 美元，而传统的搜索密集型方法（OpenFE、Mindware）需要更多的运行时间。
消融研究：移除相互调节机制或动态选择器会显著降低性能，证实了耦合信息管理和自适应资源调度的必要性。

意义与主张

该论文声称，CoFEH 弥合了 LLM 的语义推理能力与贝叶斯优化的数值效率之间的差距。通过从僵化的串行工作流转向交错的协作优化策略，CoFEH 克服了“能力集成悖论”，即 LLM 在特征工程方面表现出色，但在特征工程与超参数优化的耦合方面滞后。

作者断言 CoFEH：

释放了 LLM 的全部潜力，以创建类人类专家的自由形式流程。
解决了由解耦的特征工程和超参数优化导致的次优局部极小值问题。
为未来的 AutoML 工作提供了一个可扩展、可扩展的基础，可通过提示修改适应图像和文本数据。

这项工作被视为迈向整体机器学习流程优化的重要一步，其中特征发现与模型调优被视为统一的、相互强化的过程，而非孤立的阶段。