TopoFE: topology-aware LLM-guided Automated Feature Engineering
TOPOFE 是一个拓扑感知的多岛屿进化框架，通过集成家族特化探索、自适应提示词记忆以及拓扑引导的知识迁移，增强了由大语言模型（LLM）引导的自动化特征工程，从而克服了无状态生成和同质化搜索的局限性，进而在这 29 个表格数据集上发现了多样化且高性能的特征程序。
原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一台计算机做出明智的决策，比如预测贷款申请人是否会偿还贷款，或者患者是否患有某种特定疾病。计算机并不是一开始就拥有答案；它需要观察一张包含原始数据（数字、类别和日期）的电子表格，并从中找出哪些模式是重要的。这个过程被称为机器学习。但棘手之处在于：原始数据通常是杂乱且难以理解的。就像厨师如果只有未经切削的生蔬菜就无法做出美味的汤一样，如果数据不经过转换，计算机往往也无法找到最佳模式。这种转换步骤被称为特征工程。它是将原始数字进行组合，以创造出更聪明的新线索，从而帮助计算机洞察真相的艺术。长期以来，人类必须通过手动操作来完成这项工作，去猜测哪些数字组合可能有用。最近，我们开始使用被称为**大语言模型（LLMs）**的超智能计算机程序来提供帮助。可以将这些大语言模型想象成博学多才的助手，他们精通数学和科学，并能建议新的数据组合方式。然而，即使是这些才华横溢的助手也有一个问题：他们有时会陷入思维定式，反复建议同类型的组合，或者忘记之前尝试过什么，从而在死胡同里浪费时间。
这就是名为 TOPOFE 的新框架发挥作用的地方。研究人员 Sha Li 和 Naren Ramakrishnan 来自弗吉尼亚理工大学，他们意识到，由于可能的各种数据组合的空间如此巨大且多样，单一且统一的搜索策略是不够的。他们提出的系统将寻找最佳数据线索的过程，比作一群在不同领地工作的专业探险队，而不是一个庞大的群众。
TOPOFE 并没有让一大群计算机程序同时尝试解决问题，而是将工作分成了五个不同的“岛屿”。每个岛屿都是一个专注于特定数学技巧类型的专家团队。其中一个岛屿只关注简单的算术，如加法或乘法；另一个专注于统计学，如平均值和计数；第三个关注基于时间的模式，例如销售额在过去一周的变化情况；第四个处理不同群体之间的关系；最后一个则处理曲线、非线性的形状。通过保持这些专家的独立性，该系统确保了没有任何一种类型的数学技巧会占据主导地位并阻碍其他技巧的发现。
但真正的魔力发生在这些岛屿之间进行交流时。在旧有的系统中，如果一个团队陷入困境，他们可能会随机地与其他团队交换想法，但这通常没有帮助。TOPOFE 则更加聪明。它使用了一个“拓扑图”（topology graph），这就像是一张动态地图，可以学习哪些团队最擅长互相帮助。如果“时间”岛屿陷入困境，系统会检查其地图，发现“算术”岛屿在帮助他们方面表现最好。随后，它会触发一个特殊事件，让这两个团队结合各自的最佳想法，创造出一种全新的东西——一种“混合”特征，这是任何一个团队单独都无法发明出来的。例如，它可能会将一个基于时间的平均值与一个除法运算相结合，从而创造出一个全新的、具有高度预测能力的线索。
该系统还拥有一个能从自身错误中学习的“记忆”。如果某种类型的数学技巧在特定的数据集上不断失败，系统会记住这一点并停止建议该技巧，同时强化那些行之有效的技巧。这一切都是在不需要重新训练主计算机大脑的情况下完成的，这使得搜索过程极其高效。
研究人员在 29 个不同的现实世界数据集上测试了这个想法，涵盖了从预测心脏病到预测自行车租赁等各种领域。他们发现，TOPOFE 始终优于现有的最佳方法。它不仅找到了更好的答案，还找到了更多样化的答案。虽然其他方法往往会产生一堆非常相似的线索（冗余），但 TOPOFE 的专门岛屿和智能协作产生了一套覆盖面更广、且能很好适配不同类型预测模型的线索。这项研究表明，通过将搜索组织成专门的、相互沟通的群体，并让它们学习何时交换想法，我们可以解锁更强大的方式来教计算机理解我们的数据。结果显示，这种方法非常稳健，即使底层的计算机“大脑”发生变化，它依然表现良好，这证明了成功的秘诀在于搜索本身的结构，而不仅仅是模型的智能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。