技术摘要：SemPiper：机器学习流水线中语义算子的交互式代码合成

问题陈述

机器学习（ML）流水线开发的特点是存在大量的、重复性的且易错的数据准备、特征工程以及跨异构来源（如数据湖、数据仓库、日志文件）的集成工作。虽然大语言模型（LLM）在代码合成方面展现出了潜力，但目前的聊天式界面对流水线行为的控制能力有限。它们生成的代码往往难以优化、难以集成到生产系统中，或难以进行安全性验证。此外，在流水线的每一步推理过程中都依赖 LLM 会带来高昂的计算成本并引入延迟。核心挑战在于如何既能利用 LLM 在高层数据中心任务中的灵活性，又能保持标准 ML 流水线所需的确定性、可优化性和高效性。

方法论：SemPipes 框架

本文介绍了 SemPipes，这是一种编程模型，它通过 语义数据算子（Semantic Data Operators, SemOps） 扩展了标准的表格型 ML 流水线。这些算子是声明式的、由 LLM 驱动的，允许开发者通过提供高层自然语言指令来指定数据中心的操作，而系统则负责合成具体的 Python 实现。

核心架构

1. 声明式接口： SemPipes 流水线使用标准的 Python 数据科学库（pandas, NumPy, scikit-learn, skrub）进行编写。开发者通过提供自然语言指令（例如，“标准化为 ISO-3166 标准”）来选择性地将特定操作委托给 SemOps。
2. 训练时合成： 与在推理阶段依赖 LLM 的系统不同，SemPipes 仅在流水线训练阶段合成专门的算子实现。
   • 合成过程受三个因素调节：数据集特征、用户自然语言指令以及流水线上下文（下游任务和模型类型）。
   • 系统根据这些条件生成特定的 Python 代码（例如，pandas 操作或调用 HuggingFace transformers 等预训练模型）。
   • 这种方法将 LLM 的使用限制在与语义算子数量成正比的调用次数内，从而消除了推理阶段对 LLM 的依赖。
3. 代码生成策略：
   • 对于特征生成，SemPipes 生成基于 CPU 的 pandas 代码。
   • 对于多模态提取，SemOps 利用本地 GPU 上的预训练模型（例如，零样本分类或视觉问答）。
4. 验证与安全性： 合成的代码会经过算子特定的验证，包括语法检查以及在数据样本上执行以验证输出约束（例如，数据框形状）。

通过进化搜索进行优化

SemPipes 实现了数据操作的迭代优化。一旦定义了流水线，系统就会采用进化搜索程序（例如，蒙特卡洛树搜索）来优化合成的算子代码：

• 变异（Mutation）： 系统通过反射式提示（reflective prompting）生成候选实现，并根据先前的性能评分和树状结构记忆进行引导。
• 适应度函数（Fitness Function）： 搜索过程根据候选实现对下游模型在验证集上表现的影响来进行评估。
• 选择（Selection）： 选出改进后的变体以精炼流水线，从而有效地实现了手动重写特征工程代码的自动化过程。

关键贡献与演示 (SemPiper)

论文展示了 SemPiper，这是一个可视化 SemPipes 工作流的交互式演示界面。系统在三个端到端的场景中进行了演示：

1. 电子商务欺诈检测：

   • 任务： 使用多表零售数据对欺诈购物篮进行二分类。
   • SemOps： sem_fillna（通过推理填补缺失的制造商）、sem_extract_features（从文本中提取品牌风险得分）、sem_gen_features（合成新特征）以及 sem_agg_features（将产品数据聚合到购物篮级别）。
   • 合成： 系统选择了非参数化 KNNImputer 来处理缺失值，并利用零样本分类模型进行品牌风险评分。

2. 多模态博物馆目录分析：

   • 任务： 利用表格元数据和非结构化文本描述预测艺术品的文化起源。
   • SemOps： sem_extract_features（将异构日期字符串转换为结构化时间表示）、sem_gen_features（通过文本长度和时间特征丰富数据）以及 sem_refine（标准化噪声对象名称）。
   • 合成： 结合 HuggingFace 模型与基于规则的解析及正则表达式，从原始文本中提取结构化 JSON 字段。

3. 房地产价格预测：

   • 任务： 使用表格数据和房屋图像对加州房价进行回归预测。
   • SemOps： sem_clean（检测并纠正面积异常）、sem_extract_features（从图像中提取外部特征）以及 sem_gen_features（合成属性和位置层级的属性）。
   • 合成： 使用视觉问答模型（如 Salesforce/blip-vqa-base）提取语义图像特征，并应用基于 IQR 的盖帽法（capping）移除离群值。

结果与观察

该演示强调了系统具备以下能力：

• 合成上下文感知代码： 根据输入数据和指令生成特定的实现（例如，选择特定的预训练模型或统计方法）。
• 可视化优化轨迹： 界面展示了进化搜索树，允许用户追踪候选实现的演变、其验证性能以及导致改进的具体代码变异。
• 提升性能： 在房屋价格预测场景中，优化器成功精炼了特征提取过程，从粗粒度特征（如 has_visible_garage）转向语义丰富的特征（如 architectural_style、landscape_quality），这与更好的下游模型性能呈正相关。

重要性与主张

论文声称 SemPipes 提供了一种可控、可优化且实用的 LLM 集成方式，用于 ML 流水线开发。其重要性在于：

• 弥合差距： 它超越了粗放的聊天式编程，转向一种声明式模型，其中 LLM 作为标准 Python 生态系统内专门的、上下文感知的数据算子。
• 效率： 通过在训练时合成代码而非在推理时依赖 LLM，它避免了持续调用 LLM 带来的延迟和成本。
• 迭代开发： 它支持半自动化的流水线构建，开发者可以定义高层意图，而系统则处理具体的实现及随后的进化搜索优化。
• 透明度： 不同于“黑盒”式的 LLM 生成，SemPipes 暴露了生成的代码、计算图和优化路径，允许开发者检查、修改并理解数据转换过程。

作者将 SemPipes 定位为迈向使数据准备工作不再枯燥且更具工程友好性的重要一步，通过利用 LLM 处理“做什么”（意图），同时保留人类和算法对“怎么做”（执行与优化）的控制。