技术摘要：“公平对待！机器学习工程智能体能否遵循公平性约束？”

1. 问题陈述

本文探讨了由机器学习工程（MLE）智能体引发的新兴“责任鸿沟”。这些由大语言模型（LLM）和智能体架构驱动的智能体，承诺能够根据原始数据和自然语言指令实现端到端机器学习流水线的自动化开发，从而可能为非技术领域的领域专家降低准入门槛。然而，在敏感且受监管的领域（如医疗保健），这种抽象化掩盖了关于正确性、鲁棒性、公平性和监管合规性的关键设计选择。

作者认为，现有的评估基准（特别是源自 Kaggle 竞赛的 MLE-bench）不足以评估高风险环境下的 MLE 智能体。MLE-bench 侧重于单指标优化（例如在竞赛中获得奖牌），缺乏评估责任约束（如针对受保护群体的公平性）所需的元数据和多目标评估标准。因此，目前尚不清楚当由技术知识有限的领域专家部署时，MLE 智能体是否能够可靠地遵循责任约束。

2. 研究方法

2.1 拟议的评估框架（设计要求）

作者提出了一套以责任为中心评估框架的设计要求（Desiderata）：

• 以领域为中心的设计： 任务必须保留现实世界的复杂性，针对多个领域特定目标和权衡进行优化，而非仅针对单一指标。性能必须在独立的测试集上针对经过同行评审的专家流水线进行衡量。
• 对责任约束的遵循： 框架必须通过对输出变异性和干预存在性的数据中心分析，量化智能体满足特定约束（如公平性）的程度。
• 技术专长的影响： 框架必须评估智能体在“开箱即用”情况下的表现，即在没有精细提示或调试的情况下所实现的质量。

2.2 探索性实验

为了测试这些设计要求，作者针对黑色素瘤分类（皮肤癌检测）进行了探索性研究，这是一个受到高度监管的医疗任务。

• 数据集：
  • 训练集： Fitzpatrick17k，包含超过 17,000 张基于 Fitzpatrick 皮肤色调量表的带有肤色注释的图像。该数据集经过了混淆处理（重命名列名、打乱顺序、移除 URL），以防止记忆效应。
  • 测试集： 多样化皮肤科图像 (DDI)，一个包含 656 张涵盖浅色和深色肤色的平衡数据集，专门用于公平性评估。它包含了来自皮肤科专家小组的地面真值（ground truth）。
• 评估的智能体：
  • AIDE： MLE-bench 的原获胜者。
  • MLZero： 最近基于亚马逊 AutoGluon 开发的智能体。
• 任务指令： 智能体接受了四个层级的指令复杂度，以测试技术特异性的影响：
  1. 基础级 (Base)： 对任务的口语化描述。
  2. 公平性提示 (Fairness-hint)： 明确指示“对肤色保持公平”。
  3. 公平性指标 (Fairness-metric)： 指定目标（最小化轻度和深色皮肤之间的 AUROC 差距）。
  4. 公平性方法 (Fairness-methods)： 建议具体的干验手段（过滤、上采样、组重加权）。
• 基准线 (Baselines)：
  • 人类决策： 由三名皮肤科专家组成的专家组进行的分类。
  • 专家流水线： 三个手动编写的流水线（MEDFAIR、MEDFAIR-dedup、MEDFAIR-filtered），利用“极小极大帕累托选择”（minimax pareto selection）来平衡 AUC 和公平性差距。
• 指标：
  • 预测质量： 曲线下面积 (AUC)。
  • 公平性： AUC 差距（表现最好和表现最差的肤色组之间的 AUC 差异）。

3. 核心贡献

1. 以责任为中心的评估设计要求： 本文概述了一个用于评估 MLE 智能体的框架，该框架优先考虑多目标优化、责任约束以及非专家的可用性，并以此对比了当前如 MLE-bench 等基准测试的局限性。
2. 探索性实证研究： 作者展示了首次在受公平性约束的医疗任务上对 MLE 智能体进行的评估。他们证明了即使在显式提示的情况下，目前的智能体也无法满足责任约束。
3. 开放式产出： 作者发布了代码、实验日志和智能体轨迹，以促进进一步的研究。

4. 结果

研究结果对于在高风险、受公平性约束的环境中应用 MLE 智能体的可靠性提出了令人担忧的初步结论：

• 表现欠佳： 智能体生成的流水线（包括 AIDE 和 MLZero）在预测质量（AUC）和公平性（AUC 差距）方面均被手动设计的专家基准和人类皮肤科专家决策严格支配（strictly dominated）。
• 高方差： 与专家解决方案相比，智能体的输出表现出显著更高的方差。
• 提示词无效性： 显式提示智能体保持公平（通过 fairness-hint、fairness-metric 或 fairness-methods）并未转化为实际的公平性收益。
  • AIDE： 在特定指令下，某些流水线监控了公平性或应用了重加权，但这些干预未能改善 AUC 差距。深色肤色组的 AUC 得分往往接近随机水平。
  • MLZero： 即便有明确指令，流水线也极少实施显式的公平性干预。当它们实施干预时（例如组重加权），在深色肤色组上的表现仍然接近随机，从而抵消了公平性收益。
• 实现缺陷： 研究遇到了严重的执行错误。AIDE 生成的脚本经常由于上下文问题（例如子进程中的 if __name__ == "__main__": 块）而无法执行。因此，智能体生成了包含虚假性能指标的“幻觉”报告，而这些指标对应的流水线从未运行过。

5. 意义与主张

作者谦逊地将这项工作定位为一项探索性研究，而非对所有 MLE 智能体能力的定论。本文的意义在于：

• 识别了错位： 结果表明，当前的 MLE 智能体在“全自动化”的市场宣传与其在处理高风险、受监管领域时的准备程度之间存在根本性的错位。
• 现有基准的局限性： 该研究强调，像 MLE-bench 这样依赖于单指标竞赛成功的基准测试，无法捕捉到责任、公平性以及安全部署智能体所需的技术专业知识的细微差别。
• 重新设计的必要性： 这些发现促使人们需要重新设计 MLE 智能体，以便人类能够有效地引导搜索过程，并可靠地评估合规性。作者认为，需要进一步的研究来开发能够严谨测试智能体是否符合责任约束的评估框架，从而在这些敏感领域（如医疗保健）部署之前进行验证。

论文总结道，虽然 MLE 智能体展现出了潜力，但在公平性和问责制至关重要的领域，它们目前仍缺乏非技术专家安全应用所需的可靠性和监督机制。