技术摘要：条件式 PED-ANOVA

问题陈述

超参数重要性（HPI）分析是自动化机器学习（AutoML）中用于解释优化运行、识别关键设计选择以及指导搜索空间的重要工具。现有的方法（如 f-ANOVA 和 PED-ANOVA）虽然能有效估计固定且无条件搜索空间中的 HPI，但在处理条件式搜索空间时却显得力不从心。在现实场景中（例如模型选择、神经架构搜索），超参数的存在或其定义域往往取决于一个“父级”超参数（例如，只有在选择了神经网络的情况下，层数这一参数才具有意义）。

作者指出，标准的 HPI 估计器（包括 PED-ANOVA）在这些设置下会失效，因为它们假设每个参数都有一个固定的定义域。幼稚的适配方法——如过滤掉非活跃样本、使用默认值填补缺失值或人为扩大定义域——都违反了条件搜索空间的语义逻辑。这些启发式方法会导致误导性或不可解释的重要性得分，通常会将门控变量（父变量）的影响错误地归因于依赖变量，反之亦然。

方法论：condPED-ANOVA

本文提出了 条件式 PED-ANOVA (condPED-ANOVA)，这是一个原则性的框架，旨在专门针对条件式搜索空间估计 HPI，同时保留了原始 PED-ANOVA 的计算效率。

1. 基于机制（Regime）的表示法

该方法通过将条件超参数的行为划分为有限的**机制（regimes）**来将其形式化。对于每个超参数 $x^{(d)}$，每个机制 $i$ 都有一个特定的定义域 $Z^{(d)}_i$。如果一个超参数在某个机制中处于非活跃状态，其定义域则为一个特殊符号 $\perp$。这使得该方法能够处理包括条件激活（存在/不存在）和机制相关的定义域偏移在内的复杂情况。

2. 条件局部 HPI 定义

核心理论见解在于，标准的局部 HPI（通过局部边际方差定义）混淆了两种来源的变异：

1. 机制内方差（Within-regime variance）： 由于超参数在特定机制内部取值变化而导致的性能变化。
2. 机制间方差（Inter-regime variance）： 由于机制的切换（由父变量决定）而导致的性能变化。

作者论证，将机制间方差归因于一个条件超参数是一个根本性的缺陷，因为机制是由其他变量决定的。为了解决这个问题，他们利用仅包含机制内局部边际方差来定义条件局部 HPI。这确保了重要性仅通过衡量在给定机制激活的情况下，超参数的取值如何影响性能来进行测量，从而防止了重要性从门控变量向依赖变量的“泄漏”。

3. 闭式估计器

基于 PED-ANOVA 框架，作者推导出了一个用于计算机制内方差的闭式估计器。该估计器利用了在性能前 $\gamma'$（更紧凑）和前 $\gamma$（更宽松）子集中，超参数的一维概率密度函数（PDF）之间的皮尔逊散度（$D_{PE}$）。

最终的估计器通过对所有机制进行聚合来计算，并根据各子集中的机制概率进行加权：
$$v^{(d)}_{\gamma, \text{within}} = \left(\frac{\gamma'}{\gamma}\right)^2 \sum_{i=1}^{K^{(d)}} \frac{(\alpha^{(d)}_i)^2}{\beta^{(d)}_i} D_{PE}\left(p^{(d)}_{\gamma', i} \parallel p^{(d)}_{\gamma, i}\right)$$
其中：

• $\alpha^{(d)}_i$ 和 $\beta^{(d)}_i$ 分别是机制 $i$ 在前 $\gamma'$ 和前 $\gamma$ 集合中的概率。
• $p^{(d)}_{\gamma', i}$ 和 $p^{(d)}_{\gamma, i}$ 是对应子集中超参数在机制 $i$ 内的经验 PDF。

这种公式化形式允许使用核密度估计（KDE）进行高效计算，而无需进行昂贵的代理模型训练或在高维空间中进行积分。

核心贡献

1. 识别了根本性陷阱： 本文从理论和实证上证明了，在条件空间中使用标准局部 HPI 会导致系统性的误归因，即门控变量的重要性会被错误地归因给条件激活的变量。
2. 定义了条件局部 HPI： 提出了一种新的定义，通过隔离机制内变异来提取重要性，有效地消除了条件激活和定义域偏移带来的干扰效应。
3. 高效估计器 (condPED-ANOVA)： 开发了一个类似于 PED-ANOVA 的闭式估计器，能够高效计算条件局部 HPI，同时保持了原方法的速度优势，并能处理层次化结构。
4. 实证验证： 通过综合实验证明，现有的幼稚扩展方法（过滤、填补、扩张）会产生不自然的结果，而 condPED-ANOVA 则能持续产生反映底层条件结构的有效重要性得分。

实验结果

作者在合成基准和真实世界基准上对 condPED-ANOVA 进行了评估：

• 合成实验：

  • 在具有条件激活的任务中（即参数仅在门控设置为特定值时才存在），幼稚方法无法区分活跃与非活跃参数，或误归了门控变量的重要性；condPED-ANOVA 则能正确识别出门控变量对中等性能的影响，以及活跃参数对顶尖性能的影响。
  • 在具有机制相关定义域的任务中（即参数的范围随门控变化），幼稚的定义域扩张会导致重要性得分失真；condPED-ANOVA 则能准确捕捉参数随机制变化的动态重要性。
  • 消融研究证实，使用标准局部方差（包含机制间项）会导致门控效应的泄漏，而所提出的机制加权聚合对于保证稳定性是必要的。

• 真实世界基准 (YAHPO Gym)：

  • 在涉及模型选择（在 SVM、XGBoost、随机森林等学习器之间进行选择）的 rbv2_super 和 iaml_super 场景中进行了评估。
  • condPED-ANOVA 在学习器特定超参数与实际学习器性能之间实现了极高的相关性（例如在实例 1053 上达到 0.98）。
  • 相比之下，采用幼稚扩展方法的基线方法（f-ANOVA, MDI, SHAP, PED-ANOVA）往往产生负相关或不稳定的结果，无法捕捉搜索空间的层次结构。

意义与主张

本文声称 condPED-ANOVA 为在涉及条件搜索空间的流程中进行可靠的 HPI 分析提供了实用且原则性的基础。通过正确处理现代 AutoML 问题中的层次化特性，它使从业者能够：

• 精确识别哪些超参数（包括门控变量）在特定搜索空间区域驱动性能。
• 避免由于对条件数据进行幼稚预处理而导致的误导性结论。
• 以与非条件方法相同的计算效率进行 HPI 分析，使其能够集成到现有的 HPO 框架（如 Optuna）中。

作者强调，其方法并非发明了新的优化算法，而是完善了在理解和设计复杂的、条件式超参数搜索空间时必不可少的后验分析工具。