Technische Samenvatting: Conditionele PED-ANOVA

Probleemstelling

Hyperparameter Belangrijkheid (HPI) analyse is een kritiek instrument in Automated Machine Learning (AutoML) voor het interpreteren van optimalisatie-runs, het identificeren van cruciale ontwerpkeuzes en het sturen van zoekruimtes. Hoewel bestaande methoden zoals f-ANOVA en PED-ANOVA effectief HPI schatten in vaste, onconditionele zoekruimtes, hebben zij moeite met conditionele zoekruimtes. In real-world scenario's (bijv. modelselectie, neural architecture search) hangt de aanwezigheid of het domein van een hyperparameter vaak af van de waarde van een "ouder"-hyperparameter (bijv. het aantal lagen is alleen relevant als er een neuraal netwerk is geselecteerd).

De auteurs stellen dat standaard HPI-schatters, inclusief PED-ANOVA, falen in deze settings omdat ze uitgaan van een vast domein voor elke parameter. Naïve aanpassingen—zoals het wegfilteren van inactieve samples, het imputeren van ontbrekende waarden met defaults, of het kunstmatig uitbreiden van domeinen—schenden de conditionele semantiek van de zoekruimte. Deze heuristieken leiden tot misleidende of oninterpreteerbare belangrijkheidsscores, waarbij de invloed van een gating-variabele (de ouder) vaak wordt toegeschreven aan de afhankelijke variabelen, of vice versa.

Methodologie: condPED-ANOVA

Het paper stelt conditionele PED-ANOVA (condPED-ANOVA) voor, een principieel raamwerk ontworpen om specifiek HPI te schatten binnen conditionele zoekruimtes, terwijl de computationele efficiëntie van de originele PED-ANOVA behouden blijft.

1. Regime-gebaseerde Representatie

De methode formaliseert conditionele hyperparameters door hun gedrag te partitioneren in eindige regimes. Voor een hyperparameter $x^{(d)}$ heeft elk regime $i$ een specifiek domein $Z^{(d)}_i$. Als een hyperparameter inactief is in een regime, is zijn domein een speciaal symbool $\perp$. Dit stelt de methode in staat om zowel conditionele activatie (aanwezigheid/afwezigheid) als regime-afhankelijke domeinverschuivingen te verwerken.

2. Conditionele Lokale HPI Definitie

Het kerninzicht is dat standaard lokale HPI, gedefinieerd via lokale marginale variantie, twee bronnen van variatie combineert:

1. Binnen-regime variantie: Veranderingen in prestaties door de waarde van de hyperparameter binnen een specifiek regime.
2. Tussen-regime variantie: Veranderingen in prestaties door het wisselen van regimes (bepaald door ouder-variabelen).

De auteurs demonstreren dat het toeschrijven van tussen-regime variantie aan een conditionele hyperparameter een fundamentele fout is, aangezien het regime wordt bepaald door andere variabelen. Om dit aan te pakken, definiëren zij Conditionele Lokale HPI met behulp van uitsluitend de binnen-regime lokale marginale variantie. Dit zorgt ervoor dat belangrijkheid uitsluitend wordt gemeten door hoe de waarde van de hyperparameter de prestaties beïnvloedt gegeven dat het regime actief is, wat het "lekken" van belangrijkheid van gating-variabelen naar afhankelijke variabelen voorkomt.

3. Closed-Form Estimator

Bouwend op het PED-ANOVA framework, leiden de auteurs een closed-form estimator af voor de binnen-regime variantie. De estimator maakt gebruik van de Pearson divergentie ($D_{PE}$) tussen de eendimensionale kansdichtheidsfuncties (PDF's) van de hyperparameter in de top-$\gamma'$ (strakkere) en top-$\gamma$ (lossere) prestatiesubsets.

De uiteindelijke estimator aggregeert deze divergenties over alle regimes, gewogen door de regime-kansen in de respectieve subsets:
$$v^{(d)}_{\gamma, \text{within}} = \left(\frac{\gamma'}{\gamma}\right)^2 \sum_{i=1}^{K^{(d)}} \frac{(\alpha^{(d)}_i)^2}{\beta^{(d)}_i} D_{PE}\left(p^{(d)}_{\gamma', i} \parallel p^{(d)}_{\gamma, i}\right)$$
Waar:

• $\alpha^{(d)}_i$ en $\beta^{(d)}_i$ de kansen van regime $i$ zijn in de top-$\gamma'$ en top-$\gamma$ sets, respectievelijk.
• $p^{(d)}_{\gamma', i}$ en $p^{(d)}_{\gamma, i}$ de empirische PDF's van de hyperparameter zijn binnen regime $i$ voor de respectieve subsets.

Deze formulering maakt efficiënte berekening mogelijk met behulp van Kernel Density Estimation (KDE) zonder dat er dure surrogate model training of integratie over hoog-dimensionale ruimtes nodig is.

Belangrijkste Bijdragen

1. Identificatie van een Fundamentele Valkuil: Het paper demonstreert theoretisch en empirisch dat standaard lokale HPI in conditionele ruimtes leidt tot systematische misattributie, waarbij de belangrijkheid van een conditionerende variabele ten onrechte wordt toegeschreven aan conditioneel actieve variabelen.
2. Definitie van Conditionele Lokale HPI: Een nieuwe definitie die belangrijkheid isoleert tot binnen-regime variaties, waardoor de verwarrende effecten van conditionele activatie en domeinverschuivingen effectief worden geëlimineerd.
3. Efficiënte Estimator (condPED-ANOVA): Een closed-form, PED-ANOVA-stijl estimator die de conditionele lokale HPI efficiënt berekent, waarbij de snelheidvoordelen van de originele methode behouden blijven terwijl hiërarchische structuren worden afgehandeld.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat naïeve uitbreidingen van bestaande methoden (filtering, imputatie, expansie) onnatuurlijke resultaten opleveren, terwijl condPED-ANOVA consistent betekenisvolle belangrijkheden produceert die de onderliggende conditionele structuur weerspiegelen.

Experimentele Resultaten

De auteurs evalueerden condPED-ANOVA op zowel synthetische als real-world benchmarks:

• Synthetische Experimenten:

  • In taken met conditionele activatie (waar een parameter alleen aanwezig is als een gate is ingesteld), faalden naïeve methoden om tussen actieve en inactieve parameters te onderscheiden of schreven ze de belangrijkheid van de gate verkeerd toe. condPED-ANOVA identificeerde correct de gate als belangrijk voor de mediane prestaties en de actieve parameter voor top-tier prestaties.
  • In taken met regime-afhankelijke domeinen (waar het bereik van een parameter verandert op basis van een gate), leidde naïeve domeinexpansie tot vertekende belangrijkheidsscores. condPED-ANOVA legde de verschuivende belangrijkheid van parameters correct vast naarmate het regime veranderde.
  • Ablatie-studies bevestigden dat het gebruik van de standaard lokale variantie (inclusief tussen-regime termen) resulteerde in het lekken van gating-effecten, terwijl de voorgestelde regime-gewogen aggregatie noodzakelijk was voor stabiliteit.

• Real-World Benchmarks (YAHPO Gym):

  • Geëvalueerd op de rbv2_super en iaml_super scenario's die modelselectie betreffen (kiezen tussen learners zoals SVM, XGBoost, Random Forest, etc.).
  • condPED-ANOVA bereikte een hoge correlatie (bijv. 0.98 op instantie 1053) tussen de belangrijkheid van learner-specifieke hyperparameters en de werkelijke prestaties van die learners.
  • In tegenstelling hiertoe produceerden baseline methoden (f-ANOVA, MDI, SHAP, PED-ANOVA) met naïeve uitbreidingen vaak negatieve correlaties of instabiele resultaten, waarbij ze faalden om de hiërarchie van de zoekruimte te vatten.

Betekenis en Claims

Het paper claimt dat condPED-ANOVA een praktische en principiële basis biedt voor betrouwbare HPI-analyse in workflows met conditionele zoekruimtes. Door de hiërarchische natuur van moderne AutoML-problemen correct af te handelen, stelt het beoefenaars in staat om:

• Accuraat te identificeren welke hyperparameters (inclusclusief gating-variabelen) de prestaties drijven in specifieke regio's van de zoekruimte.
• Misleidende conclusies te vermijden die voortkomen uit naïeve preprocessing van conditionele data.
• HPI-analyse uit te voeren met dezelfde computationele efficiëntie als niet-conditionele methoden, waardoor het geschikt is voor integratie in bestaande HPO-frameworks zoals Optuna.

De auteurs benadrukken dat hun aanpak geen nieuwe optimalisatie-algoritmen uitvindt, maar eerder de post-hoc analyse tool verfijnt die noodzakelijk is voor het begrijpen en ontwerpen van complexe, conditionele hyperparameter zoekruimtes.