Technische Samenvatting: ORTHOBO – Orthogonale Bayesiaanse Hyperparameteroptimalisatie

1. Probleemstelling

Bayesiaanse Optimalisatie (BO) is een standaardbenadering voor hyperparameteroptimalisatie (HPO) wanneer evaluaties van de doelfunctie duur zijn. Hoewel BO vertrouwt op een probabilistisch surrogaatmodel om het zoekproces te sturen, identificeert het artikel een eerder over het hoofd gezien faalmodus: ruis in de schatting van de acquisitie.

In praktische BO-pijplijnen is de acquisitiewaarde (bijvoorbeeld Expected Improvement, EI) vaak niet deterministisch. In plaats daarvan wordt deze verkregen door te marginaliseren over onzekere surrogaatparameters, door te aggregeren over surrogaatmodellen, of door Monte Carlo (MC) benaderingen te gebruiken. Bijgevolg is de grootheid die wordt gebruikt om kandidaatconfiguraties te rangschikken, een ruisbeïnvloede schatting. Zelfs wanneer het surrogaatmodel en het acquisitiedoel correct zijn gespecificeerd, kan MC-fout door eindige steekproeven de acquisitiewaarden verstoren. Deze ruis kan de rangschikking van kandidaten met vergelijkbare ware acquisitiewaarden omkeren, waardoor het BO-algoritme suboptimale configuraties selecteert. De auteurs stellen dat deze instabiliteit een kritieke bottleneck is die bestaande "robuste" BO-methoden (die doorgaans focussen op verkeerde specificatie van het surrogaatmodel of onzekerheid in de kernel) niet direct aanpakken.

2. Methodologie

Het artikel stelt ORTHOBO voor, een raamwerk ontworpen om de variantie van acquisitieschattingen te verminderen zonder het onderliggende acquisitiedoel te wijzigen. De methodologie bestaat uit drie kerncomponenten:

A. Orthogonale Acquisitieschatter

De kerninnovatie is een techniek voor variantiereductie, geïnspireerd op orthogonaal machine learning en controlevariaties.

• Concept: De auteurs behandelen de schatting van de marginale acquisitiefunctie als een MC-schattingprobleem. Zij stellen een georthogonaliseerde schatter voor die een optimaal gewogen score-functie controlevariatie aftrekt van de ruwe acquisitieschatting.
• Formulering: Laat $g(\theta) = \nabla_\theta \log q_{m,t}(\theta)$ de posterior score-functie zijn van de surrogaatparameters $\theta$. De georthogonaliseerde Expected Improvement (EI) wordt gedefinieerd als:
  $$EI^{orth}_m(\lambda; \theta) = EI_m(\lambda; \theta) - \gamma_m(\lambda)^\top g(\theta)$$
  waarbij $\gamma_m(\lambda)$ een optimaal gewichtsvector is afgeleid van de covariantie tussen de score-functie en de acquisitiewaarde.
• Eigenschappen:
  1. Onbevooroordeeldheid: De schatter behoudt het marginale EI-doel (d.w.z. $E[EI^{orth}] = E[EI]$).
  2. Variantiereductie: De variantie van de georthogonaliseerde schatter is strikt lager dan of gelijk aan die van de naïeve MC-schatter.
  3. Lokale Robuustheid: De schatter is eerste-orde ongevoelig voor score-tilt perturbaties van de posteriorverdeling $q_{m,t}$.
• Instantiaties: De methode wordt geïmplementeerd voor twee veelvoorkomende surrogaatklassen:
  • Gaussische Processen (GP): Met gebruik van de score-functie van GP-hyperparameters.
  • Boomgebaseerde/TPE-surrogaatmodellen: Met gebruik van een algemene controlevariatieconstructie (bijvoorbeeld gecentreerde bootstrapstatistieken), aangezien differentieerbaarheid van de parameterverdeling mogelijk niet geldt.

B. Ensemble Surrogaatmodellen

Om structurele surrogaatverkeerspecificatie aan te pakken (waarbij de modelklasse zelf onjuist is), maakt ORTHOBO gebruik van een ensemble van $M$ surrogaatmodellen (bijvoorbeeld GPs met verschillende kernels, TPE, of neurale surrogaatmodellen). De uiteindelijke acquisitieschatting is een gewogen gemiddelde van de georthogonaliseerde schattingen van elk model.

C. Externe Log-transformatie

Om de numerieke stabiliteit tijdens de maximalisatie van de acquisitiefunctie te verbeteren, past het raamwerk een externe log-transformatie toe op de ensemble-acquisitieschatting:
$$bL_{ens}(\lambda) = \log(\max(\hat{EI}_{ens}(\lambda), \alpha))$$
waarbij $\alpha > 0$ ervoor zorgt dat de logaritme goed gedefinieerd is. Dit voorkomt numerieke problemen die voortvloeien uit zeer kleine of scheef verdeelde acquisitiewaarden.

3. Belangrijkste Bijdragen

1. Identificatie van een Faalmodus: Het artikel identificeert expliciet ruis in de acquisitieschatting (MC-fout door eindige steekproeven) als een onderscheiden faalmodus in BO die leidt tot rangschikkingsinstabiliteit en suboptimale beslissingen, los van verkeerde specificatie van het surrogaatmodel.
2. Orthogonale Schatter: De auteurs stellen een nieuwe georthogonaliseerde acquisitieschatter voor die de variantie vermindert terwijl het onbevooroordeelde doel behouden blijft. Zij leveren theoretische garanties die variantiereductie en verbeterde stabiliteit van paarwijze rangschikking aantonen.
3. ORTHOBO-raamwerk: Zij introduceren een compleet BO-raamwerk dat de orthogonale schatter, ensemble-surrogaatmodellen en log-stabilisatie integreert.
4. Theoretische Garanties: Het artikel bewijst dat de schatter onbevooroordeeld is, een lagere variantie bereikt dan naïeve MC, en de kans op rangschikkingsfouten (het omkeren van de volgorde van kandidaten) vermindert via een grenswaarde afgeleid uit de ongelijkheid van Cantelli.

4. Experimentele Resultaten

De auteurs evalueren ORTHOBO tegenover baselines, waaronder qLogEI, UCB, TuRBO en Sobol-steekproefneming, over synthetische benchmarks en real-world taken.

• Variantiereductie: Experimenten op synthetische functies (Hartmann6, Ackley8, Michalewicz10, Levy16) tonen aan dat orthogonalisatie de variantie van acquisitieschattingen significant vermindert (bijvoorbeeld reducties van 50% tot 93% in variantie, afhankelijk van het budget en de functie).
• Stabiliteit van Rangschikking: ORTHOBO toont een hogere overeenkomst voor top-1 over herhaalde runs en lagere omkeerpercentages voor aangrenzende hooggerangschikte kandidaten, wat bevestigt dat de verminderde variantie leidt tot stabielere kandidaatrangschikkingen.
• MC-efficiëntie: Het raamwerk presteert concurrerend zelfs met verlaagde MC-steekproefbudgetten ($S$), waarbij naïeve methoden aanzienlijk lijden onder ruis. ORTHOBO bereikt de laagste regret over verschillende budgetten.
• Robuustheid tegen Verkeerde Specificatie:
  • Lichte Verkeerde Specificatie: Bij gebruik van isotrope RBF-kernels op anisotrope functies, presteert ORTHOBO beter dan baselines, vooral in hogere dimensies.
  • Sterke Verkeerde Specificatie: Bij gebruik van lineaire kernels (die nonlineariteit niet kunnen vastleggen), presteert ORTHOBO aanzienlijk beter dan andere methoden, wat aantoont dat variantiereductie imperfecte surrogaatfamilies kan compenseren.
  • Slechte Hyperparameterfitting: In regimes met schaarse data (bijvoorbeeld $n_0=4$), waar hyperparameters slecht worden geïdentificeerd, behoudt ORTHOBO een gestage verbetering terwijl baselines worstelen.
• Real-world Toepassingen:
  • Training van Neuronale Netwerken: Op MNIST en CIFAR10 met ingebrachte outliers (20% corruptie) bereikt ORTHOBO de beste uiteindelijke prestaties.
  • Fine-tuning: Op een dataset van productie-waferkaarten met behulp van een Vision Transformer (ViT) verbetert ORTHOBO sneller dan baselines en bereikt een validation F1-score die tot 20 procentpunten hoger ligt dan die van qLogEI.

5. Betekenis en Claims

Het artikel beweert dat ORTHOBO een fundamentele, over het hoofd geziene bron van instabiliteit in Bayesiaanse Optimalisatie aanpakt. Door acquisitieschatting te behandelen als een variantiereductieprobleem, stabiliseert de methode het besluitvormingsproces van BO.

• Brede Toepasbaarheid: De auteurs stellen dat ORTHOBO van toepassing is op vrijwel alle BO-problemen, niet alleen HPO, inclusief domeinen zoals marketing en geneeskunde.
• Complementariteit: Het werk wordt gepresenteerd als complementair aan bestaande robuuste BO-methoden. Waar eerdere werken focussen op het verbeteren van het surrogaatmodel (bijvoorbeeld het afhandelen van kernelverkeerspecificatie), focust ORTHOBO op het verbeteren van de statistische kwaliteit van de schatting van de acquisitiewaarde zelf.
• Praktische Impact: Het raamwerk blijkt effectief in kostbare, real-world settings (bijvoorbeeld het fine-tunen van grote modellen) waar evaluatiebudgetten beperkt zijn en ruis wijdverbreid is.

De auteurs blijven bescheiden wat betreft beperkingen, en merken op dat de methode extra rekenkundige overhead introduceert (hoewel doorgaans klein in vergelijking met de kosten van de doelevaluatie) en dat de huidige implementatie zich richt op EI-gebaseerde acquisitiefuncties, hoewel het principe kan worden uitgebreid naar andere.