Technische Samenvatting: Dynamische Priors in Bayesiaanse Optimalisatie voor Hyperparameteroptimalisatie

Probleemstelling

Bayesiaanse Optimalisatie (BO) is een standaardmethode voor Hyperparameteroptimalisatie (HPO), maar bestaande methoden beperken de invloed van de gebruiker doorgaans tot de initialisatiefase. Hoewel recente werken interfaces hebben geïntroduceerd voor het specificeren van initiële priors (bijv. $\pi$BO) of het verwerpen van kandidaat-evaluaties, missen deze benaderingen de mogelijkheid voor continue, dynamische sturing door de gebruiker tijdens het optimalisatieproces. In iteratieve machine learning-workflows verkrijgen beoefenaars vaak nieuwe inzichten of veranderen zij hun prioriteiten naarmate modellen evolueren, maar huidige BO-frameworks kunnen deze evoluerende overtuigingen niet integreren zonder het proces te herstarten of aanzienlijk te wijzigen. Bovendien missen bestaande methoden voor het integreren van gebruikerspriors vaak robuustheid tegen misleidende of "misleidende" gebruikersinputs, wat de prestaties kan verslechteren.

Methodologie: DynaBO

De auteurs stellen DynaBO voor, een framework ontworpen om continue gebruikerscontrole over het BO-proces mogelijk te maken door het integreren van dynamische priors tijdens runtime. De methodologie bestaat uit drie kerncomponenten:

1. Dynamische Prior-Gewogen Acquisitiefunctie

In tegenstelling tot statische priors die alleen bij initialisatie worden toegepast, generaliseert DynaBO de acquisitiefunctie om een sequentie van door de gebruiker gespecificeerde priors $\{\pi^{(m)}\}_{m=1}^M$ te accepteren die op verschillende tijdstippen $\{t^{(m)}\}$ worden geleverd.

• Mechanisme: De standaard acquisitiefunctie $\alpha_{\hat{f}}(\lambda)$ wordt uitgebreid met een som van afnemende prior-gewichten:
  $$\alpha_{\hat{f}}^{dyna}(\lambda) := \alpha_{\hat{f}}(\lambda) \cdot \sum_{m=1}^{M} \pi^{(m)}(\lambda)^{\beta/(t - t^{(m)})}$$
• Verval: De invloed van elke prior neemt in de loop van de tijd af ($t \to \infty$), waardoor het gewicht van de prior convergeert naar 1. Dit behoudt de asymptotische convergentiegaranties van vanilla BO, terwijl het tijdelijke bias naar door de gebruiker gespecificeerde regio's toestaat.
• Aggregatie: Het framework gebruikt sommatie in plaats van multiplicatie om meerdere priors te combineren. De auteurs beargumenteren dat multiplicatie fungeert als een intersectie van overtuigingen (wat potentieel geldige regio's kan elimineren als priors tegenstrijdig zijn), terwijl sommatie fungeert als een unie, waardoor multi-modale structuren geïnduceerd door diverse gebruikersinputs behouden blijven.
• Kandidaatselectie: Om de aangepaste acquisitiefunctie te optimaliseren, past DynaBO de kandidaat-samplingstrategie aan. Het trekt startpunten voor lokale zoekopdrachten (hill climbing) niet alleen uit de nabijheid van de incumbent, maar ook uit distributies gecentreerd rond de verstrekte priors, om ervoor te zorgen dat door de gebruiker gesuggereerde regio's expliciet worden verkend.

2. Prior Rejection Safeguard

Om het risico aan te pakken dat misleidende priors de optimalisatie vertragen, introduceert DynaBO een datagestuurd detectiemechanisme.

• Evaluatie: Bij ontvangst van een nieuwe prior $\pi^{(m)}$ samplet het systeem configuraties uit de prior-distributie ($F_{\pi^{(m)}}$) en uit een normale distributie rond de huidige incumbent ($N_{\hat{\lambda}}$).
• Vergelijking: Het vergelijkt de verwachte kwaliteit van deze regio's met behulp van een secundaire acquisitiefunctie $\xi$ (bijv. Lower Confidence Bound).
• Besluitvorming: De prior wordt alleen geaccepteerd als de verwachte kwaliteit van de prior-regio groter is dan die van de incumbent-regio met een drempelwaarde $\tau$:
  $$\mathbb{E}_{\lambda \sim F_{\pi^{(m)}}}[\xi_{\hat{f}}(\lambda)] - \mathbb{E}_{\lambda \sim N_{\hat{\lambda}}}[\xi_{\hat{f}}(\lambda)] \geq \tau$$
• Flexibiliteit: Als een prior wordt afgewezen, kan het systeem een waarschuwing aan de gebruiker geven, wat een "human-in-the-loop" override mogelijk maakt, waardoor collaboratieve optimalisatie wordt bevorderd.

3. Theoretische Garanties

De auteurs leveren formele bewijzen voor de volgende eigenschappen:

• Bijna Zekere Convergentie: Zelfs met dynamische en potentieel misleidende priors, convergeert DynaBO met waarschijnlijkheid één naar het globale optimum wanneer $T \to \infty$, aangezien de invloed van de priors asymptotisch verdwijnt.
• Robuustheid: De asymptotische eenvoudige regret van DynaBO komt overeen met die van vanilla BO, zelfs wanneer de priors misleidend zijn.
• Acceleratie: Indien informatieve priors worden verstrekt die sampling concentreren in een regio $U_\epsilon$ die het optimum bevat, bereikt DynaBO versnelde convergentie in finite-time settings door de effectieve zoekruimte en de vereisten voor informatiewinst te verminderen.

Experimentele Resultaten

De auteurs hebben DynaBO geëvalueerd over diverse HPO-benchmarks (inclusief PD1, LCBench en XGBoost-scenario's) met behulp van diverse surrogaatmodellen (Random Forests en Gaussian Processes) en acquisitiefuncties (EI en LCB).

• Vergelijkingsbaselines: DynaBO werd vergeleken met Vanilla BO, $\pi$BO (statische priors) en Probabilistic Circuits (PCs) voor interactieve HPO.
• Prestaties:
  • Informatieve Priors: DynaBO presteerde consequent beter dan alle concurrenten over Expert, Advanced en Local prior types, wat significante versnellingen liet zien in het vinden van optimale configuraties.
  • Misleidende Priors: Terwijl misleidende priors de prestaties van $\pi$BO en PCs verslechterden, filterde het afwijzingsmechanisme van DynaBO de meeste misleidende inputs succesvol uit. In scenario's waar afwijzing optrad, herstelde DynaBO prestatieniveaus die vergelijkbaar met of beter dan Vanilla BO waren.
  • Robuustheid: Het framework behield de optimalisatiekwaliteiten van Vanilla BO, zelfs wanneer misleidende priors meerdere malen werden geïnjecteerd.
• Overhead: De computationele overhead voor het afwijzingsmechanisme was minimaal (ongeveer 12 seconden per run in een context van 26 uur), wat het praktisch maakt voor real-world workflows.

Betekenis en Claims

Het artikel claimt het paradigma van collaboratieve, mensgerichte HPO vooruit te helpen. De primaire bijdragen zijn:

1. Continue Controle: Het is het eerste BO-framework dat de injectie van priors op elk moment tijdens de optimalisatie ondersteunt, waardoor de kloof tussen volledig geautomatiseerde en handmatig gecontroleerde modelontwikkeling wordt overbrugd.
2. Veiligheid en Synergie: Door een beveiliging tegen misleidende inputs te combineren met een mechanisme dat de overtuigingen van de gebruiker en de overtuigingen van het surrogaatmodel laat synergeren, biedt DynaBO een betrouwbare manier om expert-intuïtie te integreren zonder de theoretische garanties van BO in gevaar te brengen.
3. Theoretische Rigor: Het werk levert het eerste bewijs van finite-time acceleratie voor dynamische priors, terwijl de asymptotische convergentie en robuustheid tegen misleiding behouden blijven.

De auteurs concluderen dat DynaBO betrouwbare en efficiënte collaboratieve BO mogelijk maakt, waardoor beoefenaars het optimalisatieproces dynamisch kunnen sturen naarmate er nieuwe inzichten ontstaan, wat de toegang tot geavanceerde HPO-tools democratiseert en tegelijkertijd de risico's van menselijke fouten beperkt.