Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts

Technische Samenvatting: Versnellen van Multi-Objective Bayesian Optimalisatie via Predictive-Gradient Catalysts

Probleemstelling
Multi-objective Bayesian Optimalisatie (MOBO) is een raamwerk dat wordt gebruikt om dure, ruisgevoelige of black-box doelfuncties te optimaliseren door een balans te vinden tussen exploratie en exploitatie via probabilistische surrogaatmodellen, doorgaans Gaussische Processen (GP's). Hoewel effectief, kampt MOBO vaak met uitdagingen wanneer de evaluatiebudgetten beperkt zijn, met name bij het navigeren door de trade-offs die nodig zijn om de Pareto-verzameling te benaderen. Bestaande gradiënt-gebaseerde versnellingsmethoden zijn vaak beperkt tot single-objective settings of nauw gekoppeld aan specifieke acquisitiefuncties, wat hun algemene toepasbaarheid beperkt. Hoewel concepten van gradiënt-gebaseerde stationariteit goed gevestigd zijn in deterministische multi-objective optimalisatie, is de integratie ervan in MOBO grotendeels onontgonnen gebleven.

Methodologie
De auteurs stellen een algemeen versnellingsmechanisme voor dat gebruikmaakt van Gaussische proces predictieve gradiënten als aanvullende "catalyst" signalen. In plaats deze bestaande Pareto-conforme acquisitiefuncties te vervangen, verrijkt dit raamwerk hen met lokale stationariteitsinformatie afgeleid van surrogaatgradiënten.

De kernmethodologie omvat:

1. Surrogaatmodellering: De aanpak gaat uit van conditionele onafhankelijkheid tussen doelstellingen, waarbij elke doelstelling met een individuele GP wordt gemodelleerd. De predictieve gemiddelde ($\mu_i$) en variantie ($\sigma^2_i$) worden berekend, en de verwachte gradiënt van het predictieve gemiddelde wordt analytisch afgeleid.
2. Catalytisch Raamwerk: De methode formuleert een bi-objective beslissingsprobleem om het volgende evaluatiepunt te selecteren:
   • Globaal Criterium ($g_1$): Maximaliseer een standaard Pareto-conforme acquisitiefunctie $\alpha(x)$ (bijv. EHVI, AugTch).
   • Lokaal Criterium ($g_2$): Minimaliseer de magnitude van de gewogen predictieve gradiënt, $\|\gamma \cdot \nabla \hat{f}(x)\|$, waarbij $\gamma$ representatieve convexe combinatiecoëfficiënten zijn die voldoen aan de Fritz–John (FJ) condities voor Pareto-stationariteit.
   • Scalarisatie: Deze twee criteria worden gecombineerd met behulp van een geaugmenteerde Tchebycheff scalarisatie om een verenigde acquisitiefunctie $\alpha_{CAT}(x)$ te creren. Dit straft kandidaten af die inferieur zijn in ofwel globale prestaties of lokale stationariteit.

Twee specifieke instantiaties van de catalyst worden onderzocht:

• MGDA-gebaseerde Catalyst: Gebruikt het Multiple-Gradient Descent Algorithm (MGDA) om het gewicht vector $\gamma$ adaptief per punt $x$ te bepalen. Dit vindt de convexe combinatie van gradiënten met de minimale Euclidische norm, wat lokaal aan de FJ-condities voldoet.
• Predefined-Weight (W) Catalyst: Maakt gebruik van een vaste set vooraf gedefinieerde gewicht vectoren (na min-max normalisatie) om de zoekrichtingen te discretiseren. Deze aanpak offert strikte FJ-conditie voldoening op voor robuustheid en gerichte exploratie, wat voordelig is onder strikte evaluatiebudgetten.

Belangrijkste Bijdragen

• Catalytisch Raamwerk: Een nieuw raamwerk dat GP predictieve gradiënten exploiteert om de convergentie van MOBO te versnellen zonder de onderliggende structuur van standaard acquisitiefuncties te wijzigen.
• Duale Instantiaties: De introductie van twee catalyst strategieën: een adaptieve MGDA-gebaseerde aanpak geworteld in de Pareto-stationariteitstheorie, en een predefined-weight aanpak voor gerichte trade-off exploratie.
• Geprincipeerde Integratie: Een formele methode voor het integreren van catalytische signalen met standaard acquisitiefuncties via geaugmenteerde Tchebycheff scalarisatie.
• Empirische Evaluatie: Uitgebreide experimenten op de DTLZ benchmark suite (2 doelstellingen, 10 beslissingsvariabelen) waarbij de voorgestelde methoden worden vergeleken met baselines (EHVI, AugTch, tMPoI, SAF).

Resultaten en Analyse
De experimenten werden uitgevoerd op de DTLZ1–DTLZ7 benchmark problemen met een budget van $30n$ evaluaties. Belangrijkste bevindingen zijn:

• Afhankelijkheid van Surrogaat Accuraatheid: De effectiviteit van de versnelling is sterk afhankelijk van de accuratesse van de surrogaatmodellen. Wanneer de surrogaatmodellen accuraat zijn (geïndiceerd door een lage Standardised Log Loss, SLL), levert de catalytische aanpak significante verbeteringen op.
• Stationariteitscorrelatie: Het raamwerk presteert het best op problemen die stationair gedrag vertonen (waarbij lokale perturbaties vergelijkbare variaties induceren in de doelstellingruimte).
  • DTLZ2 en DTLZ5: Deze problemen vertoonden sterke stationariteit en hoge surrogaataccuratesse. De catalytische methoden presteerden consequent beter dan de baselines (groene cellen in significantiekaarten).
  • DTLZ1 en DTLZ3: Deze problemen vertoonden niet-stationariteit en inconsistente surrogaatkwaliteit. De catalytische aanpak liet weinig tot geen verbetering zien ten opzien van de baselines (grijze cellen).
  • DTLZ4 en DTLZ6: Gemengde of slechte surrogaatkwaliteit leidde tot prestatieverslechtering in verschillende gevallen (rode cellen), wat het risico benadrukt van het gebruik van gradiënten wanneer de surrogaatmodellen onbetrouwbaar zijn.
• MGDA vs. Predefined Weights: In de onderlinge vergelijkingen presteerde de Predefined-Weight (W) variant over het algemeen beter dan de adaptieve MGDA-variant. De auteurs suggereren dat voor dure optimalisatie met beperkte budgetten, het focussen van de zoektocht op een grove, eindige set veelbelovende richtingen effectiever is dan het proberen fijnmazig te benaderen van de volledige globale Pareto-verzameling via adaptieve lokale richtingen.

Betekenis en Claims
Het artikel claimt dat predictive-gradient katalyse een praktische methode biedt om de efficiëntie in dure multi-objective optimalisatie te verbeteren, mits de onderliggende surrogaatmodellen accuraat zijn en het probleem een benaderende stationariteit vertoont. De auteurs benadrukken dat deze aanpak de bestaande acquisitiefuncties niet vervangt, maar deze verrijkt met lokale informatie, waardoor snellere convergentie naar de globale Pareto-verzameling mogelijk wordt.

De betekenis ligt in het overbruggen van de kloof tussen gradiënt-gebaseerde stationariteitstheorie en MOBO, door aan te tonen dat zelfs met beperkte budgetten, het benutten van de gladheid van GP predictieve gradiënten de zoektocht effectiever kan sturen dan standaard acquisitiefuncties alleen. De auteurs merken bescheiden op dat hoewel de huidige evaluatie beperkt is tot de DTLZ suite met 2 doelstellingen en 10 dimensies, het raamwerk ontworpen is om te schalen naar hogere dimensies vanwege de analytische afleiding van gradiënten en de computationele efficiëntie van de MGDA-solver. Toekomstig werk wordt gesuggereerd voor geconstraineerde settings, ruisgevoelige omgevingen en hoog-dimensionale problemen.