Optimal Transport-based Permutation-Invariant Bayesian Optimization of Offshore Wind Farm Layouts

Technisch overzicht: Optimal Transport-gebaseerde permutatie-invariante Bayesiaanse optimalisatie van offshore windparklay-outs

1. Probleemstelling

Het artikel behandelt de globale optimalisatie van black-box, kostbare-om-te-evalueren, niet-convexe objectieve functies gedefinieerd over lay-outs. Een lay-out wordt gedefinieerd als een puntenwolk (een verzameling van $m$ punten in een $d$-dimensionale ruimte) waarbij de volgorde van de punten de waarde van de objectieve functie niet beïnvloedt. Deze setting is verschillend van standaard puntenwolk-optimalisatie waarbij de volgorde van punten wel degelijk uitmaakt.

De kern van de geïdentificeerde uitdaging is het "replicatiemechanisme". In standaard vectorisatie-benaderingen, waarbij een puntenwolk $P \in \mathbb{R}^{m \times d}$ wordt behandeld als een vector in $\mathbb{R}^{md}$, is de objectieve functie $f(P)$ invariant onder permutaties van de rijen van $P$. Bijgevolg creëert de gevectoriseerde formulering $m!$ (facultaire) globale optima in de oorspronkelijke formulering met één enkel globaal optimum. Dit infecteert de zoekruimte met redundante lokale en globale optima, wat resulteert in een extreem "golvend" (wiggling) functielandschap. Deze conditie belemmert de convergentie van standaard Bayesiaanse Optimalisatie (BO) algoritmen, die moeite hebben om de werkelijke onderliggende functie te onderscheiden van haar permutaties.

De auteurs passen deze probleemformulering toe op een reële industriële casus: de optimalisatie van offshore windparklay-outs. Gezien identieke windturbines verandert het verwisselen van twee turbines de jaarlijkse energieproductie (AEP) niet, wat het probleem permutatie-invariant maakt.

2. Methodologie: PIBO

De auteurs stellen PIBO voor (Permutation-Invariant Bayesian Optimization), een framework dat gebruikmaakt van Optimal Transport (OT) theorie om permutatie-invariantie direct binnen de BO-loop af te dwingen.

Belangrijke technische componenten:

• Referentiepuntenwolk: Een referentiepuntenwolk $\bar{P}$ wordt gesampled uit een multivariate normale distributie buiten de fysieke zoekruimte. Dit zorgt ervoor dat de kostenmatrix tussen $\bar{P}$ en een willekeurige lay-out $P$ in een "algemene positie" staat, wat unieke transportplannen faciliteert.
• Optimale Flow Representatie: In plaats van direct te optimaliseren over de puntenwolken $P$, optimaliseert PIBO over de optimale flow $X$. Voor een kandidaat lay-out $P$ is de flow gedefinieerd als $X = P - \bar{P}$, afgeleid van de optimale transportkaart $T^*$ die de gekwadrateerde Euclidische afstand tussen $\bar{P}$ en $P$ minimaliseert.
  • Wiskundig wordt het probleem geformuleerd met behulp van de Monge-formulering (een toewijzingsprobleem) of de lineaire relaxatie daarvan, de Kantorovich-formulering.
  • De flow $X^*$ wordt berekend als $X^* = (T^{*\top} - I)\bar{P}$, waarbij $T^*$ de optimale transportmatrix is.
• BO over Flows: Het Gaussian Process (GP) surrogaatmodel wordt gefit op de ruimte van optimale flows $X$ in plaats van op de ruwe lay-outs. De acquisitiefunctie (specifiek GP-UCB) wordt geoptimaliseerd over deze flow-ruimte.
• Constraint Handling: Fysieke restricties (bijv. minimale afstand $\rho$ tussen turbines) worden geherformuleerd in termen van de flows. De auteurs bewijzen dat als de referentiepunten voldoende dichtbij liggen, de restrictie $\|p_i - p_j\| \geq \rho$ kan worden herschreven als $\|x_i - x_j\| \geq \| \bar{p}_i - \bar{p}_j \| + \rho$, waardoor restricties direct tijdens de optimalisatie van de acquisitiefunctie kunnen worden afgehandeld.
• Iteratie: In elke iteratie wordt een nieuwe flow $X'$ voorgesteld door de acquisitiefunctie. Een Kantorovich-probleem wordt opgelost tussen $\bar{P}$ en de geïmpliceerde lay-out $\bar{P} + X'$ om te garanderen dat de resulterende flow een geldige optimale transportplan is voordat de objectieve functie wordt geëvalueerd.

3. Belangrijkste bijdragen

1. PIBO Algoritme: Het voorstel van een permutatie-invariante BO-benadering gebaseerd op Optimal Transport-theorie, specifiek ontworpen voor optimalisatie over lay-outs in continue ruimtes.
2. Reële Toepassing: De evaluatie van PIBO op de optimalisatie van offshore windparklay-outs, een probleem dat gekenmerkt wordt door identieke activa en permutatie-invariantie.
3. Empirische Validatie: Demonstratie dat PIBO beter presteert dan vanilla BO (zowel over de fysieke ruimte als de flow-ruimte) en baseline-methoden (Random Search, TPE) in termen van zowel de optimale objectieve waarde als de computationele efficiëntie.
4. Open Source: De release van de code om reproduceerbaarheid te waarborgen.

4. Experimentele Resultaten

De auteurs evalueerden PIBO tegen verschillende baselines op een testcase met $m=5$ identieke windturbines in een $[0,1]^2$ domein met een minimale scheidingsafstand.

• Prestaties:

  • PIBO (met een Exponential kernel en onzekerheidsbonus $\xi=6$) behaalde de hoogste gemiddelde objectieve waarde (AEP) van alle methoden.
  • Vanilla BO op flows (zonder handhaving van permutatie-invariantie) presteerde beter dan Vanilla BO op puntenwolken, maar slechter dan PIBO.
  • TPE (Tree-Parzen Estimator) en random search-methoden (LHS, URS) werden door alle BO-varianten overtroffen.
  • Specifiek leverde PIBO met de Exponential kernel en $\xi=6$ een gemiddelde beste waarde van 70,77, vergeleken met 70,66 voor vanilla BO op flows en 69,82 voor vanilla BO op puntenwolken.

• Computationele Efficiëntie:

  • Ondanks de overhead van het oplossen van een lineair programmeerprobleem (Kantorovich-formulering) bij elke iteratie, was PIBO ongeveer twee keer zo snel als de andere BO-varianten.
  • Gemiddelde tijd per iteratie (GP fitting + acquisitie): 347,9 seconden voor PIBO versus ~692 seconden voor vanilla BO op flows.
  • De auteurs schrijven deze versnelling toe aan de vereenvoudiging van het GP-fittingproces; door de gladde onderliggende functie over lay-outs te modelleren in plaats van de "golvende" gerepliceerde functie over puntenwolken, convergeert het surrogaatmodel efficiënter.

• Kwalitatieve Analyse:

  • Visualisaties van de beste lay-outs tonen aan dat PIBO oplossingen produceert met niet-kruisende flows (consistent met OT-theorie), terwijl vanilla BO op flows vaak kruisende flows produceerde, wat duidt op een gebrek aan echte permutatie-invariantie.
  • PIBO was de enige methode die in staat was om een niet-lineaire organisatie van de fysieke ruimte in invloedregio's geassocieerd met specifieke turbines te extraheren.

5. Betekenis en Claims

Het artikel stelt dat het replicatiemechanisme in standaard BO-formuleringen voor lay-outproblemen een primaire barrière vormt voor convergentie. Door Optimal Transport te gebruiken om de zoekruimte naar een ruimte van optimale flows te mappen, elimineert PIBO effectief deze redundantie.

De auteurs stellen dat permutatie-invariantie de "sleutel is tot het bereiken van de beste prestaties" ten opzichte van zowel standaard BO als niet-surrogaat baselines. Bovendien wijzen zij op een contra-intuïtieve bevinding: het afdwingen van permutatie-invariantie via OT, wat een lineair programmeerstap toevoegt, verlaagt de totale computationele kosten omdat het de GP-fitting stap drastisch vereenvoudigt.

Het artikel concludeert met een opmerking over de beperkingen wat betreft schaalbaarheid voor zeer grote puntenwolken ($m > 1000$), waarbij de kosten voor het oplossen van het Kantorovich-probleem prohibitief kunnen worden, waarbij gesuggereerd wordt dat geprefixeerde sortering een alternatief kan zijn in dergelijke gevallen. Toekomstig werk wordt voorgesteld voor batch-BO acquisitie-optimalisatie en multi-objective extensies.