Multi-level informed optimization via decomposed Kriging for large design problems under uncertainty

Dit paper introduceert een multi-level geoptimaliseerde Kriging-methode met decompositie die grote, complexe ontwerpproblemen onder onzekerheid aanzienlijk sneller en nauwkeuriger oplost dan bestaande technieken.

De kern

Stel je voor dat je een gigantisch, ingewikkeld puzzelraadsel moet oplossen. Je hebt een enorme doos met duizenden stukjes (de ontwerpvariabelen) en je moet ze zo neerleggen dat het hele plaatje perfect wordt. Maar er is een addertje onder het gras: je weet niet precies hoe het weer, de markt of andere onvoorspelbare factoren (de onzekerheden) het plaatje zullen beïnvloeden.

In de engineering noemen we dit "ontwerpen onder onzekerheid". De oude manier om dit op te lossen was als volgt:

1. Gokken: Je probeert duizenden scenario's uit om te zien wat er gebeurt.
2. Optimaliseren: Je zoekt de beste oplossing op basis van die giswerk.

Het probleem? Dit kost zo veel tijd en rekenkracht dat het vaak onmogelijk is voor grote, complexe systemen (zoals het energienetwerk van heel Europa). Het is alsof je probeert een berg te beklimmen door elke steen afzonderlijk te meten, terwijl je eigenlijk alleen maar de top wilt bereiken.

De Oplossing: MLIO (Multi-Level Informed Optimization)

De auteurs van dit paper, Enrico Ampellio en collega's, hebben een slimme nieuwe methode bedacht genaamd MLIO. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. De "Schatkaart" in plaats van een Lijstje

Stel je voor dat je een schat zoekt in een groot, mistig landschap.

• De oude methode (PCE+GA): Je loopt rond en meet elke keer de grond onder je voeten. Je maakt een lijstje van "hier is het nat, daar is het droog". Als je een nieuwe plek wilt weten, moet je weer gaan meten. Dit is traag en inefficiënt.
• De nieuwe methode (MLIO): Je tekent direct een schatkaart (een "uncertainty map"). Je kijkt niet alleen naar de grond, maar naar het geheel: hoe de grond, de wind en de mist samenwerken. Je maakt een dynamische kaart die laat zien waar de schat waarschijnlijk zit, zelfs op plekken waar je nog niet bent geweest.

2. De Drie Spelers (De Drie Niveaus)

De MLIO-methode werkt met drie niveaus die samenwerken, net als een goed georganiseerd team:

• Niveau 1: De "Solve" (De Werknemer)
  Dit is de persoon die het zware werk doet. Hij neemt een specifieke combinatie van ontwerp en onzekerheid (bijvoorbeeld: "een windturbine van 100 meter bij een storm van 80 km/u") en berekent de kosten. Voor de computer is dit een "zwarte doos": hij geeft een getal terug, maar we hoeven niet te weten hoe hij dat precies doet.
• Niveau 2: De "Explore" (De Verkennende Kunstenaar)
  Dit is de slimme kunstenaar die de schatkaart tekent. Hij gebruikt een techniek genaamd Kriging (een soort super-intelligente voorspellingsmachine). Hij kijkt naar de resultaten van Niveau 1 en zegt: "Hier is het onzeker, hier is het veilig." Hij tekent de kaart steeds scherper.
  • Het geheim: In plaats van één grote, rommelige kaart te tekenen, breekt hij het probleem op in kleinere stukjes (de "decomposed Kriging"). Hij kijkt eerst naar de simpele, rechte lijnen (symmetrie), dan naar de losse onderdelen (separatie), en pas daarna naar de complexe interacties. Dit maakt het veel sneller en accurater.
• Niveau 3: De "Exploit" (De Jager)
  Zodra de kaart een beetje duidelijk is, zegt deze speler: "Wacht even, daar op die plek ziet het eruit alsof de schat zit!" Hij stuurt de computer terug naar Niveau 1 om daar specifiek te meten, zodat de kaart daar nog scherper wordt.

3. Waarom is dit zo snel?

Stel je voor dat je een muur moet bouwen.

• De oude methode probeert elke baksteen los te meten en te wegen voordat hij hem legt.
• De nieuwe methode (MLIO) zegt: "Oké, we weten dat de muur recht moet zijn. Laten we eerst de hoekstenen leggen (symmetrie), dan de rijen (separatie), en pas op het einde de kleine oneffenheden wegwerken."

Door het probleem op te splitsen in logische stukjes, hoeft de computer niet alles opnieuw te berekenen. Het is alsof je een ingewikkeld recept niet van nul af kookt, maar eerst de basissoep maakt, dan de groenten toevoegt, en pas op het einde de kruiden.

Wat is het resultaat?

De auteurs hebben hun methode getest op 6 verschillende, zeer moeilijke wiskundige puzzels (van 2 tot 200 variabelen).

• Snelheid: De nieuwe methode is 1,5 tot 8.000 keer sneller dan de beste bestaande methoden.
• Nauwkeurigheid: Hij haalt een nauwkeurigheid van 99% (foutmarge van 1%) met veel minder metingen.
• Toepasbaarheid: Het werkt zelfs voor problemen met honderden variabelen, wat voorheen ondoenlijk was.

Conclusie

Dit paper introduceert een manier om complexe, onzekere problemen (zoals het plannen van een groene energietransitie of het ontwerpen van een vliegtuig) op te lossen zonder dat je duizenden jaren reken tijd nodig hebt.

In plaats van blindelings te gissen en alles één voor één te meten, bouwen ze een slimme, zelflerende schatkaart. Ze splitsen het probleem op in begrijpelijke stukjes, tekenen de kaart terwijl ze zoeken, en vinden zo de beste oplossing veel sneller en nauwkeuriger dan ooit tevoren. Het is de overgang van "blindelings zoeken" naar "slim navigeren".

Technische samenvatting

Titel: Multi-niveau geïnformeerde optimalisatie via gedeconstrueerde Kriging voor grote ontwerpproblemen onder onzekerheid

Auteurs: Enrico Ampellio, Blazhe Gjorgiev, Giovanni Sansavini (ETH Zürich)

---

1. Het Probleem

Ingenieursontwerp voor complexe systemen (zoals energienetwerken of vliegtuigen) vereist vaak het optimaliseren van modellen met duizenden beslissingsvariabelen en oncontroleerbare parameters. Deze problemen worden verergerd door aleatorische (toevallige) en epistemische (kennisgebonden) onzekerheden.

De huidige staat van de kunst (State-of-the-Art) volgt doorgaans een tweestapsbenadering:

1. Onzekerheidskwantificering (UQ): Het beoordelen van de impact van parameters op de kostenfunctie voor een vast ontwerp.
2. Ontwerpopimalisatie (OPT): Het vinden van het beste ontwerp dat de kosten en de impact van onzekerheid minimaliseert.

Uitdagingen:

• Schalbaarheid: Traditionele methoden (zoals Monte Carlo-simulaties) zijn te rekenintensief voor hoge dimensies (honderden tot duizenden variabelen).
• Nauwkeurigheid vs. Kosten: Surrogaatmodellen (zoals Polynoom Chaos Expansie - PCE) zijn snel maar vaak onnauwkeurig bij complexe, niet-lineaire landschappen of hoge dimensies.
• Interactie: Het scheiden van UQ en OPT is inefficiënt omdat het een factoriale steekproef vereist en de interacties tussen ontwerpvariabelen en onzekere parameters negeert.

2. Methodologie: Multi-Level Informed Optimization (MLIO)

De auteurs stellen een nieuwe, niet-intrusieve methode voor die de perspectief verschuift van twee aparte stappen naar het gezamenlijk in kaart brengen van het onzekerheidslandschap (de interactie tussen ontwerp $u$ en parameters $p$).

De kern van de methode is een Decomposed Kriging-surrogaatmodel, opgebouwd uit drie niveaus binnen een adaptieve cyclus:

1. Level 1: Oplossen (Solve)
   • Het deterministisch oplossen van de fysieke problemen (de "black-box" kostenfunctie $COS T(u, p)$) voor specifieke steekproeven van ontwerp en parameters.
2. Level 2: Verkennen (Explore)
   • Het bouwen en bijwerken van een Decomposed Kriging-surrogaat. Dit model is uniek omdat het het hoge-dimensionale probleem decomposeert in drie lagen om schaalbaarheid te bereiken:
     • Symmetrische laag: Veronderstelt dat het probleem gedomineerd wordt door één dimensie.
     • Scheidbare laag: Veronderstelt dat het probleem de som is van functies per dimensie.
     • Aannames-vrije laag: Vangt de resterende multivariate interacties op zonder aannames.
   • Deze lagen worden adaptief bijgewerkt met nieuwe steekproeven die de onzekerheid (variantie) van het model maximaliseren.
3. Level 3: Benutten (Exploit)
   • Het gebruik van het bijgewerkte surrogaat om direct naar optimale ontwerpen te zoeken (via een "greedy" operator).
   • Dit niveau focust op het verfijnen van de kaart in de meest veelbelovende gebieden terwijl het model nog wordt getraind.

Adaptieve Cyclus:
De methode wisselt dynamisch tussen verkenning (nieuwe data verzamelen waar het model onzeker is) en benutting (zoeken naar het optimum). Dit wordt gestuurd door een ratio ($g_{ratio}$) en stopcriteria gebaseerd op validatiefouten en betrouwbaarheidsintervallen.

3. Belangrijkste Bijdragen

• Decomposed Kriging Algorithm: Een nieuw surrogaatmodel dat orthogonaliteit en hiërarchie gebruikt om de "curse of dimensionality" te doorbreken. Het combineert de snelheid van scheidbare modellen met de nauwkeurigheid van volledige Kriging voor complexe landschappen.
• Multi-Level Informed Optimization (MLIO): Een raamwerk dat UQ en OPT integreert in één proces, waardoor een volledige "onzekerheidskaart" wordt gegenereerd in plaats van losse berekeningen.
• Schaalbaarheid: De methode is ontworpen om lineair of sub-lineair te schalen met de dimensie, in tegenstelling tot de lineaire of exponentiële schaling van traditionele methoden.
• Non-intrusief: De methode behandelt de onderliggende simulatie als een "black-box", wat toepasbaarheid op diverse ingenieursproblemen mogelijk maakt.

4. Resultaten

De methode is gevalideerd op een analytisch testbed met 6 verschillende functies (variërend van glad tot multi-modale en niet-differentieerbare functies) en drie dimensies: 2D, 20D en 200D. De resultaten werden vergeleken met de geavanceerde standaardmethode PCE + GA (Polynoom Chaos Expansie gecombineerd met een Genetisch Algorithm).

• Nauwkeurigheid: MLIO bereikte een foutmarge van < 1% (voor zowel onnauwkeurigheid als suboptimaliteit) met slechts 1.000 steekproeven. PCE+GA had zelfs bij 10.000 steekproeven vaak geen vergelijkbare nauwkeurigheid bereikt, vooral bij hoge dimensies (200D) en robuuste optimalisatie.
• Snelheid: MLIO was 1,5 tot 100 keer sneller dan PCE+GA voor dezelfde nauwkeurigheid, of 2 tot 8.000 keer nauwkeuriger voor dezelfde rekenkosten.
• Scalabiliteit:
  • PCE+GA vereiste een aantal steekproeven dat lineair groeide met de dimensie ($N \sim 500D$).
  • MLIO groeide sub-lineair ($N \sim 50D^{0.5}$).
  • Voor een 200D-probleem was MLIO effectief sneller dan PCE+GA voor een 2D-probleem.
• Robuustheid: MLIO toonde veel minder variabiliteit in prestaties tussen verschillende testfuncties en herhalingen dan PCE+GA.

5. Betekenis en Conclusie

Dit onderzoek biedt een doorbraak in het optimaliseren van complexe, resource-intensieve systemen onder onzekerheid.

• Toepasbaarheid: De methende maakt het mogelijk om problemen op te lossen die voorheen te complex waren om onder onzekerheid te optimaliseren, zoals de transitie naar net-zero energiesystemen met klimaatvariabiliteit.
• Efficiëntie: Door de decompositie van het probleem en de adaptieve selectie van steekproeven, worden dure simulaties geminimaliseerd.
• Toekomst: De auteurs wijzen erop dat de methode verder kan worden uitgebreid met parallelle verwerking, trust-region methoden en multi-objective optimalisatie.

Kortom, MLIO via Decomposed Kriging bewijst dat het mogelijk is om hoge-dimensionale, complexe ontwerpproblemen onder onzekerheid nauwkeurig en betaalbaar op te lossen, waarbij het de huidige staat van de kunst met een orde van grootte overtreft.