Sequential Experimental Designs for Kriging Model

Technische Samenvatting: Sequentiële Experimentele Ontwerpen voor Kriging-modellen

Probleemstelling
Computerexperimenten vertrouwen vaak op Kriging-modellen (Gaussiaanse processen) als surrogaatmodellen om complexe fysieke en technische systemen te benaderen. Het primaire doel is om de discrepantie tussen het surrogaatmodel en het ware model over het gehele experimentele domein te minimaliseren. Hoewel enkelvoudige (single-stage) ruimtevullende ontwerpen gebruikelijk zijn, vertrouwen deze op a priori aannames en kunnen ze er niet in slagen kritieke regio's afdoende te dekken, wat leidt tot verspilling van middelen. Sequentiële ontwerpen bieden een dynamisch alternatief door iteratief punten toe te voegen op basis van geaccumuleerde data. Echter, bestaande sequentiële methoden kampen met twee significante beperkingen:

1. Observatie-gebaseerde batch-sequentiële ontwerpen zijn onderbelicht. In veel praktische scenario's (bijv. hoogwaardige luchtvaartsimulaties) zijn de vaste kosten voor het opzetten van een experiment (kalibratie, initialisatie) hoog, terwijl de marginale kosten voor het toevoegen van meerdere punten binnen één ronde verwaarloosbaar zijn. Huidige methoden adresseren dit "batch"-scenario zelden effectief.
2. Inefficiëntie van één-punt sequentiële ontwerpen. Traditionele één-punt benaderingen vereisen talrijke iteratieve ronden om voldoende data te accumuleren, wat leidt tot verlengde experimentele cycli en inefficiënt gebruik van middelen. Bovereen, naïeve batch-selectie resulteert vaak in clustering van punten rond één enkele optimale locatie, waardoor het ontwerpgebied niet effectief wordt verkend.

Methodologie
Het artikel stelt een uitgebreid framework voor om deze hiaten te adresseren, bestaande uit twee nieuwe selectiecriteria en een algemeen batch-sequentieel ontwerpalgoritme.

1. Nieuwe Selectiecriteria:

   • Gradiënt-gebaseerd Criterium ($\phi_{gra}$): Gemotiveerd door de observatie dat regio's met grote gradiënt-magnitudes vaak een dichtere bemonstering vereisen om de passende fout (fitting error) te verminderen, selecteert dit criterium punten die de verwachte magnitude van de gradiënt van de ware functie, $\|\nabla f(x)\|$, maximaliseren, terwijl de afstand tot bestaande punten behouden blijft. Het incorporeert een term voor lokale respons-variabiliteit ($|\hat{y}_X(x) - f(x^*)|$) om te waarborgen dat punten worden geselecteerd waar de functie daadwerkelijk varieert. Theoretisch benadert dit criterium de bovengrens van de voorspellingsfout.
   • Variantie-gebaseerd Criterium ($\phi_{var}$): Dit criterium beoogt de maximale passende fout te minimaliseren door punten te selecteren die een functie maximaliseren die afgeleid is van de voorspellingsvariantie en de variantie van de gradiëntschatting. Het is gebaseerd op theoretische grenzen die aantonen dat de schattingsfout gereguleerd wordt door zowel de voorspellingsvariantie als de gradiëntvariantie.

2. Cluster-gebaseerd Top-$b$ Sequentieel Ontwerpframework:
   Om elk één-punt sequentieel criterium uit te breiden naar een batch-setting (waarbij $b > 1$ punten per iteratie worden toegevoegd), stellen de auteurs een clusteringalgoritme voor (Algoritme 2).

   • Mechanisme: In plaats van simpelweg de top $b$ punten te selecteren die het criterium $\phi(x)$ maximaliseren (wat zou leiden tot clustering nabij een enkel globaal maximum), discretiseert het algoritme de ontwerpruimte en sorteert kandidaat-punten op basis van hun $\phi$-waarden.
   • Clusteringlogica: Punten worden toegewezen aan clusters op basis van ruimtelijke nabijheid en densiteitsregels (gecontroleerd door parameters $\alpha$ en $\beta$). Het algoritme identificeert onderscheidende lokale maxima (clusters) en selecteert het representatieve punt uit de top $b$ clusters.
   • Doel: Deze aanpak voorkomt clustering van punten, waarborgt diverse exploratie van hoogwaardige regio's en maakt het mogelijk om elk bestaand één-punt criterium aan te passen voor batch-scenario's.

Belangrijkste Bijdragen

• Twee Nieuwe Criteria: De introductie van het gradiënt-gebaseerde en het variantie-gebaseerde criterium, die verschillende theoretische perspectieven bieden op het minimaliseren van de globale passende fout (gemiddelde versus maximale fout).
• Algemeen Batch-framework: Een nieuw "cluster-gebaseerd top-$b$" framework dat het inherente probleem van punt-clustering in naïeve batch-selectie oplost, waardoor de efficiënte uitbreiding van elk sequentieel criterium naar batch-scenario's mogelijk wordt gemaakt.
• Theoretische Rechtvaardiging: Het artikel biedt lemma's en stellingen die vaststellen dat de voorgestelde criteria gerelateerd zijn aan de bovengrenzen van voorspellingsfouten en gradiëntvariante, wat een theoretische basis biedt voor hun selectiestrategieën.

Resultaten
De auteurs hebben de voorgestelde methoden geëvalueerd tegen bestaande criteria (inclusclusief Expected Improvement varianten, variantie-minimalisatie en mixture discrepancy) met behulp van zeven testfuncties (Branin, Hartman, Ackley, Zakharov, Rosenbrock, etc.) met variërende dimensies.

• Prestaties van Eén-punt: Wat betreft de Root Mean Square Error (RMSE), presteerde het gradiënt-gebaseerde criterium over het algemeen beter dan bestaande methoden. Voor de Maximum Absolute Error (MAE) vertoonde het variantie-gebaseerde criterium superieure prestaties.
• Batch-prestaties: De cluster-gebaseerde top-$b$ ontwerpen gegenereerd met de nieuwe criteria presteerden consistent beter dan batch-ontwerpen gebaseerd op bestaande criteria en het benchmark sequentieel uniform ontwerp.
• Efficiëntie: De batch-ontwerpen bereikten prestaties die vergelijkbaar waren met, en in sommige gevallen beter dan, hun één-punt tegenhangers, terwijl ze het aantal experimentele ronden (iteraties) aanzienlijk verminderden.

Betekenis en Claims
Het artikel claimt dat de voorgestelde methoden kritieke beperkingen in de huidige sequentiële ontwerp-literatuur aanpakken, speciffisch het gebrek aan effectieve observatie-gebaseerde batch-ontwerpen en de inefficiëntie van één-punt benaderingen. Door aan te tonen dat het gradiënt-gebaseerde criterium de gemiddelde fout minimaliseert en het variantie-gebaseerde criterium de maximale fout minimaliseert, bieden de auteurs praktijkgebruikers gerichte instrumenten voor specifieke optimalisatiedoelen. Voorts wordt het voorgestelde batch-framework gepresenteerd als een veelzijdige oplossing die de efficiëntie van middelen verhoogt door het aantal experimentele ronden te verminderen zonder de nauwkeurigheid van de passing op te offeren, wat het bijzonder geschikt maakt voor middelenintensieve computerexperimenten. De auteurs concluderen dat hun voorgestelde criteria en framework over het algemeen beter presteren dan bestaande benaderingen in termen van passende nauwkeurigheid.