Bayesian Optimization of Genetic Algorithm Hyperparameters in a Multi-Fidelity Framework for Efficient Lattice Material Design

Technische Samenvatting: Bayesiaanse Optimalisatie van Genetische Algoritme-hyperparameters in een Multi-Fidelity Framework voor Efficiënt Ontwerp van Roosterstructuren

Probleemstelling
Roosterstructuren (lattices), bestaande uit periodieke of aperiodieke celstructuren op basis van staven, zijn cruciaal voor lichtgewicht engineeringtoepassingen variërend van biomedische hulpmiddelen tot de luchtvaart. Hoewel additieve productie hun productie heeft vergemakkelijkt, staat het computationele ontwerp van deze structuren voor twee primaire uitdagingen: de combinatorische complexiteit van heterogene ontwerpomgevingen en de hoge computationele kosten van nauwkeurige eigenschapsevaluatie (bijv. via homogenisatie of eindige-elementenmethoden). Bovendien is de efficiëntie van evolutionaire algoritmen, zoals Genetische Algoritmen (GA), die gebruikt worden om deze ruimtes te navigeren, sterk afhankelijk van de keuze van hyperparameters (bijv. populatiegrootte, mutatiesnelheden). Het afstemmen van deze hyperparameters is op zichzelf een computationeel duur black-box optimalisatieprobleem, aangezien elke configuratie herhaalde, intensieve optimalisatieruns vereist.

Methodologie
De auteurs stellen een drielags multi-fidelity framework voor dat is ontworpen voor de automatisering van het afstemmen van GA-hyperparameters voor het maximaliseren van de specifieke elasticiteitsmodulus van roosterstructuren. Het framework integreert drie verschillende fidelity-niveaus:

1. High-Fidelity Niveau: Fast Fourier Transform (FFT) homogenisatie (met behulp van de FFTMAD-code) biedt nauwkeurige mechanische eigenschapsevaluaties. Dit niveau is computationeel duur en is gereserveerd voor de finale validatie en initiële trainingsgegevensgeneratie.
2. Medium-Fidelity Niveau: Een 3D Convolutional Neural Network (3DCNN) surrogaatmodel, gebaseerd op een DenseNet-architectuur, voorspelt de specifieke elasticiteitsmodulus van roosterstructuren. Dit model versnelt de GA-zoektocht door de meeste FFT-evaluaties tijdens het optimalisatieproces te vervangen.
3. Low-Fidelity Niveau: Bayesiaanse Optimalisatie (BO) maakt gebruik van een Gaussian Process (GP) surrogaat om de zoektocht te sturen, waarbij de relatie tussen hyperparameterconfiguraties en de resulterende prestaties wordt gemodelleerd, waarbij de GA-optimalisatieruns als ruisgevoelige observaties worden behandeld.

De workflow werkt hiërarchisch: BO stelt hyperparameterconfiguraties voor, die worden geëvalueerd met behulp van de GA ondersteund door de 3DCNN-surrogaat. De resultaten actualiseren het GP-model, dat iteratief de zoektocht verfijnt. Het proces wordt afgesloten met een high-fidelity FFT-validatie van de beste configuraties.

Belangrijke methodologische componenten zijn onder meer:

• Genetisch Algoritme: Lattices worden gerepresenteerd als $4 \times 4 \times 4$ matrices van eenheidscellen. De GA maakt gebruik van selectie, crossover (snijden en samenvoegen langs drie hoofdrichtingen) en mutatie.
• Acquisitiefuncties: Vier acquisitiefuncties werden geëvalueerd om een balans te vinden tussen exploratie en exploitatie in de ruisgevoelige GA-omgeving: Upper Confidence Bound (UCB), Expected Improvement (EI), Noisy Expected Improvement (NEI), en de logaritmische variant daarvan (logNEI).
• Gestrafte Objectieve Functie: Een aangepaste objectieve functie werd geïntroduceerd om de mechanische prestaties af te wegen tegen het aantal benodigde ouderstructuren per generatie ($n_{par}$), wat praktische beperkingen bij experimentele fabricage aanpakt. De gestrafte objectieve functie is gedefinieerd als $F_{pen}(x) = F(x) / (1 + \alpha \times \tilde{n}_{par})$.

Belangrijkste Bijdragen

1. Framework Ontwikkeling: De studie vestigt een drielags multi-fidelity framework dat FFT-homogenisatie, een CNN-surrogaat en GP-gebaseerde BO combineert voor geautomatiseerde GA-hyperparameterafstemming.
2. Evaluatie van Acquisitiefuncties: Het werk evalueert systematisch acquisitiefuncties in de context van ruisgevoelige GA-optimalisatie, waarbij logNEI wordt geïdentificeerd als de meest effectieve strategie voor het afhandelen van evaluatieruis.
3. Trade-off Analyse: De introductie van een gestrafte objectieve functieformulering demonstreert een praktische methode voor het balanceren van mechanische prestaties met het aantal vereiste structuren voor evaluatie, een cruciale factor voor experimentele implementatie.

Resultaten

• Hyperparameter Efficiëntie: Het BO-framework, specifelijk gebruikmakend van de logNEI-acquisitiefunctie, identificeerde hyperparameterconfiguraties waarmee een GA-run van slechts 25 generaties een specifieke elasticiteitsmodulus van 7,158 GPa kon bereiken. Deze prestatie is vergelijkbaar met de 7,119 GPa die werd bereikt door een volledige 75-generaties optimalisatie in eerder werk, wat effectief het aantal vereiste generaties met twee derde vermindert.
• Prestaties van de Acquisitiefunctie: logNEI presteerde beter dan UCB, NEI en qNEI. UCB slaagde er niet in om de initiële Sobol-sampling te verbeteren, terwijl logNEI effectief de zoekruimte verkende om het globale optimum te vinden.
• Reductie van Computationele Kosten: De geoptimaliseerde aanpak verminderde de totale computationele kosten met ongeveer 24% (van 225 uur naar 171 uur) met behoud van de mechanische prestaties.
• Uitkomsten van de Gestrafte Objectieve Functie: Het introduceren van een straf op het aantal ouders ($n_{par}$) maakte een bijna tweevoudige reductie mogelijk in het vereiste ouderpopulatie (bijv. van 165 naar 60) met slechts een minimale afname in de absolute specifieke elasticiteitsmodulus (bijv. van 7,158 GPa naar 6,982 GPa).
• Eliminatie van Mutatie: De geoptimaliseerde configuraties elimineerden vaak de noodzaak voor mutatie ($f_{mut} \approx 0$), wat suggereert dat crossover tussen hoogpresterende ouders voldoende was voor deze specifieke ontwerpomgeving. Dit leidde tot snellere convergentie en lagere experimentele fabricagekosten.

Betekenis en Claims
Het artikel beweert dat multi-fidelity optimalisatie een praktische en efficiënte aanpak biedt voor het afstemmen van GA-hyperparameters in het ontwerp van roosterstructuren. Door gebruik te maken van surrogaatmodellen vermindert het framework de computationele overhead aanzienlijk zonder de kwaliteit van het uiteindelijke ontwerp op te offeren. De studie benadrukt dat het uitsluitend optimaliseren voor maximale stijfheid kan leiden tot inefficiënte experimentele workflows die excessieve fabricage vereisen; de voorgestelde gestrafte objectieve functie biedt een mechanisme om de trade-off tussen prestaties en middelenbeperkingen te navigeren.

De auteurs stellen dat hun resultaten het potentieel van dit framework demonstreren voor toekomstige experimentele roosterontwerpstudies, met name waar 3D-printen en mechanische testen kostbaar zijn. Zij merken op dat hoewel de geoptimaliseerde hyperparameters betrouwbaar zijn voor de specifieke roosterstructuren en surrogaatmodellen die zijn gebruikt, het beoordelen van de overdraagbaarheid hiervan naar substantieel andere optimalisatieproblemen een onderwerp is voor toekomstig onderzoek. Het werk claimt niet het algemene probleem van roosterontwerp te hebben opgelost, maar biedt een robuuste methodologie voor de specifieke taak van hyperparameterafstemming binnen een multi-fidelity context.