Adaptive hybrid coupling with operator inference, the overlapping Schwarz alternating method and reinforcement learning

In de wereld van engineering en natuurkunde staan wetenschappers vaak voor een moeilijke keuze bij het simuleren van hoe materialen zich gedragen of hoe vloeistoffen bewegen. Ze kunnen een zeer gedetailleerd, volledig schaalmodel draaien dat elk klein detail van de fysieke wereld vastlegt, maar deze berekeningen zijn zo zwaar dat ze dagen of weken duren om te voltooien, wat het onmogelijk maakt om veel verschillende scenario's te testen. Alternatief kunnen ze een vereenvoudigde, snellere versie van het model gebruiken die in seconden draait, maar dit type afkorting mist vaak belangrijke details of loopt vast wanneer de situatie ingewikkelder wordt. Decennialang hebben onderzoekers geprobeerd dit op te lossen door een groot probleem op te splitsen in kleinere stukjes, waarbij het snelle, vereenvoudigde model wordt toegewezen aan de gemakkelijke delen en het trage, gedetailleerde model aan de moeilijke delen. Echter, een grote beperking bleef bestaan: zodra de computer heeft besloten welk deel welk model krijgt, staat die beslissing meestal vast voor de gehele simulatie. Als een schokgolf of een scheur van een "eenvoudig" gebied naar een "gedetailleerd" gebied beweegt, kan de simulatie falen omdat het vereenvoudigde model de plotselinge complexiteit niet aankan.

Een team van onderzoekers heeft een nieuwe manier ontwikkeld waarmee de computer van gedachten kan veranderen terwijl de simulatie loopt. Door een computerprogramma te leren om te handelen als een slimme manager, creëerden ze een systeem dat de simulatie in realtime in de gaten houdt en direct beslist welke delen het zware, gedetailleerde model nodig hebben en welke delen ermee weg kunnen komen met het snelle, vereenvoudigde model. Deze aanpak maakt gebruik van een techniek genaamd reinforcement learning, waarbij de computer leert door middel van vallen en opstaan, vergelijkbaar met een speler die een videogame leert spelen, om de beste balans tussen snelheid en nauwkeurigheid te vinden. De onderzoekers testten dit systeem op twee zeer verschillende problemen: een eendimensionale stroming van een vloeistof met een bewegende front en een driedimensionale simulatie van een stalen balk die onder spanning trilt. Ze ontdekten dat de computer succesvol bewegende kenmerken kon volgen, zoals een voortbewegende golf of een schokfront, door automatisch het hoogwaardige model naar de regio te schakelen waar het het meest nodig was. Dit stelde de simulatie in staat om accuraat te blijven zonder de enorme kosten van het overal draaien van het gedetailleerde model, en het systeem werkte zelfs toen het werd getest op situaties die het nog nooit eerder had gezien.

De kern van dit werk ligt in een methode genaamd de overlapping Schwarz alternating method, wat een manier is om een groot probleem op te lossen door het op te splitsen in kleinere, overlappende brokken. Stel je een grote kaart voor die bedekt is met twee transparante vellen; de randen van de vellen overlappen elkaar, en de informatie wordt heen en weer gestuurd tussen hen totdat het beeld consistent is over de hele kaart. In het verleden wijsden onderzoekers een specifiek type wiskundig model toe aan elk vel en hielden dat daar. De nieuwe methode voegt een laag intelligentie toe aan dit proces. De onderzoekers trainden een digitale agent met behulp van een type kunstmatige intelligentie dat bekend staat als een deep Q-network. Deze agent kreeg duizenden verschillende simulatiescenario's te zien en leerde beslissingen te nemen op basis van een beloningssysteem. De beloning was hoog als de simulatie accuraat en snel was, maar er werd een straf opgelegd als de agent onnodig vaak van gedachten veranderde, wat tijd zou verspillen. Het doel was om de agent te leren herkennen wanneer een complex kenmerk, zoals een scherpe golf of een bewegend front, een specifiek gebied binnenkwam en om dat gebied op tijd over te schakelen naar het gedetailleerde model.

In de eerste test simuleerden de onderzoekers een eendimensionale stroming waarbij een scherp front door een pijp bewoog. Ze zetten de simulatie op met drie overlappende secties en gaven de agent de keuze om ofwel het gedetailleerde model of het vereenvoudigde model in elke sectie te draaien. De agent leerde het vereenvoudigde model actief te houden in de rustige delen van de pijp, terwijl hij het gedetailleerde model naar de sectie met het bewegende front schakelde. Terwijl het front van links naar rechts reisde, verschoof de agent het gedetailleerde model naadloos om het te volgen. De resultaten waren opmerkelijk: het slimme systeem bereikte een foutmarge die vijf keer kleiner was dan de beste vaste opstelling van modellen, terwijl het ook sneller draaide dan het overal gebruiken van het gedetailleerde model. Interessant genoeg testten de onderzoekers ook een versie waarbij de agent zelf de grootte en positie van de overlappende secties kon veranderen, niet alleen de modellen. Ze ontdekten dat deze extra vrijheid de resultaten niet daadwerkelijk verbeterde; het systeem presteerde beter wanneer het simpelweg focuste op het rondbewegen van het gedetailleerde model binnen een vaste lay-out. Dit suggereert dat voor dit type probleem het vermogen om van model te wisselen de meest kritieke factor is, en dat het constant hervormen van het rooster onnodige complexiteit toevoegt.

De tweede test bewoog zich naar de echte wereld van de mechanica van vaste stoffen, met behulp van een driedimensionale simulatie van een stalen balk in een gespecialiseerde softwarecode genaamd Norma.jl. Dit scenario hield een golf in waarbij een golf door de balk reisde, tegen de uiteinden botste en heen en weer bewoog. De onderzoekers zetten de balk op met twee en daarna drie overlappende secties, waarbij de agent werd getraind om de gedetailleerde of de vereenvoudigde modellen aan deze secties toe te wijzen terwijl de golf bewoog. In de test met twee secties wijsde de agent correct het gedetailleerde model toe aan de sectie waar de golf zich momenteel bevond, en het vereenvoudigde model aan de rustige sectie. Wanneer de golf de uiteinden van de balk raakte en reflecteerde, schakelde de agent onmiddellijk het gedetailleerde model naar de andere kant om de terugkerende golf te volgen. Dezelfde gedraging hield stand in de opstelling met drie secties. De geleerde beleidsregels waren zo effectief dat ze de fout met meer dan tien keer verminderden vergeleken met de beste vaste modelopstelling, terwijl ze ook de totale rekentijd met enkele seconden verkortten. Cruciaal was dat de onderzoekers de getrainde agents testten op nieuwe scenario's met verschillende startposities en golfbreedtes die niet deel uitmaakten van de trainingsdata. De agents generaliseerden perfect en gingen probleemloos om met deze onbekende situaties met dezelfde vaardigheid, wat bewees dat het systeem een algemene regel had geleerd in plaats van slechts specifieke voorbeelden te hebben onthouden.

De studie benadrukte ook het belang van een specifieke regel in het trainingsproces: een straf voor het te vaak wisselen van modellen. Zonder deze straf had de agent de neiging om zeer snel heen en weer te schakelen tussen de gedetailleerde en de vereenvoudigde modellen, wat inefficiënt is en instabiliteit in de simulatie kan veroorzaken. Door een kleine kostenpost toe te voegen aan elke wissel, leerden de onderzoekers de agent om doelbewuster te zijn en de strategie alleen te veranderen wanneer de fysica van de situatie dat echt vereiste. Dit resulteerde in een veel vloeiendere en stabielere simulatie die nog steeds een hoge nauwkeurigheid behield. De onderzoekers merkten op dat hoewel de vereenvoudigde modellen die ze gebruikten vooraf getraind en vaststonden, het vermogen om ze online te wisselen een belangrijke stap voorwaarts is. Ze erkenden dat toekomstig werk zou kunnen inhouden dat de vereenvoudigde modellen on-the-fly worden bijgewerkt naarmate er nieuwe gegevens binnenkomen, maar voor nu is het vermogen om dynamisch de juiste tool voor de juiste taak op het juiste moment te kiezen een krachtige manier gebleken om complexe simulaties zowel sneller als betrouwbaarder te maken.

Uiteindelijk demonstreert dit onderzoek dat kunstmatige intelligentie kan worden gebruikt om de afweging tussen snelheid en precisie in wetenschappelijke berekeningen te beheren. Door een computer te laten leren wanneer hij een zwaar model moet gebruiken en wanneer hij kan vertrouwen op een lichter model, kunnen ingenieurs complexe, veranderende gebeurtenissen simuleren zonder dagen op de resultaten te wachten. Het systeem hoeft niet voor elk nieuw probleem opnieuw getraind te worden; zodanneer het de algemene principes heeft geleerd van hoe het nauwkeurigheid en kosten in balans brengt, kan het die kennis toepassen op nieuwe situaties die het nog nooit is tegengekomen. Dit opent de deur naar snellere ontwerpoptimalisatie en een beter begrip van fysieke systemen, van de stroming van vloeistoffen tot de trillingen van structuren, door hoogwaardige simulaties praktisch te maken voor problemen die voorheen te duur of te traag waren om op te lossen.