Neural-ISAM: A hybrid in-situ machine learning approach for complex manifold-based combustion models in LES of turbulent flames

Dit artikel introduceert Neural-ISAM, een hybride machine learning-methode die ter plekke dynamisch ingeknipte gebieden van adaptieve tabulatie-databases vervangt door getrainde neurale netwerken om de geheugenvereisten aanzienlijk te verminderen terwijl de nauwkeurigheid wordt behouden bij grootschalige eddy-simulaties van complexe turbulente vlammen.

De kern

Stel je voor dat je probeert een complexe, wervelende vlam te simuleren op een supercomputer. Om dit nauwkeurig te doen, moet de computer elke seconde de exacte temperatuur, chemische samenstelling en druk van de lucht op miljoenen tiny punten kennen.

Het Probleem: De "Te Groot Om Te Dragen" Bibliotheek
Traditioneel lossen wetenschappers dit op door een enorme "bibliotheek" van vooraf berekende antwoorden te creëren voor elk mogelijke vlamscenario. Denk hierbij aan een gigantische encyclopedie waarbij elke pagina een andere vlamconditie voorstelt.

• Het Issue: Naarmate de vlammodellen realistischer worden (door toevoeging van roet, straling en complexe chemie), wordt deze encyclopedie zo groot dat hij niet meer in het geheugen van de computer past. Het is alsof je probeert de volledige Library of Congress in je rugzak te dragen terwijl je een marathon loopt.

De Eerste Oplossing: Het "Just-in-Time" Notitieboek (ISAM)
Om het geheugenprobleem op te lossen, ontwikkelden wetenschappers een methode genaamd ISAM. In plaats van de hele bibliotheek mee te nemen, schrijft de computer alleen de antwoorden op die hij echt nodig heeft tijdens het uitvoeren van de simulatie. Hij bewaart deze antwoorden in een slim, georganiseerd notitieboek (een binaire boom).

• Hoe het werkt: Als de computer een antwoord nodig heeft dat hij nog niet heeft gezien, berekent hij het en schrijft hij het op. Als hij later een vergelijkbare situatie tegenkomt, gebruikt hij een snelle afkorting (een lineaire schatting) gebaseerd op wat hij heeft opgeschreven.
• Het Nieuwe Probleem: Zelfs dit notitieboek raakt vol als de vlam zeer complex is. De computer raakt opnieuw zonder ruimte.

De Nieuwe Oplossing: De "Slimme Samenvatter" (Neural-ISAM)
Dit artikel introduceert Neural-ISAM, een hybride aanpak die het "just-in-time" notitieboek combineert met Kunstmatige Intelligentie (Neurale Netwerken).

Hier is de analogie:
Stel je voor dat je notitieboek te zwaar wordt. Je besluit een slimme assistent (het Neurale Netwerk) in te huren om specifieke hoofdstukken van je notitieboek samen te vatten.

1. Scannen op Samenvattingen: De computer scant zijn notitieboek om secties te vinden die zeer vol zitten met data (veel vergelijkbare vlamcondities).
2. Trainen van de Assistent: Voor deze volle secties neemt de computer de data en traint een klein, compact AI-model om dat specifieke hoofdstuk te "onthouden".
3. De Wissel: Zodra het AI-model getraind is, verwijdert de computer de zware pagina's van het notitieboek voor die sectie en vervangt ze door het kleine AI-model.
   • Het Resultaat: Het AI-model is als een kleine flashdrive die dezelfde informatie bevat als een dik boek. Dit verkleint de geheugenvraag drastisch.

Hoe de Training Werkt (De "Veilige Zone" Truc)
Het artikel benadrukt een slimme manier om deze AI-assistenten te trainen zonder dat er miljoenen scenario's vooraf berekend hoeven te worden:

• De computer kijkt naar de "veilige zones" (genaamd Ellipsoïden van Nauwkeurigheid) die hij al heeft berekend in zijn notitieboek.
• Het genereert nieuwe trainingsdata door punten binnen deze veilige zones te bemonsteren.
• Omdat deze punten binnen de veilige zones liggen, hoeft de computer geen dure nieuwe berekeningen uit te voeren; het gebruikt gewoon zijn bestaande afkortingen om de trainingsdata te genereren.
• Het AI-model leert het gedrag van het notitieboek na te bootsen in dat specifieke gebied, waarna de notitieboekpagina's worden verwijderd.

De Resultaten: Wat Is Er Gebeurd?
De auteurs hebben dit getest op twee soorten turbulente vlammen (Sandia Flame D en een Sooting Flame).

• Geheugenbesparing:

  • Voor de eenvoudigere vlam verlaagden ze het geheugengebruik met ongeveer 14% tot 20%.
  • Voor de complexe "sooting" vlam (die meer variabelen heeft zoals roet en warmteverlies) verlaagden ze het geheugen met 34% tot 38%.
  • Cruciaal Ontdekt: Als ze probeerden te veel samen te vatten (te agressief snoeien), namen de AI-modellen eigenlijk meer ruimte in beslag dan het originele notitieboek, omdat de modellen te complex moesten worden. Ze moesten een "Goudlokje"-zone vinden.

• Snelheid versus Nauwkeurigheid:

  • Nauwkeurigheid: De resultaten waren zeer nauwkeurig. De AI-samenvattingen kwamen bijna perfect overeen met de originele berekeningen, met slechts kleine, nauwelijks merkbare fouten in specifieke chemische hoeveelheden.
  • Snelheid: Er is een afweging.
    • Training: Het kost tijd om de AI-assistenten te trainen (de "samenvattende" stap).
    • Uitvoering: Eenmaal getraind, duurt het zoeken naar een antwoord in het AI-model iets langer (ongeveer 10 microseconden) dan het zoeken in het originele notitieboek (ongeveer 5 microseconden). Omdat het AI-model echter veel kleiner is, past het in het snelle geheugen van de computer, waardoor de simulatie niet crasht door gebrek aan ruimte.

Samenvattend
Neural-ISAM is een methode die wetenschappers in staat stelt complexe vlamsimulaties uit te voeren die anders te groot zouden zijn voor hun computers. Dit doet het door de computer een database te laten opbouwen terwijl hij gaat, en vervolgens periodiek de zwaarste delen van die database te vervangen door kleine, getrainde AI-modellen. Dit bespaart enorme hoeveelheden geheugen, waardoor realistischere simulaties mogelijk zijn, hoewel er iets meer rekenkracht nodig is om de AI-modellen tijdens de simulatie uit te voeren.

Technische samenvatting

Technische Samenvatting: Neural-ISAM

Probleemstelling
Manifold-gebaseerde verbrandingsmodellen worden veel gebruikt in Large Eddy Simulaties (LES) van turbulente vlammen om de rekenkosten te verlagen door thermochemische toestanden te projecteren op lagerdimensionale manifolds. Traditioneel vertrouwen deze modellen op vooraf berekende en gepretabuleerde oplossingen. Echter, naarmate de complexiteit van de manifold toeneemt (bijvoorbeeld hogere dimensies, complexe chemie, niet-adiabatische effecten), worden de geheugenvereisten voor deze tabellen onhoudbaar.

Alternatieve benaderingen omvatten In-Situ Adaptive Tabulation (ISAT) en In-Situ Adaptive Manifolds (ISAM), die databases dynamisch opbouwen tijdens de simulatie en alleen tegengekomen toestanden opslaan. Hoewel ISAM het geheugenverbruik verlaagt ten opzichte van volledige pretabulatie, kan het geheugenverbruik voor complexe modellen nog steeds exorbitant groeien. Omgekeerd bieden machine learning (ML) methoden, met name neurale netwerken, geheugencompacte representaties van complexe functies. Echter vereisen standaard ML-benaderingen het vooraf genereren van trainingsdatasets die de volledige parameterruimte dekken, wat het doel van in-situ efficiëntie tenietdoet voor hoogdimensionale problemen waarbij niet alle toestanden worden aangetroffen.

Methodologie: Neural-ISAM
Dit werk introduceert Neural-ISAM, een hybride raamwerk dat adaptieve tabulatie koppelt aan in-situ machine learning om de geheugenbeperkingen van ISAM aan te pakken en tegelijkertijd de vooraf berekeningsvereisten van standaard ML te vermijden. De methode werkt als volgt:

1. Initiële ISAM-Operatie: De simulatie begint met de standaard ISAM-benadering, waarbij ISAT manifold-oplossingen opslaat in een binaire boomstructuur. Elk blad bevat een oplossing, zijn Jacobiaan en een Ellipsoïde van Nauwkeurigheid (EOA) die het gebied definieert waar lineaire extrapolatie geldig is.
2. Identificatie van Snoeikandidaten: Periodiek wordt de binaire boom doorgelopen om knooppunten te identificeren die in aanmerking komen voor snoeien. Een knooppunt wordt geselecteerd als het voldoet aan twee door de gebruiker gespecificeerde drempelwaarden:
   • Dekkingdichtheid ($\rho$): Een maatstaf die de dichtheid van EOAs binnen het gebied van een knooppunt kwantificeert ten opzichte van het volume van de omhullende doos. Een hoge dichtheid zorgt voor voldoende trainingsdata.
   • Aantal Bladen ($N_L$): Een minimaal aantal bladen onder het knooppunt om ervoor te zorgen dat het gesnoeide gebied significant genoeg is om vervanging te rechtvaardigen.
3. Generatie van In-Situ Trainingsdata: Voor geselecteerde kandidaat-knooppunten wordt trainingsdata gegenereerd door willekeurige punten te bemonsteren binnen de As-uitgelijnde Omhullende Doos (AABB) van het knooppunt. Punten worden alleen geaccepteerd als ze binnen een EOA van een blad onder het kandidaat-knooppunt vallen. Dit maakt het genereren van trainingsdata mogelijk via lineaire extrapolatie vanuit bestaande bladen, zonder dat nieuwe expliciete manifold-berekeningen nodig zijn.
4. Training van Neuronale Netwerken:
   • Datatransformatie: Thermochemische profielen worden getransformeerd door het aftrekken van gemiddelde profielen en het schalen van residuen met de standaardafwijking. Voor niet-adiabatische gevallen met warmteverlies wordt een inverse hyperbolische sinus ($\text{arcsinh}$) schaling toegepast om grote dynamische bereiken te hanteren.
   • Architectuur-optimalisatie: Bayesiaanse optimalisatie wordt gebruikt om het aantal lagen en een expansiefactor te tunen die het aantal neuronen per laag bepaalt.
   • Vervanging: Zodra getraind, wordt de binaire boomstructuur onder het kandidaat-knooppunt verwijderd (gesnoeid) en wordt het getrainde neurale netwerk aan dat knooppunt toegewezen. Toekomstige queries in dit gebied worden opgelost via evaluatie van het neurale netwerk in plaats van boomdoorgang.

Belangrijkste Bijdragen

• Hybride Raamwerk: De ontwikkeling van Neural-ISAM, dat dynamisch delen van een ISAT-database vervangt door neurale netwerken, en zo effectief de "leren-terwijl-je-gaat"-capaciteit van ISAT combineert met de geheugencompactheid van neurale netwerken.
• In-Situ Trainingsstrategie: Een nieuwe methode voor het genereren van trainingsdata zonder vooraf berekening, waarbij de bestaande ISAT-structuur wordt gebruikt om datapunten te bemonsteren en te valideren binnen specifieke gebieden van de manifold-ruimte.
• Adaptieve Snoeicriteria: De introductie van drempelwaarden voor dekkingdichtheid en aantal bladen om optimale gebieden voor snoeien te bepalen, waarbij een balans wordt gezocht tussen geheugenreductie en voorspellingsnauwkeurigheid.

Resultaten
De methode werd geëvalueerd met behulp van LES van twee turbulente vlammen: Sandia Flame D (niet-gemengd, 1D manifold-invoer) en de Sandia Sooting Flame (niet-adiabatisch, roetvorming, 2D manifold-invoer).

• Geheugenreductie:
  • Voor Sandia Flame D verminderde snoeien het databasegeheugen met 14–20%, afhankelijk van de drempelwaarden.
  • Voor de complexere Sandia Sooting Flame bereikte hoge drempelwaarden ($N_{L,thresh} = 350$) een geheugenreductie van ongeveer 34–38%. Het instellen van $N_{L,thresh}$ te laag (bijvoorbeeld 90) resulteerde echter in een toename van het geheugenverbruik vanwege de overhead van talloze kleine neurale netwerken.
• Nauwkeurigheid:
  • Conditionele statistieken voor temperatuur en massabrokken van species kwamen over het algemeen overeen met de basislijn ISAM-resultaten.
  • Lichte onderschattingen werden waargenomen voor $Y_{OH}$ en $Y_{CO}$ in gevallen met agressief snoeien.
  • In de Sooting-vlam verslechterde de nauwkeurigheid voor de warmteverliesparameter ($H$) in gebieden met schaarse trainingsdata (tussen EOAs), met name bij het gebruik van lage drempelwaarden voor dekkingdichtheid. Hogere drempelwaarden voor dekkingdichtheid ($\rho_{thresh} = 0,8$) verbeterden de nauwkeurigheid, maar verminderden het aantal gesnoeide gebieden.
• Rekenprestaties:
  • Training: De trainingstijd was aanzienlijk maar beheersbaar, en schaalde met het aantal getrainde neurale netwerken (hoger bij lagere $N_{L,thresh}$).
  • Runtime: Na het snoeien nam de tijd per tijdstap licht toe ten opzichte van de basislijn ISAM. Dit komt doordat een enkele evaluatie van een neurale netwerk (10 $\mu$s) rekenkundig duurder is dan een primaire ISAT-opvraging via lineaire extrapolatie (5 $\mu$s). De toename in tijdstapduur correleerde met het aantal neurale netwerk-evaluaties dat per stap vereist was.

Betekenis en Beweringen
Het artikel beweert dat Neural-ISAM succesvol de afweging tussen geheugenverbruik en modelcomplexiteit in manifold-gebaseerde verbrandingsmodellering aanpakt. Het toont aan dat het vervangen van delen van adaptieve tabulatie-databases door neurale netwerken de geheugenvoetafdruk aanzienlijk kan verkleinen, met name voor complexe, hoogdimensionale manifolds waar traditionele tabulatie faalt.

De auteurs merken bescheiden op dat hoewel het geheugen wordt gereduceerd, er een rekenkosten zijn verbonden aan evaluaties van neurale netwerken. Zij identificeren dat de voorspellingsnauwkeurigheid kan lijden in gebieden met schaarse data (tussen EOAs), wat suggereert dat toekomstig werk nodig is om de modelprestaties in deze specifieke gebieden te verbeteren en de evaluatiesnelheid van de neurale netwerken binnen het ISAT-raamwerk te optimaliseren. De methode wordt gepresenteerd als een haalbare weg vooruit voor het simuleren van steeds complexere verbrandingssystemen zonder de onhoudbare geheugenkosten van volledige pretabulatie of de vooraf berekeningsvereisten van standaard machine learning-benaderingen.