Monolithic Multi-level Overlapping Schwarz Solvers for Fluid Problems

Technische Samenvatting: Monolithische Meer-niveau Overlappende Schwarz-oplossers voor Stroomproblemen

Probleemstelling
Het artikel behandelt de numerieke simulatie van incompressibele stromingsdynamica, specifiek het oplossen van de gediskretiseerde Stokes-vergelijkingen die leiden tot grootschalige zadelpunt-systemen. Naarmate de geometrische complexiteit toeneemt en de mesh-resoluties fijner worden om grenslagen op te lossen, worden directe oplossers onuitvoerbaar vanwege prohibitieve rekentijd en geheugengebruik. De auteurs richten zich op de schaalbaarheidsbeperkingen van standaard twee-niveau domeindecompositiemethoden, met name de gegeneraliseerde Dryja–Smith–Widlund (GDSW) aanpak. In een twee-niveau schema groeit het coarse probleem ($A_0$) in omvang naarmate het aantal subdomeinen toeneemt, waardoor de directe factorisatie uiteindelijk computationeel onuitvoerbaar wordt.

Methodologie
De auteurs stellen een monolithische meer-niveau overlappende Schwarz-preconditioner voor en implementeren deze om de schaalbaarheidslimieten van de twee-niveau GDSW-aanpak te overwinnen.

• Wiskundige Formulering: De methode breidt de twee-niveau GDSW-preconditioner uit door deze recursief toe te passen. In plaats van het coarse probleem $A_0$ direct te inverteren, vervangen de auteurs $A_0^{-1}$ door een benadering die is afgeleid van een coarser niveau (een drie-niveau of meer-niveau hiërarchie). De preconditioner is gedefinieerd als:
  $$B_{GDSW, 3-level} = \Phi^{(2)} \left( \Phi^{(3)} A_0^{(3)-1} \Phi^{(3)T} + \sum_{i=1}^{N^{(2)}} R_i^{(2)T} A_i^{(2)-1} R_i^{(2)} \right) \Phi^{(2)T} + \sum_{i=1}^{N^{(1)}} R_i^{(1)T} A_i^{(1)-1} R_i^{(1)}$$
  Deze structuur maakt het mogelijk het coarse probleem op te lossen via een verdere laag van domeindecompositie in plaats van een directe oplosser.

• Implementatie: De oplosser is geïmplementeerd binnen de FROSch-bibliotheek (Fast and Robust Overlapping Schwarz), onderdeel van het ShyLU-pakket in het Trilinos-ecosysteem.

  • Koppeling: Een schaalbaar interface verbindt FROSch met de FEATFLOW-finite-elementenbibliotheek. FEATFLOW verzorgt de assemblage van de systeemmatrix en de vectoren aan de rechterkant met behulp van $Q_2$-elementen voor snelheid en discontinuë $P_1$-elementen voor druk.
  • Algebraïsche Aard: De implementatie is puur algebraïsch en vereist alleen informatie over de parallelle verdeling van vrijheidsgraden (dofs). Het construeert automatisch lokale subdomein-matrices, restrictie/interpolatie-operatoren en het coarse probleem.
  • Constructie van de Coarse Ruimte: Voor de drukvariabele, die discontinu is over subdomeinen, gebruiken de auteurs constante functies over het gehele subdomein als coarse basisfuncties, waardoor de noodzaak voor een drukinterface $\Gamma_p$ wordt vermeden. Voor de snelheid worden energie-minimaliserende extensies van de restricties van de nulruimte gebruikt.

Belangrijkste Bijdragen

1. Uitbreiding naar Meer-niveau: Het werk breidt de monolithische twee-niveau GDSW-preconditioner (voorheen geïntroduceerd in [7]) succesvol uit tot een drie-niveau (en potentieel meer-niveau) kader, specifiek voor zadelpunt-stromingsproblemen.
2. Schaalbare Koppeling: De ontwikkeling van een interface tussen de FEATFLOW-bibliotheek en het Trilinos/FROSch-kader, waardoor een efficiënte koppeling mogelijk wordt tussen geometrische assemblage en algebraïsche domeindecompositie-oplossers.
3. Grootschalige Parallelle Resultaten: De auteurs demonstreren zwakke schaalbaarheidsresultaten op high-performance computing (HPC)-architecturen, waarbij schaalbaarheid wordt bereikt tot 32.768 MPI-ranks voor een Poiseuille-stroming in een eenheidskubus en tot 4.096 MPI-ranks voor een complexe extrusiematrijs-geometrie.

Numerieke Resultaten
De auteurs evalueerden de oplosser met twee testcases: een Poiseuille-stroming in een eenheidskubus en een Poiseuille-stroming in een complexe extrusiematrijs-geometrie.

• Eenheidskubus (Gestructureerde Decompositie):

  • Twee-niveau Oplosser: Bij 32.768 subdomeinen faalde de twee-niveau oplosser omdat het coarse probleem (407.837 dofs) niet kon worden gefactoriseerd. De opsteltijd voor de factorisatie van het coarse probleem werd de knelpunt.
  • Drie-niveau Oplosser: Loste het probleem succesvol op bij 32.768 subdomeinen. Hoewel het aantal Krylov-iteraties toenam van 41 naar 66 naarmate het aantal subdomeinen met een factor 64 groeide, bleef de oplosser robuust. De drie-niveau aanpak verminderde de opsteltijd aanzienlijk ten opzichte van de twee-niveau aanpak voor grote aantallen subdomeinen, waardoor de onuitvoerbare factorisatie van het enorme coarse probleem werd vermeden.

• Extrusiematrijs (Ongestructureerde Decompositie):

  • Twee-niveau Oplosser: Bij 4.096 subdomeinen werd de opsteltijd gedomineerd door de factorisatie van het coarse probleem (84,3 s).
  • Drie-niveau Oplosser: Toonde een prestatiewinst. De numerieke opsteltijd nam af met een factor van ongeveer 6 ten opzichte van de twee-niveau oplosser, en de oplostijd nam af met bijna een factor 2. De drie-niveau aanpak slaagde erin de ongestructureerde decompositie te verwerken, waarbij de twee-niveau aanpak schaalbaarheidslimieten ondervond.

Betekenis en Beweringen
Het artikel beweert dat de primaire betekenis van dit werk de succesvolle demonstratie is dat meer-niveau monolithische overlappende Schwarz-preconditioners de schaalbaarheidsknelpunten kunnen overwinnen die inherent zijn aan twee-niveau GDSW-methoden voor stromingsproblemen. Specifiek:

• De drie-niveau aanpak maakt het oplossen van problemen mogelijk met aanzienlijk grotere aantallen subdomeinen (tot 32.768), waarbij het coarse probleem van de twee-niveau methode anders onuitvoerbaar zou zijn om te factoriseren.
• De methode biedt een prestatiewinst in zowel opstel- als oplostijden voor grootschalige problemen, vooral wanneer de coarse ruimte groot wordt.
• Het werk vormt een stap naar efficiënte Computational Fluid Dynamics (CFD)-simulaties op toekomstige exascale-architecturen met heterogene CPU-GPU-systemen, als onderdeel van het Duitse project "StroemungsRaum".

De auteurs blijven bescheiden wat betreft de toename van Krylov-iteraties bij zeer hoge aantallen subdomeinen, en merken op dat de preconditioner mogelijk nog niet in zijn asymptotische bereik verkeert, maar benadrukken dat de iteratiegroei acceptabel is gezien de enorme toename in parallelisme.