Monolithic Multi-level Overlapping Schwarz Solvers for Fluid Problems

Riepilogo Tecnico: Risolutori di Schwarz Sovrapposti Monolitici Multilivello per Problemi Fluidodinamici

Enunciato del Problema
Il lavoro affronta la simulazione numerica della dinamica dei fluidi incomprimibili, in particolare la risoluzione delle equazioni di Stokes discretizzate che danno origine a sistemi a punto di sella su larga scala. All'aumentare della complessità geometrica e quando le risoluzioni della mesh diventano più fini per risolvere gli strati limite, i risolutori diretti diventano non fattibili a causa di costi computazionali proibitivi e consumo di memoria. Gli autori si concentrano sui limiti di scalabilità dei metodi standard di decomposizione del dominio a due livelli, in particolare l'approccio GDSW (Generalized Dryja–Smith–Widlund). In uno schema a due livelli, all'aumentare del numero di sottodomini, il problema grezzo ($A_0$) cresce di dimensioni, rendendo infine la sua fattorizzazione diretta computazionalmente intrattabile.

Metodologia
Gli autori propongono e implementano un precondizionatore di Schwarz sovrapposto monolitico multilivello per superare i limiti di scalabilità dell'approccio GDSW a due livelli.

• Formulazione Matematica: Il metodo estende il precondizionatore GDSW a due livelli applicandolo in modo ricorsivo. Invece di invertire direttamente il problema grezzo $A_0$, gli autori sostituiscono $A_0^{-1}$ con un'approssimazione derivata da un livello più grezzo (una gerarchia a tre livelli o multilivello). Il precondizionatore è definito come:
  $$B_{GDSW, 3-level} = \Phi^{(2)} \left( \Phi^{(3)} A_0^{(3)-1} \Phi^{(3)T} + \sum_{i=1}^{N^{(2)}} R_i^{(2)T} A_i^{(2)-1} R_i^{(2)} \right) \Phi^{(2)T} + \sum_{i=1}^{N^{(1)}} R_i^{(1)T} A_i^{(1)-1} R_i^{(1)}$$
  Questa struttura permette di risolvere il problema grezzo tramite un ulteriore livello di decomposizione del dominio invece che con un risolutore diretto.

• Implementazione: Il risolutore è implementato all'interno della libreria FROSch (Fast and Robust Overlapping Schwarz), parte del pacchetto ShyLU nell'ecosistema Trilinos.

  • Accoppiamento: Un'interfaccia scalabile collega FROSch alla libreria agli elementi finiti FEATFLOW. FEATFLOW gestisce l'assemblaggio della matrice del sistema e dei vettori del termine noto utilizzando elementi $Q_2$ per la velocità ed elementi $P_1$ discontinui per la pressione.
  • Natura Algebrica: L'implementazione è puramente algebrica, richiedendo solo informazioni sulla distribuzione parallela dei gradi di libertà (dof). Costruisce automaticamente le matrici locali dei sottodomini, gli operatori di restrizione/interpolazione e il problema grezzo.
  • Costruzione dello Spazio Grezzo: Per la variabile pressione, che è discontinua attraverso i sottodomini, gli autori utilizzano funzioni costanti su tutto il sottodominio come funzioni di base grezze, evitando la necessità di un'interfaccia della pressione $\Gamma_p$. Per la velocità, vengono utilizzate estensioni che minimizzano l'energia delle restrizioni dello spazio nullo.

Contributi Chiave

1. Estensione al Multilivello: Il lavoro estende con successo il precondizionatore GDSW monolitico a due livelli (precedentemente introdotto in [7]) a un framework a tre livelli (e potenzialmente multilivello) specificamente per problemi fluidodinamici a punto di sella.
2. Accoppiamento Scalabile: Lo sviluppo di un'interfaccia tra la libreria FEATFLOW e il framework Trilinos/FROSch, che permette un accoppiamento efficiente tra l'assemblaggio geometrico e i risolutori algebrici di decomposizione del dominio.
3. Risultati su Larga Scala in Ambiente Parallelo: Gli autori dimostrano risultati di scalabilità debole su architetture di calcolo ad alte prestazioni (HPC), raggiungendo la scalabilità fino a 32.768 rank MPI per un flusso di Poiseuille su un cubo unitario e fino a 4.096 rank MPI per una geometria complessa di una filiera di estrusione.

Risultati Numerici
Gli autori hanno valutato il risolutore utilizzando due casi di test: un flusso di Poiseuille su un cubo unitario e un flusso di Poiseuille su una geometria complessa di una filiera di estrusione.

• Cubo Unitario (Decomposizione Strutturata):

  • Risolutore a Due Livelli: A 32.768 sottodomini, il risolutore a due livelli ha fallito perché il problema grezzo (407.837 dof) non poteva essere fattorizzato. Il tempo di setup per la fattorizzazione del problema grezzo è diventato il collo di bottiglia.
  • Risolutore a Tre Livelli: Ha risolto con successo il problema a 32.768 sottodomini. Sebbene il numero di iterazioni di Krylov sia aumentato da 41 a 66 mentre i sottodomini crescevano di un fattore 64, il risolutore è rimasto robusto. L'approccio a tre livelli ha ridotto significativamente il tempo di setup rispetto all'approccio a due livelli per grandi numeri di sottodomini, evitando la fattorizzazione non fattibile del massiccio problema grezzo.

• Filiera di Estrusione (Decomposizione Non Strutturata):

  • Risolutore a Due Livelli: A 4.096 sottodomini, il tempo di setup era dominato dalla fattorizzazione del problema grezzo (84,3 s).
  • Risolutore a Tre Livelli: Ha dimostrato un guadagno prestazionale. Il tempo di setup numerico è diminuito di un fattore di circa 6 rispetto al risolutore a due livelli, e il tempo di soluzione è diminuito di quasi un fattore 2. L'approccio a tre livelli ha gestito con successo la decomposizione non strutturata dove l'approccio a due livelli incontrava limiti di scalabilità.

Significato e Affermazioni
Il lavoro afferma che il significato principale di questo studio è la dimostrazione riuscita che i precondizionatori di Schwarz sovrapposti monolitici multilivello possono superare i colli di bottiglia di scalabilità intrinseci nei metodi GDSW a due livelli per problemi fluidodinamici. Nello specifico:

• L'approccio a tre livelli permette la risoluzione di problemi con numeri significativamente maggiori di sottodomini (fino a 32.768) dove il problema grezzo a due livelli sarebbe altrimenti non fattibile da fattorizzare.
• Il metodo fornisce un guadagno prestazionale sia nei tempi di setup che in quelli di soluzione per problemi su larga scala, in particolare quando lo spazio grezzo diventa grande.
• Il lavoro rappresenta un passo verso simulazioni efficienti di Fluidodinamica Computazionale (CFD) sulle future architetture exascale con sistemi CPU-GPU eterogenei, nell'ambito del progetto tedesco "StroemungsRaum".

Gli autori mantengono un tono modesto riguardo all'aumento delle iterazioni di Krylov a numeri molto elevati di sottodomini, notando che il precondizionatore potrebbe non essere ancora nel suo regime asintotico, ma sottolineano che la crescita delle iterazioni è accettabile data la massiccia aumento del parallelismo.