Monolithic Multi-level Overlapping Schwarz Solvers for Fluid Problems

Resumen Técnico: Solutores de Schwarz Superpuestos Monolíticos Multinivel para Problemas de Fluidos

Planteamiento del Problema
El artículo aborda la simulación numérica de la dinámica de fluidos incompresibles, específicamente la resolución de las ecuaciones de Stokes discretizadas, que dan lugar a sistemas de punto de silla a gran escala. A medida que aumenta la complejidad geométrica y las resoluciones de la malla se vuelven más finas para resolver las capas límite, los solutores directos se vuelven inviables debido a los costos computacionales prohibitivos y al consumo de memoria. Los autores se centran en las limitaciones de escalabilidad de los métodos estándar de descomposición de dominio de dos niveles, específicamente el enfoque GDSW (Dryja–Smith–Widlund generalizado). En un esquema de dos niveles, a medida que aumenta el número de subdominios, el problema grueso ($A_0$) crece en tamaño, volviendo finalmente su factorización directa computacionalmente intratable.

Metodología
Los autores proponen e implementan un precondicionador de Schwarz superpuesto monolítico multinivel para superar los límites de escalabilidad del enfoque GDSW de dos niveles.

• Formulación Matemática: El método extiende el precondicionador GDSW de dos niveles aplicándolo recursivamente. En lugar de invertir directamente el problema grueso $A_0$, los autores reemplazan $A_0^{-1}$ con una aproximación derivada de un nivel más grueso (una jerarquía de tres niveles o multinivel). El precondicionador se define como:
  $$B_{GDSW, 3-level} = \Phi^{(2)} \left( \Phi^{(3)} A_0^{(3)-1} \Phi^{(3)T} + \sum_{i=1}^{N^{(2)}} R_i^{(2)T} A_i^{(2)-1} R_i^{(2)} \right) \Phi^{(2)T} + \sum_{i=1}^{N^{(1)}} R_i^{(1)T} A_i^{(1)-1} R_i^{(1)}$$
  Esta estructura permite que el problema grueso se resuelva mediante un nivel adicional de descomposición de dominio en lugar de un solutor directo.

• Implementación: El solutor se implementa dentro de la biblioteca FROSch (Fast and Robust Overlapping Schwarz), parte del paquete ShyLU en el ecosistema Trilinos.

  • Acoplamiento: Una interfaz escalable conecta FROSch con la biblioteca de elementos finitos FEATFLOW. FEATFLOW maneja el ensamblaje de la matriz del sistema y los vectores del lado derecho utilizando elementos $Q_2$ para la velocidad y elementos $P_1$ discontinuos para la presión.
  • Naturaleza Algebraica: La implementación es puramente algebraica, requiriendo únicamente información sobre la distribución paralela de los grados de libertad (dofs). Construye automáticamente matrices de subdominio locales, operadores de restricción/interpolación y el problema grueso.
  • Construcción del Espacio Grueso: Para la variable de presión, que es discontinua a través de los subdominios, los autores utilizan funciones constantes sobre todo el subdominio como funciones base gruesas, evitando la necesidad de una interfaz de presión $\Gamma_p$. Para la velocidad, se utilizan extensiones que minimizan la energía de las restricciones del espacio nulo.

Contribuciones Clave

1. Extensión a Multinivel: El trabajo extiende con éxito el precondicionador GDSW monolítico de dos niveles (introducido previamente en [7]) a un marco de tres niveles (y potencialmente multinivel) específicamente para problemas de fluidos de punto de silla.
2. Acoplamiento Escalable: El desarrollo de una interfaz entre la biblioteca FEATFLOW y el marco Trilinos/FROSch, permitiendo un acoplamiento eficiente del ensamblaje geométrico con solutores algebraicos de descomposición de dominio.
3. Resultados Paralelos a Gran Escala: Los autores demuestran resultados de escalabilidad débil en arquitecturas de computación de alto rendimiento (HPC), logrando escalabilidad hasta 32,768 rangos MPI para un flujo de Poiseuille en un cubo unitario y hasta 4,096 rangos MPI para una geometría compleja de matriz de extrusión.

Resultados Numéricos
Los autores evaluaron el solutor utilizando dos casos de prueba: un flujo de Poiseuille en un cubo unitario y un flujo de Poiseuille en una geometría compleja de matriz de extrusión.

• Cubo Unitario (Descomposición Estructurada):

  • Solutor de Dos Niveles: A 32,768 subdominios, el solutor de dos niveles falló porque el problema grueso (407,837 dofs) no pudo ser factorizado. El tiempo de configuración para la factorización del problema grueso se convirtió en el cuello de botella.
  • Solutor de Tres Niveles: Resolvió con éxito el problema a 32,768 subdominios. Aunque el número de iteraciones de Krylov aumentó de 41 a 66 a medida que los subdominios crecieron en un factor de 64, el solutor permaneció robusto. El enfoque de tres niveles redujo significativamente el tiempo de configuración en comparación con el enfoque de dos niveles para grandes conteos de subdominios, evitando la factorización inviable del problema grueso masivo.

• Matriz de Extrusión (Descomposición No Estructurada):

  • Solutor de Dos Niveles: A 4,096 subdominios, el tiempo de configuración estuvo dominado por la factorización del problema grueso (84.3s).
  • Solutor de Tres Niveles: Demostró una ganancia de rendimiento. El tiempo de configuración numérica disminuyó en un factor de aproximadamente 6 en comparación con el solutor de dos niveles, y el tiempo de solución disminuyó casi en un factor de 2. El enfoque de tres niveles manejó con éxito la descomposición no estructurada donde el enfoque de dos niveles enfrentó límites de escalabilidad.

Significado y Afirmaciones
El artículo afirma que el significado principal de este trabajo es la demostración exitosa de que los precondicionadores de Schwarz superpuestos monolíticos multinivel pueden superar los cuellos de botella de escalabilidad inherentes a los métodos GDSW de dos niveles para problemas de fluidos. Específicamente:

• El enfoque de tres niveles permite la resolución de problemas con cantidades significativamente mayores de subdominios (hasta 32,768) donde el problema grueso de dos niveles sería de otro modo inviable de factorizar.
• El método proporciona una ganancia de rendimiento tanto en tiempos de configuración como de solución para problemas a gran escala, particularmente cuando el espacio grueso crece mucho.
• El trabajo representa un paso hacia simulaciones eficientes de Dinámica de Fluidos Computacional (CFD) en futuras arquitecturas exaescala con sistemas heterogéneos CPU-GPU, como parte del proyecto alemán "StroemungsRaum".

Los autores se mantienen modestos respecto al aumento en las iteraciones de Krylov a conteos de subdominios muy altos, señalando que el precondicionador podría no estar aún en su rango asintótico, pero enfatizan que el crecimiento de las iteraciones es aceptable dada la masiva increase en el paralelismo.