Uncertainty Quantification in PINNs for Turbulent Flows: Bayesian Inference and Repulsive Ensembles

Este trabajo presenta y evalúa extensiones probabilísticas de las redes neuronales informadas por física (PINNs), incluyendo inferencia bayesiana y ensambles repulsivos, para cuantificar la incertidumbre en la modelización de flujos turbulentos, demostrando que los métodos bayesianos ofrecen las estimaciones más consistentes mientras que los ensambles repulsivos proporcionan una aproximación eficiente en términos computacionales.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una historia sobre cómo enseñar a una computadora a "adivinar" el comportamiento de un fluido turbulento (como el agua alrededor de un barco o el aire alrededor de un avión) cuando solo tenemos muy pocos datos para empezar.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías divertidas:

El Problema: El Rompecabezas Incompleto

Imagina que tienes un rompecabezas gigante de un río turbulento, pero te han dado solo unas pocas piezas sueltas (datos de sensores) y la caja con la imagen de referencia está rota (no sabemos exactamente cómo se mueve todo el agua).

Los científicos usan unas herramientas llamadas PINNs (Redes Neuronales Informadas por la Física). Piensa en ellas como un detective muy inteligente que conoce las leyes de la física (como las reglas del juego) y trata de reconstruir la imagen completa del río usando esas pocas piezas que tienes.

El problema: Este detective es muy bueno adivinando, pero es demasiado seguro de sí mismo. A veces acierta, a veces falla, pero nunca te dice: "Oye, aquí estoy muy inseguro, podría estar equivocado". En ingeniería, si no sabes dónde estás equivocado, podrías tener un accidente. Necesitamos que el detective nos diga: "Estoy 90% seguro aquí, pero solo 50% allá".

La Solución: Tres Formas de Medir la "Duda"

Los autores de este artículo probaron tres métodos diferentes para enseñarle al detective a expresar sus dudas (esto se llama Cuantificación de la Incertidumbre). Vamos a verlos con analogías:

1. El Método Bayesiano (El "Sabio que Consulta a Todos")

• Cómo funciona: Imagina que en lugar de un solo detective, contratas a miles de expertos diferentes. Cada uno tiene una opinión ligeramente distinta basada en su experiencia. En lugar de elegir la respuesta de uno solo, el sistema combina las opiniones de todos para dar una respuesta promedio y, lo más importante, mide cuánto discrepan entre ellos.
• La analogía: Es como preguntar a 100 meteorólogos si lloverá mañana. Si 99 dicen "sí" y 1 dice "no", estamos muy seguros. Si 50 dicen "sí" y 50 dicen "no", sabemos que es una apuesta arriesgada.
• Resultado: Este fue el mejor método. Fue el más honesto y preciso. Siempre supo decirte dónde estaba seguro y dónde no, incluso en zonas donde no había datos. Es como tener un GPS que te avisa: "Aquí hay niebla, conduce con cuidado".

2. El Método de los "Ensembles Repulsivos" (El "Grupo de Amigos que Evitan Copiarse")

• Cómo funciona: Aquí también usamos un grupo de detectives (un "ensamble"), pero con una regla especial: se les prohíbe pensar igual. Se les añade un "imán" invisible que los empuja a tener ideas diferentes (diversidad). Si dos detectives empiezan a dar la misma respuesta, el sistema los empuja a pensar en otra cosa.
• La analogía: Imagina un equipo de cocina. Si todos los cocineros siguen la misma receta al pie de la letra, si la receta está mal, todos la comida saldrá mal. Pero si les dices: "¡No copien al vecino! ¡Cocinen de su propia manera!", obtendrán una variedad de platos. Si la mayoría falla de la misma forma, sabremos que el plato es malo.
• Resultado: ¡Funcionó muy bien y fue muy rápido! Es como tener un equipo de 10 personas trabajando en lugar de 1000. Para las cosas principales (como la velocidad del agua), fue excelente. Pero para las cosas más complejas y difíciles (como las fuerzas internas del agua), a veces se equivocaba un poco al medir su propia duda.

3. El Método de "Dropout" (El "Detective con Gafas de Sol")

• Cómo funciona: Imagina que al detective le pones gafas de sol y le tapas un ojo de vez en cuando mientras trabaja. Esto lo obliga a no depender de una sola pista y a ser más creativo.
• Resultado: Fue el menos efectivo. A veces pensaba que estaba muy seguro cuando en realidad estaba muy equivocado. Como si el detective dijera: "¡Estoy 100% seguro de que lloverá!" cuando en realidad es un día soleado.

Los Experimentos: De un Péndulo a un Barco

Para probar esto, usaron dos escenarios:

1. Un péndulo mágico (Oscilador de Van der Pol): Un problema matemático simple para ver quién aprende primero.
2. El agua alrededor de un cilindro: Un problema real y difícil, como el agua chocando contra un barco o un puente. Usaron datos de simulaciones superpotentes y datos reales de experimentos en un tanque de agua.

¿Qué aprendimos? (El Veredicto)

1. Si quieres precisión total y no puedes permitirte errores: Usa el Método Bayesiano. Es lento y costoso (como contratar a 1000 expertos), pero te dará la verdad más honesta sobre dónde tienes dudas. Es el "estándar de oro".
2. Si necesitas rapidez y buena precisión: Usa los Ensembles Repulsivos. Es como contratar a un equipo pequeño pero muy diverso. Es rápido y funciona muy bien para lo principal, aunque a veces se confunde un poco en los detalles más complejos.
3. Evita los métodos antiguos: Los métodos que no fomentan la diversidad (como los "Ensembles" normales o el "Dropout") tienden a "colapsar". Todos los detectives terminan pensando igual, y si todos piensan mal, nadie se da cuenta.

En Resumen

Este artículo nos dice que, para predecir el clima, el flujo de agua o el diseño de aviones, no basta con tener una respuesta. Necesitamos saber qué tan seguros estamos de esa respuesta.

La mejor manera de hacerlo es tener un "cerebro colectivo" que sea muy diverso (los Ensembles Repulsivos) o un "super-sabio" que consulte a miles de voces (Bayesiano). La clave no es solo tener inteligencia artificial, sino tener una inteligencia artificial que sea humilde y sepa decir: "No estoy seguro aquí".

Resumen técnico

Resumen Técnico: Cuantificación de Incertidumbre en PINNs para Flujos Turbulentos

1. Planteamiento del Problema

Las Redes Neuronales Informadas por Física (PINNs) han surgido como un marco prometedor para resolver problemas inversos gobernados por ecuaciones diferenciales parciales (EDP), incluyendo la reconstrucción de campos de flujo turbulento a partir de datos dispersos. Sin embargo, la mayoría de las formulaciones actuales de PINNs son deterministas y no proporcionan una cuantificación fiable de la incertidumbre epistémica.

Esta limitación es crítica en problemas mal planteados (ill-posed), como el modelado de flujos basados en las ecuaciones de Navier-Stokes promediadas por Reynolds (RANS) impulsado por datos. En estos contextos, múltiples combinaciones de campos de velocidad, presión y esfuerzo de Reynolds pueden satisfacer tanto las ecuaciones gobernantes como las observaciones dispersas con una precisión comparable. Sin estimaciones de incertidumbre, es imposible distinguir entre regiones donde las predicciones están bien restringidas por los datos y aquellas donde están impulsadas principalmente por el sesgo inductivo de la arquitectura de la red. Además, los PINNs deterministas no ofrecen guía sobre el valor marginal de mediciones adicionales, limitando su utilidad en el diseño experimental.

2. Metodología

Los autores desarrollan y evalúan sistemáticamente un conjunto de extensiones probabilísticas de PINNs para la cuantificación de incertidumbre en modelado de turbulencia. El marco propuesto integra tres enfoques complementarios:

A. PINNs Bayesianas (BPINNs)

• Formulación: Colocan una distribución a priori sobre los parámetros de la red neuronal y actualizan esta mediante el teorema de Bayes para obtener una distribución a posteriori condicionada a los datos y restricciones físicas.
• Muestreo: Utilizan el Muestreador No-U-Turn (NUTS), una variante adaptativa del Monte Carlo Hamiltoniano (HMC), para obtener muestras asintóticamente exactas de la posterior.
• Temperación de la Verosimilitud: Para abordar el problema de la sobreconfianza en redes neuronales (donde la posterior se concentra excesivamente con muchos datos), emplean una verosimilitud "temperada". Se asignan exponentes de temperación ($\beta$) distintos a los componentes de velocidad, esfuerzo de Reynolds y residuos de las EDP. Esto equilibra la influencia de las observaciones directas frente a las restricciones físicas suaves, evitando que los residuos de las EDP (evaluados en muchos puntos) dominen la inferencia.
• Recalibración Post-hoc: Se aplica un factor de escalado para corregir la escala global de la incertidumbre y lograr una cobertura empírica del 95%, preservando la estructura espacial de la varianza.

B. PINNs con Dropout de Monte Carlo (MC Dropout)

• Interpretan el dropout en tiempo de inferencia como una aproximación variacional a la distribución posterior.
• Se entrena una sola red con capas de dropout activas y se realizan múltiples pasadas forward para estimar la media y la varianza predictiva.
• Es computacionalmente eficiente pero limitado por la expresividad de la familia variacional inducida, a menudo subestimando la incertidumbre en regiones con pocos datos.

C. Ensembles Profundos Repulsivos (Repulsive Deep Ensembles)

• Abordan el problema del colapso del ensemble (donde redes entrenadas independientemente convergen a soluciones similares) introduciendo interacciones repulsivas basadas en kernels.
• Espacio de Funciones vs. Espacio de Parámetros:
  • Espacio de Parámetros: Penaliza la similitud entre los vectores de pesos de las redes.
  • Espacio de Funciones: Penaliza la similitud entre las salidas de las redes (campos de flujo predichos).
• El enfoque en espacio de funciones se prioriza porque promueve directamente la diversidad en las soluciones físicas predichas, lo cual es más efectivo para la cuantificación de incertidumbre en problemas de EDP.

3. Contribuciones Clave

1. Marco de Ensembles Repulsivos para PINNs: Se propone un marco escalable para la cuantificación de incertidumbre en la inferencia de esfuerzos de Reynolds y flujo medio bajo observaciones dispersas, abordando la mal planteamiento inherente de los problemas inversos en turbulencia.
2. Mecanismos de Repulsión: Estudio sistemático de la repulsión en espacio de funciones y parámetros. Se demuestra que la repulsión en espacio de funciones es superior para mitigar el colapso del ensemble y mejorar la exploración de la posterior.
3. Inferencia en Observación Parcial: Validación del marco en escenarios donde las mediciones están confinadas a una región localizada (cerca de un cilindro), logrando recuperar múltiples soluciones físicamente consistentes y estimando incertidumbre significativa en regiones no observadas.
4. Mejora de BPINNs: Desarrollo de una BPINN mejorada con verosimilitud multi-componente temperada y recalibración post-hoc, superando las limitaciones de escalabilidad y fiabilidad de formulaciones anteriores.
5. Estudio Comparativo Exhaustivo: Evaluación en una jerarquía de casos de prueba, desde el oscilador de Van der Pol hasta flujos turbulentos alrededor de un cilindro en dos números de Reynolds (Re = 3,900 con datos DNS y Re = 10,000 con datos experimentales PIV).

4. Resultados Principales

Casos de Prueba

• Oscilador de Van der Pol: Sirvió como ejemplo pedagógico. Las BPINNs mostraron la mejor calibración. Los Ensembles Repulsivos en espacio de funciones ofrecieron una aproximación eficiente y bien calibrada, mientras que los ensembles en espacio de parámetros y el MC Dropout mostraron calibración deficiente (sobreestimación o subestimación de la incertidumbre). Los ensembles estándar (sin repulsión) colapsaron completamente.
• Flujo alrededor de un Cilindro (Re = 3,900 - DNS):
  • BPINN: Proporcionó estimaciones de incertidumbre más consistentes y bien calibradas (cobertura cercana al 95% tras recalibración) para todas las variables, incluyendo la presión (inferida sin datos directos) y los términos de cierre.
  • RDE-PINN (Espacio de Funciones): Logró errores de predicción comparables o incluso menores para las variables primarias (velocidad), pero la calibración de la incertidumbre para los términos de cierre (esfuerzos de Reynolds) fue menos fiable, mostrando una subconfianza significativa.
  • Ensemble Estándar: Colapsó catastróficamente en los términos de cierre, con una cobertura de incertidumbre tan baja como 1.8% para la componente transversal del esfuerzo, haciendo las estimaciones físicamente sin sentido.
• Flujo alrededor de un Cilindro (Re = 10,000 - Datos Experimentales PIV):
  • Las BPINNs demostraron robustez ante el ruido experimental, reconstruyendo el campo de presión y los esfuerzos de Reynolds con alta fidelidad y una calibración de incertidumbre adecuada tras el ajuste.
  • Los RDE-PINN mantuvieron buena precisión predictiva para la velocidad, pero nuevamente mostraron dificultades en la calibración de incertidumbre para los términos de cierre complejos.

Comparación de Métodos

• BPINNs: Son el método más robusto y confiable para la cuantificación de incertidumbre, especialmente en cantidades mal planteadas y términos de cierre, aunque a un costo computacional más alto debido al muestreo MCMC.
• RDE-PINN (Espacio de Funciones): Ofrece una alternativa computacionalmente eficiente con alta precisión predictiva para variables primarias. Es una opción viable cuando la eficiencia es prioritaria, aunque requiere precaución al interpretar la incertidumbre en términos de cierre.
• MC Dropout y Ensembles Estándar: No se recomiendan para problemas inversos RANS mal planteados debido a su pobre calibración y tendencia al colapso o sobreconfianza.

5. Significado e Impacto

Este trabajo proporciona una guía práctica cuantitativa sobre las compensaciones entre precisión, costo computacional y calibración de incertidumbre en el aprendizaje informado por física.

• Para la Industria y la Investigación: Ofrece un marco riguroso para evaluar la fiabilidad de las predicciones de modelos de turbulencia basados en datos, crucial para aplicaciones de seguridad y optimización de diseño.
• Avance Científico: Demuestra que la diversidad funcional (no solo paramétrica) es esencial para los ensembles en problemas de EDP y que la temperación de la verosimilitud es una herramienta necesaria para la calibración en redes neuronales profundas.
• Aplicabilidad: Los métodos permiten identificar regiones donde las predicciones son inciertas (por ejemplo, en la estela de un cilindro o en capas de cizalla), lo que es vital para el diseño de experimentos adaptativos y la toma de decisiones en ingeniería.

En conclusión, el estudio establece que, aunque los Ensembles Repulsivos en espacio de funciones son una herramienta poderosa y eficiente, las PINNs Bayesianas siguen siendo el estándar de oro para la cuantificación de incertidumbre rigurosa en modelado de turbulencia, especialmente cuando se requiere una calibración precisa de los errores en términos de cierre complejos.