Acoustics-based Active Control of Unsteady Flow Dynamics using Reinforcement Learning Driven Synthetic Jets

Este artículo presenta un marco de aprendizaje por refuerzo profundo que utiliza mediciones acústicas de campo lejano como señal de retroalimentación principal para impulsar la actuación de chorros sintéticos, suprimiendo con éxito la dinámica de estela no estacionaria detrás de un cilindro circular y logrando reducciones significativas en el ruido radiado y la resistencia aerodinámica sin depender de sensores tradicionales de velocidad o presión.

Lo esencial

Imagina que estás de pie junto a un mástil en un día ventoso. El viento no solo pasa zumbando junto al mástil; crea un sonido rítmico de "aleteo" y hace que el mástil vibre. En física, esto se llama "estela", donde el aire se arremolina en remolinos giratorios (como pequeños tornados) que generan resistencia (ralentizando las cosas) y ruido.

Durante décadas, los ingenieros han intentado detener esta vibración y el ruido. Por lo general, lo hacen instalando sensores que miden la velocidad del viento o la presión justo al lado del mástil para decirle a una computadora cómo corregirlo.

Este artículo presenta una idea nueva y astuta: ¿Y si simplemente escucháramos el ruido en lugar de medir el viento?

Aquí tienes una explicación sencilla de cómo lo hicieron los investigadores, utilizando analogías cotidianas:

1. El Problema: El Mástil Tembloroso

Los investigadores simularon el viento soplando sobre un cilindro redondo (como una tubería o un mástil). Cuando el viento lo golpea, crea una "calle de vórtices": una línea de burbujas de aire giratorias que se desprenden de la parte superior e inferior. Esto causa dos cosas malas:

• Resistencia: El objeto es empujado hacia atrás con más fuerza.
• Ruido: El aire giratorio crea un sonido zumbante (como un silbido).

2. La Solución: El "Oído Inteligente" y los "Pulmones Artificiales"

En lugar de usar sensores de viento complejos, el equipo utilizó un agente de Aprendizaje por Refuerzo Profundo (DRL). Imagina a este agente como un estudiante superinteligente que está aprendiendo a jugar un videojuego.

• Los "Oídos" (Retroalimentación): En lugar de mirar el viento, el agente "escucha" la presión sonora (ruido) creada por el aire giratorio utilizando una matriz de micrófonos virtuales colocada aguas abajo.
• Los "Pulmones" (Acción): El cilindro tiene dos pequeñas "bocas" (chorros sintéticos) en su parte superior e inferior. Estas pueden expulsar aire o aspirarlo, actuando como pulmones artificiales que pueden soplar o inhalar para cambiar la trayectoria del viento.

3. El Proceso de Aprendizaje: Prueba y Error

El agente de IA no conocía las reglas de la física al principio. Tuvo que aprender haciendo, similar a como un bebé aprende a caminar cayendo e intentándolo de nuevo.

• El Objetivo: La única instrucción del agente fue: "Haz que el ruido sea más silencioso".
• La Estrategia: El agente expulsaría aire desde los chorros superior o inferior. Si el ruido se volvía más silencioso, recibía una "recompensa" (como una puntuación alta en un juego). Si el ruido se volvía más fuerte, recibía una penalización.
• El Descubrimiento: A través de miles de intentos, la IA descubrió exactamente cuándo y con qué fuerza expulsar el aire para cancelar los vórtices giratorios antes de que pudieran crecer ruidosos y causar vibraciones.

4. Los Resultados: Más Silencioso y Más Suave

El artículo reporta que este enfoque de "escucha" funcionó sorprendentemente bien. Al reaccionar simplemente al sonido:

• Reducción del Ruido: El "zumbido" del viento disminuyó aproximadamente un 9.5%.
• Reducción de la Resistencia: La fuerza que empujaba hacia atrás contra el cilindro disminuyó un 23.8%.
• Estabilidad: La violenta vibración (oscilaciones) de la estela se calmó significativamente.

La Gran Conclusión

El artículo afirma que no necesitas ver el viento para controlarlo; solo necesitas escucharlo. Al utilizar el sonido como señal principal, la IA aprendió a "afinar" el flujo de aire como un músico afina un instrumento, transformando un flujo caótico, ruidoso y con alta resistencia en uno suave, silencioso y eficiente.

En resumen: Enseñaron a una computadora a "escuchar" las quejas del viento y "soplar" exactamente la cantidad justa de aire para hacer que dejara de quejarse, resultando en un flujo más silencioso y eficiente.

Resumen técnico

Resumen Técnico: Control de Flujo Acústico mediante Aprendizaje por Refuerzo

Enunciado del Problema
El Control de Flujo Activo (AFC) ha dependido tradicionalmente de variables de estado, como velocidad, presión o vorticidad, como señales de retroalimentación para regular la dinámica de flujos no estacionarios. Sin embargo, estos métodos a menudo requieren aproximaciones complejas del espacio de estados y cálculos de funciones de transferencia que son dependientes del caso y no generalizables. Además, los estudios existentes de Aprendizaje por Refuerzo Profundo (DRL) en dinámica de fluidos utilizan predominantemente observaciones del campo de velocidad o coeficientes de fuerza como retroalimentación. Este artículo aborda la brecha en el uso de observables acústicos como señal de control principal. Los autores postulan que, dado que el desprendimiento de vórtices es la fuente del ruido generado por el flujo (según lo descrito por la Analogía Acústica de Lighthill), la firma acústica de la estela contiene información suficiente para controlar el flujo. El problema específico investigado es la supresión de la dinámica de estela no estacionaria y la mitigación de perturbaciones inducidas por el flujo detrás de un cilindro circular a un número de Reynolds de 100, utilizando el sonido como único mecanismo de retroalimentación.

Metodología
El estudio emplea un marco de Red de Q Profunda (DQN) integrado con actuación por chorros sintéticos en un cilindro circular.

• Configuración de la Simulación: El dominio computacional se basa en el benchmark DFG 2D-3 (flujo alrededor de un cilindro) utilizando el solver DOLFINx. El flujo es incompresible con un número de Reynolds ($Re$) de 100.
• Actuación: Dos chorros sintéticos están posicionados en las superficies superior e inferior del cilindro (perpendiculares al flujo). Estos chorros operan mediante soplado y succión, controlados independientemente por el agente de DRL.
• Formulación de la Retroalimentación (La Novedad): En lugar de medir la velocidad o la vorticidad directamente, el sistema utiliza Niveles de Presión Sonora (SPL) derivados de las fluctuaciones de presión hidrodinámica. Una matriz densa de 2.500 sensores (2.000 horizontales, 500 verticales) rodea el cilindro para capturar los campos de presión. El SPL efectivo ($SPL_{eff}$) se calcula como un valor cuadrático medio de las fluctuaciones de presión con respecto a la presión promedio. Este SPL sirve como entrada de estado para el agente DQN.
• Arquitectura DRL: El agente utiliza una red neuronal con cuatro capas totalmente conectadas (50 nodos cada una) y activación ReLU. La entrada es un vector de 4 dimensiones que comprende los SPLs de las matrices de sensores superior e inferior y las velocidades actuales de los dos chorros. La salida es la acción de control (ajuste de las velocidades de los chorros).
• Estrategia de Entrenamiento: La simulación se divide en dos etapas:
  1. Exploración: El agente explora una amplia gama de incrementos de velocidad del chorro ($\pm0.01$ a $\pm0.5$) para identificar patrones de control óptimos.
  2. Prueba: El agente opera con un conjunto fijo de valores discretos de velocidad del chorro para verificar la estabilidad y el rendimiento.
• Función de Recompensa: La recompensa está estrictamente vinculada a la reducción del SPL. Se otorgan altas recompensas por valores de SPL inferiores a 66 dB, mientras que se aplican penalizaciones por valores que superan los 74.5 dB.

Contribuciones Clave

1. Marco de Control Impulsado por Acústica: Este trabajo establece un vínculo directo entre las emisiones acústicas de campo lejano y la actuación de campo cercano, demostrando que la detección acústica por sí sola puede proporcionar información suficiente para un control de flujo en bucle cerrado efectivo sin detección explícita de velocidad o vorticidad.
2. DRL para Regulación Acústica: Introduce una estrategia basada en DQN específicamente adaptada para minimizar los Niveles de Presión Sonora generados por el desprendimiento de vórtices, tratando la reducción del ruido como el objetivo principal para la estabilización del flujo.
3. Rendimiento Cuantitativo: El estudio proporciona evidencia cuantitativa de que la retroalimentación acústica puede reducir simultáneamente el ruido radiado y la resistencia aerodinámica, superando a los flujos base sin control y mostrando resultados competitivos frente a configuraciones de DRL basadas en velocidad.

Resultados
Las simulaciones se ejecutaron durante 20 segundos (10.000 pasos de tiempo) a un número de Reynolds de 100.

• Reducción del Ruido: La estrategia de control redujo con éxito el ruido radiado. El SPL base fue de aproximadamente 73.5 dB.
  • Caso de Prueba 1 (velocidades de chorro más bajas) redujo el SPL a 69.0 dB (reducción del 6.1%).
  • Caso de Prueba 2 (velocidades de chorro más altas) redujo el SPL a 66.5 dB (reducción del 9.5%).
• Reducción de la Resistencia: El método también mitigó significativamente el coeficiente de resistencia ($C_D$).
  • La media base de $C_D$ fue de 3.15.
  • Caso de Prueba 1 redujo $C_D$ a 2.65 (reducción del 15.9%).
  • Caso de Prueba 2 redujo $C_D$ a 2.40 (reducción del 23.8%).
• Estabilización de la Estela: El control condujo a una atenuación marcada de las oscilaciones de la estela. La desviación estándar del coeficiente de sustentación y la fluctuación promediada en el tiempo de la velocidad del flujo en la región aguas abajo se redujeron significativamente, indicando la supresión de estructuras coherentes de la estela.
• Validación: Los análisis de independencia de la malla y sensibilidad del paso de tiempo confirmaron la fiabilidad de los resultados. Se logró la convergencia estadística después de aproximadamente 20 ciclos de desprendimiento de vórtices.

Significado y Afirmaciones
El artículo afirma que esta investigación demuestra la viabilidad de utilizar el aprendizaje por refuerzo informado acústicamente para la estabilización adaptativa de estelas bajo condiciones de flujo no lineales. Los autores afirman que sus hallazgos destacan el potencial de la detección acústica como una modalidad de retroalimentación no intrusiva para la optimización acoplada aerodinámica y aeroacústica en flujos alrededor de cuerpos romos.

El estudio sugiere que controlar la "fuente" del ruido (vorticidad) mediante retroalimentación acústica es un enfoque lógico y efectivo para problemas de control de flujo. Si bien los autores reconocen que el marco actual no busca un control óptimo global en el sentido matemático estricto, concluyen que la estrategia guiada por DRL identifica consistentemente regímenes de actuación dinámicamente efectivos. El trabajo sirve como un paso hacia la integración de técnicas de aprendizaje automático para mejorar la eficiencia de los sistemas de control de flujo activo, con implicaciones potenciales para la reducción de vibraciones inducidas por el flujo y la resistencia en aplicaciones de ingeniería como estructuras marinas y aeronaves. Los autores declaran explícitamente que los códigos están disponibles para facilitar la investigación adicional en este dominio.