The Closure Challenge: a benchmark task for machine learning in turbulence modelling

El artículo presenta "The Closure Challenge", un desafío de referencia estandarizado con conjuntos de datos de código abierto y métricas de evaluación diseñados para impulsar la innovación y medir el rendimiento de los modelos de aprendizaje automático en el modelado de turbulencia RANS, enfocándose específicamente en la generalización ante diferentes números de Reynolds y geometrías.

Lo esencial

Imagina que el mundo de la física de los fluidos (cómo se mueve el aire, el agua o el combustible) es como intentar predecir el clima. Es un caos increíblemente complejo. Para entenderlo, los científicos usan dos herramientas principales:

1. Las simulaciones superprecisas (DNS/LES): Son como tomar una foto ultra HD de cada gota de agua en un río. Son perfectas, pero requieren superordenadores y tanto tiempo que es imposible usarlas para diseñar un avión entero.
2. Las aproximaciones rápidas (RANS): Son como mirar el río desde un helicóptero y decir "el agua va rápido aquí y lento allá". Son rápidas y útiles para ingenieros, pero a veces cometen errores porque tienen que "adivinar" lo que pasa en los remolinos pequeños.

El Problema: "El Ciego que Adivina"

Durante años, los investigadores han intentado usar Inteligencia Artificial (IA) para enseñar a esas aproximaciones rápidas (RANS) a ser más inteligentes, usando datos de las simulaciones superprecisas.

Pero había un gran problema: nadie estaba jugando con las mismas reglas.

• El Grupo A entrenaba su IA con un tipo de datos.
• El Grupo B entrenaba la suya con otros datos.
• El Grupo C decía: "¡Mi IA es la mejor!" y el Grupo D decía: "¡No, la mía es mejor!".

Era como si dos cocineros compitieran por el mejor pastel, pero uno usaba harina de trigo, el otro harina de almendras, y el tercero usaba un horno diferente. ¡No había forma de saber quién era realmente el mejor! No había un "examen estándar" para todos.

La Solución: "El Desafío del Cierre" (The Closure Challenge)

Los autores de este artículo (un equipo de expertos del MIT, Holanda y Francia) decidieron crear la prueba de fuego definitiva.

Imagina que organizan una Olimpiada de IA para el clima.

1. El Entrenamiento (La Academia): Permiten a los participantes usar cualquier libro de texto o datos que quieran para estudiar. Pueden entrenar a sus IAs como quieran.
2. El Examen (La Prueba): Pero, cuando llega el día del examen, todos deben resolver los mismos problemas nuevos que nunca han visto antes.
   • Ejemplo: Si entrenaste tu IA con colinas pequeñas, el examen te pondrá colinas gigantes o formas extrañas.
   • Si tu IA solo memorizó los ejercicios de clase, suspenderá. Si realmente "entendió" la física, aprobará.

¿Qué miden?

No solo miran si la IA acertó o falló. Miden cuánto se equivocó en comparación con la realidad.

• Si la IA predice que el viento va a 100 km/h y en realidad va a 105 km/h, eso es un error pequeño (una buena puntuación).
• Si predice 200 km/h, es un desastre.

El objetivo es que la IA no solo funcione en lo que ya conoce, sino que sea capaz de generalizar: entender las leyes del viento para aplicarlo a situaciones nuevas (como un avión en una tormenta o un coche en un túnel de viento).

¿Por qué es importante esto?

Hasta ahora, el campo de la IA en fluidos estaba un poco "salvaje". Cada grupo hacía sus propias cosas y era difícil saber qué funcionaba de verdad.

Con este desafío:

• Se crea un estándar: Todos compiten en la misma cancha.
• Se acelera el progreso: Si una nueva IA supera a las anteriores en este examen, ¡sabemos que es un avance real!
• Se fomenta la innovación: Al ponerles un examen difícil (con geometrías extrañas y números de Reynolds altos), obligan a los investigadores a pensar en ideas nuevas y creativas.

En resumen

Este artículo presenta un gimnasio de entrenamiento y una competición oficial para las IAs que intentan predecir cómo se mueven los fluidos. Su meta es que, en el futuro, si alguien inventa una nueva IA para ingeniería, la primera pregunta que le hagan sea: "¿Cómo le fue en el Desafío del Cierre?".

Es como pasar de que cada científico tenga su propio sistema de calificación, a tener un examen de conducir nacional donde todos deben demostrar que realmente saben manejar antes de obtener su licencia.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "The Closure Challenge: a benchmark task for machine learning in turbulence modelling" (El Desafío de Cierre: una tarea de referencia para el aprendizaje automático en modelado de turbulencia), traducido y adaptado al español.

1. El Problema

El campo del modelado de turbulencia asistido por Aprendizaje Automático (ML) en las ecuaciones de Navier-Stokes promediadas de Reynolds (RANS) ha crecido significativamente en la última década. Sin embargo, el progreso se ha visto frenado por una carencia crítica: la ausencia de un conjunto de datos de referencia (benchmark) de código abierto con criterios de evaluación estandarizados.

Actualmente, comparar una nueva técnica con las existentes requiere un esfuerzo considerable debido a la falta de uniformidad en:

• Conjuntos de datos de entrenamiento y validación.
• Infraestructura local y códigos de cada grupo de investigación.
• Métricas de evaluación inconsistentes.

Esta fragmentación impide una comparación justa y acelera el desarrollo de soluciones robustas, especialmente en tareas de generalización (cambios en el número de Reynolds y geometría).

2. Metodología y Enfoque

Los autores proponen "The Closure Challenge", un desafío de referencia continuo y en línea diseñado para estandarizar la evaluación de modelos de ML en RANS.

• Filosofía del Desafío: A diferencia de competiciones unidas a conferencias específicas, este es un desafío en ejecución continua con una tabla de clasificación (leaderboard) actualizable. El objetivo es crear un entorno desafiante que motive nuevas ideas, evitando un optimismo excesivo sobre el estado actual del campo.
• Flexibilidad en el Entrenamiento: Para reducir la barrera de entrada y permitir que los investigadores utilicen sus propias infraestructuras y datos de entrenamiento (un problema común en el campo), el desafío no impone un conjunto de datos de entrenamiento estandarizado. Los participantes son libres de usar sus propios datos para entrenar y validar.
• Estandarización en la Prueba: La única restricción estricta es que está prohibido entrenar o validar utilizando los casos de prueba. Se proporciona un conjunto de datos de prueba estandarizado y código de evaluación de código abierto.
• Casos de Prueba: Los casos seleccionados evalúan la generalización del modelo frente a cambios en el número de Reynolds y la geometría. Los casos principales incluyen:
  • Colinas Periódicas (Periodic Hills): Variaciones paramétricas en longitud, altura y número de Reynolds.
  • Ducto Cuadrado: Variaciones en la relación de aspecto (AR) y número de Reynolds de fricción ($Re_\tau$).
  • NASA Wall-Mounted Hump: Un caso clásico de flujo separado.

3. Contribuciones Clave

El artículo introduce varias contribuciones fundamentales para la comunidad científica:

1. El Desafío de Cierre (The Closure Challenge): Una colección curada de conjuntos de datos de código abierto y scripts de evaluación que llenan el vacío de un estándar en el campo.
2. Datos de Alta Fidelidad Estandarizados: Se proporcionan datos de referencia (DNS/LES) que incluyen no solo velocidades medias, sino también gradientes de velocidad, información crítica que muchos marcos de trabajo actuales requieren durante el entrenamiento.
3. Métrica de Puntuación Unificada: Se define una métrica de error estandarizada para calcular el rendimiento. La puntuación se calcula como el error fraccional promedio de la velocidad sobre todos los casos de prueba, normalizado por la magnitud de la velocidad media de cada caso. Esto asegura que los casos con diferentes velocidades características contribuyan de manera comparable.
   • Fórmula: $Score = \frac{1}{N_{cases}} \sum_{c} \frac{1}{N_c |\bar{U}|_c} \sum_{i=1}^{N_c} |\tilde{U}_i - U_{true,i}|$
   • Una puntuación más baja indica un mejor acuerdo con los datos de referencia.
4. Repositorio Centralizado: Un sitio web y repositorio de GitHub (rmcconke/closure-challenge-benchmark) que alberga los datos, el código de evaluación y la tabla de clasificación actualizada.

4. Resultados Iniciales

El artículo presenta los resultados de las primeras tres submisiones al desafío (a marzo de 2026), sincronizados inicialmente con el taller ERCOFTAC:

• Ranking Inicial:
  1. Reissmann, Fang, y Sandberg: Puntuación de 0.0595 (Error promedio del ~5.95%).
  2. Wu y Zhang: Puntuación de 0.0624.
  3. Montoya, Oulghelou, y Cinnella: Puntuación de 0.0779 (Nota: Este resultado utiliza un modelo preentrenado sin ajuste fino en los datos del desafío, lo que demuestra el potencial de transferencia pero también la dificultad de la tarea sin adaptación).
• Estado Actual: El desafío está activo para flujos 2D. Los datos 3D (como la unión ala-cuerpo y la estela del cuerpo Ahmed) ya están disponibles en la página del desafío, con planes futuros para incluir una tabla de clasificación específica para flujos 3D.

5. Significado e Impacto

"The Closure Challenge" representa un paso transformador para la modelización de turbulencia asistida por ML:

• Aceleración del Progreso: Al eliminar la necesidad de que cada investigador reescriba pipelines de evaluación y busque datos compatibles, el campo puede enfocarse en la innovación de algoritmos.
• Evaluación Realista: Al centrarse en la generalización (geometría y Reynolds) en lugar del ajuste fino a un solo caso, el desafío identifica qué modelos son verdaderamente robustos y aplicables en la industria.
• Estándar de la Industria: El objetivo es que este benchmark se convierta en un requisito estándar para evaluar cualquier nuevo marco de trabajo de ML en RANS, similar a lo que ocurre en otros campos del aprendizaje automático científico (como la predicción de estructuras de proteínas o propiedades de materiales).

En resumen, este trabajo establece las bases para una evaluación rigurosa, reproducible y comparativa en la intersección de la dinámica de fluidos computacional y el aprendizaje automático.