🤖 machine learning

Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

Este artículo presenta un marco de aprendizaje automático que combina el aprendizaje activo y generativo con árboles de regresión de potenciación de gradiente para predecir con precisión los parámetros de tiempo de ejecución para computaciones químicas paralelas escalables, logrando una precisión casi perfecta y manteniendo un alto rendimiento incluso con datos de entrenamiento significativamente reducidos.

Autores originales: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Publicado 2026-06-16

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando hornear el pastel perfecto, pero no tienes una receta. Sabes que el tiempo que tarda en hornearse depende de tres cosas: qué tan grande es el pastel (tamaño del problema), cuántos hornos utilizas (número de nodos) y cómo dispones la mezcla en los moldes (tamaño del bloque o tile size).

Si adivinas mal, podrías quemar el pastel o desperdiciar horas de tiempo de horno. En el mundo de las supercomputadoras, "quemar el pastel" significa desperdiciar millones de dólares en electricidad y tiempo de cómputo. Este artículo trata sobre enseñar a una computadora a convertirse en un maestro pastelero que pueda predecir exactamente cuánto tiempo tardará un "pastel" (un cálculo químico complejo llamado CCSD) en hornearse, para que los científicos no tengan que adivinar.

Aquí está la historia de cómo lo hicieron, utilizando analogías sencillas:

1. El Problema: El juego de las adivinanzas costosas

Las supercomputadoras son como cocinas masivas y de alta tecnología. Los científicos las utilizan para simular cómo interactúan las moléculas. Pero estas simulaciones son increíblemente costosas de ejecutar.

El dilema: Antes de comenzar una simulación, un científico tiene que elegir la configuración. Si elige la configuración incorrecta, la computadora podría funcionar durante 10 horas cuando podría haber terminado en 2.
El objetivo: Los investigadores querían construir una "bola de cristal" (un modelo de Aprendizaje Automático o Machine Learning) que pudiera mirar un problema y decir: "Si usas 50 hornos y esta disposición específica, tardará exactamente 42 minutos".

2. La Bola de Cristal: Probando diferentes "videntes"

El equipo probó muchos tipos diferentes de "videntes" (algoritmos de Aprendizaje Automático) para ver cuál era el mejor para predecir el tiempo. Probaron cosas como:

Regresión Polinómica: Como intentar dibujar una curva suave a través de unos pocos puntos dispersos.
Árboles de Decisión: Como un diagrama de flujo de preguntas de "si esto, entonces aquello".
Gradient Boosting (Potenciación del Gradiente): Este es el ganador. Imagina un equipo de detectives. El primer detective hace una suposición. El segundo detective observa dónde se equivocó el primero e intenta corregirlo. El tercer detective corrige los errores del segundo, y así sucesivamente. Al final, el equipo es increíblemente preciso.

El resultado: El equipo de "Gradient Boosting" fue el mejor. Cuando tenían muchos datos históricos (como un libro de cocina completo de tiempos de horneado pasados), eran casi perfectos, prediciendo el tiempo con un 99.9% de precisión.

3. El Desafío: ¿Qué pasa si no tienes un libro de cocina?

Aquí está el truco: el tiempo de supercomputación es tan caro que los científicos a menudo no tienen suficientes datos pasados para entrenar un modelo perfecto. Pueden tener solo algunas recetas (puntos de datos) pero necesitan hornear mil pasteles diferentes.

Para resolver esto, los investigadores utilizaron dos trucos ingeniosos:

Truco A: El "Catador Inteligente" (Aprendizaje Activo)

Imagina que eres un chef tratando de aprender una nueva cocina, pero solo puedes permitirte probar 20 platos de entre 1,000.

Degustación Aleatoria: Simplemente eliges 20 platos al azar. Podrías perderte los sabores más importantes.
Degustación Inteligente (Aprendizaje Activo): Le preguntas a tu computadora: "¿Qué 20 platos me enseñarán más?".
- Muestreo de Incertidumbre: La computadora dice: "Estoy muy confundido sobre estos platos específicos. Vamos a probarlos para que pueda aprender".
- Desacuerdo de Comité: Imagina un panel de chefs. Si todos están de acuerdo con un plato, lo saltan. Si están discutiendo ferozmente sobre un plato, prueban ese porque contiene un secreto en el que no logran ponerse de acuerdo.

El resultado: Usando este enfoque de "Catador Inteligente", los investigadores pudieron construir un modelo altamente preciso utilizando solo el 20–25% de los datos que normalmente necesitarían. Ahorraron una cantidad masiva de dinero y tiempo.

Truco B: La "Máquina de Imaginación" (Aprendizaje Generativo)

Imagina que tienes solo 10 fotos de un paisaje, pero necesitas entrenar a un robot para que reconozca todo el terreno.

La solución: Utilizas una "Máquina de Imaginación" (IA Generativa) para crear 20 nuevas fotos falsas que se vean exactamente como las reales. Estas no son fotos reales, pero siguen las mismas reglas (las nubes están en el lugar correcto, los árboles se ven reales).
Los investigadores utilizaron dos tipos de imaginaciones:
- Copula Gaussiana: Una máquina estadística que entiende cómo se relacionan las variables (por ejemplo, "Si el pastel es más grande, por lo general tarda más tiempo").
- CTGAN: Una red neuronal más compleja que puede manejar datos desordenados y mixtos.

El resultado: Estas máquinas crearon datos "sintéticos" que ayudaron al modelo a aprender más rápido. Sin embargo, el artículo señala que, a veces, inventar datos puede introducir un poco de "ruido" o confusión, por lo que el "Catador Inteligente" (Aprendizaje Activo) solía ser el método más confiable.

4. Las Dos Grandes Preguntas que Respondieron

Los investigadores probaron su bola de cristal en dos preguntas específicas que los científicos hacen todos los días:

La pregunta de la "Ruta más Rápida" (Pregunta de Tiempo Corto):
- Pregunta: "Tengo un problema grande. ¿Qué configuración me dará el resultado en el menor tiempo posible?"
- Respuesta: El modelo identificó con éxito la configuración más rápida, sugiriendo a menudo usar más computadoras (nodos) para acelerar las cosas, incluso si cuesta más dinero.
La pregunta del "Presupuesto" (Pregunta de Presupuesto):
- Pregunta: "Solo tengo $500 de tiempo de computadora. ¿Qué problemas puedo resolver realmente?"
- Respuesta: El modelo encontró con éxito configuraciones que se ajustaban al presupuesto, sugiriendo a menudo usar menos computadoras para estirar el dinero al máximo, aunque tome un poco más de tiempo.

5. El Veredicto Final

El artículo concluye que, al utilizar estos trucos de Aprendizaje Automático, los científicos no tienen que perder tiempo y dinero adivinando cómo ejecutar sus tareas en la supercomputadora.

Si tienen muchos datos, un modelo simple de "Gradient Boosting" funciona perfectamente.
Si tienen muy pocos datos, el "Catador Inteligente" (Aprendizaje Activo) puede enseñar a la computadora con solo una fracción de los experimentos habituales.

En resumen, construyeron una herramienta que ayuda a los científicos a dejar de adivinar y empezar a saber, salvando al mundo de la supercomputación de quemar sus "pasteles" y desperdiciar sus "hornos".

Resumen Técnico: Predicción de Parámetros de Tiempo de Ejecución de Aplicaciones de Química Paralela mediante Aprendizaje Activo y Generativo

Planteamiento del Problema
Los cálculos de estructura electrónica a gran escala, específicamente el método Coupled-Cluster con Singles and Doubles (CCSD), imponen demandas computacionales significativas en los sistemas de supercomputación. El tiempo de ejecución de estas aplicaciones masivamente paralelas depende de interacciones complejas entre el tamaño del problema (número de orbitales moleculares), la arquitectura de hardware objetivo y la configuración de tiempo de ejecución, como el número de nodos y el tamaño de los bloques (tile size). Identificar las configuraciones óptimas mediante ensayo y error es impracticable debido al alto costo de las horas-nodo desperdiciadas bajo asignaciones de recursos limitadas. Aunque existen leyes de escalado teóricas y heurísticas empíricas, estas suelen fallar al predecir los tiempos de ejecución reales o las configuraciones óptimas con precisión debido a la sobrecarga de comunicación, el desequilibrio de carga y los efectos de hardware heterogéneo. El artículo aborda la necesidad de modelos de predicción de tiempo de ejecución precisos para asistir a los usuarios en dos escenarios principales de toma de decisiones: la Pregunta del Tiempo Más Corto (STQ, por sus siglas en inglés), que busca la configuración que minimiza el tiempo de ejecución para un tamaño de problema dado, y la Pregunta del Presupuesto (BQ), que identifica configuraciones que se ajustan a restricciones de recursos específicas (por ejemplo, horas-nodo o límites de tiempo). Un desafío crítico es la escasez de datos históricos de tiempo de ejecución, ya que la recolección de mediciones suficientes a partir de ejecuciones costosas en supercomputadoras suele ser inviable.

Metodología
Los autores proponen un marco de aprendizaje automático que combina el aprendizaje supervisado con estrategias de aprendizaje activo y generativo para abordar la escasez de datos.

Aprendizaje Supervisado Base: El estudio evalúa una serie de modelos de regresión, que incluyen Regresión Polinómica, Regresión de Cresta con Núcleo (Kernel Ridge Regression), Árboles de Decisión, Bosques Aleatorios (Random Forests), Árboles de Potenciación de Gradiente (GB), Árboles de Ada Boosting, Procesos Gaussianos (GPs), Regresión de Cresta Bayesiana y Regresión de Vectores de Soporte. El ajuste de hiperparámetros se realiza mediante Búsqueda de Cuadrícula (Grid Search), Búsqueda Aleatoria y Optimización Bayesiana. Los modelos se entrenan con datos de tiempo de ejecución recolectados de ejecuciones de CCSD en tres supercomputadoras del Departamento de Energía (DOE): Aurora (ALCF), Frontier (OLCF) y Perlmutter (NERSC).
Aprendizaje Activo: Para mitigar la falta de grandes conjuntos de datos de entrenamiento, los autores emplean el aprendizaje activo para seleccionar las configuraciones más informativas para las pruebas de ejecución. Se implementan dos estrategias de consulta:
- Muestreo de Incertidumbre (US): Utiliza un modelo de Proceso Gaussiano para consultar puntos de datos donde la incertidumbre de la predicción del modelo (varianza) es mayor.
- Consulta por Comité (QC): Utiliza un conjunto (ensemble) de modelos de Potenciación de Gradiente para consultar puntos donde los miembros del comité muestran el mayor desacuerdo.
  El proceso añade iterativamente estos puntos seleccionados al conjunto de entrenamiento para mejorar la precisión del modelo con menos muestras etiquetadas.
Aprendizaje Generativo: Para aumentar aún más los conjuntos de datos dispersos, los autores utilizan modelos generativos para sintetizar puntos de datos plausibles que preserven las propiedades estadísticas de los datos originales. Se comparan dos sintetizadores:
- Cópula Gaussiana: Un método estadístico que modela las dependencias de las variables transformando los datos a un espacio Gaussiano.
- Redes Generativas Adversarias Tabulares Condicionales (CTGAN): Un enfoque de aprendizaje profundo diseñado para datos tabulares de tipo mixto, capaz de manejar variables discretas y continuas y distribuciones desequilibradas.

Contribuciones Clave

Desarrollo de Modelos Predictivos de Alto Rendimiento: El estudio implementa y evalúa un conjunto exhaustivo de modelos de ML para predecir los parámetros de tiempo de ejecución de CCSD. Identifica la Potenciación de Gradiente como el predictor más preciso y robusto en las tres plataformas de supercomputación probadas, logrando altos puntajes $R^2$ y un Bajo Error Porcentual Medio Absoluto (MAPE) cuando se dispone de suficientes datos.
Integración de Aprendizaje Activo y Generativo: El artículo demuestra la eficacia del uso de aprendizaje activo y generativo para superar la escasez de datos. Muestra que se pueden entrenar modelos de predicción de tiempo de ejecución precisos utilizando solo el 20–25% del tamaño del conjunto de datos original mediante la selección estratégica de muestras informativas o el aumento de datos con puntos sintéticos.
Evaluación Integral Multiplataforma: El marco es evaluado rigurosamente utilizando datos de rendimiento reales de tres supercomputadoras principales del DOE (Aurora, Frontier, Perlmutter), abordando tanto los objetivos de STQ como de BQ.

Resultados

Desempeño Base: Con los conjuntos de datos completos, el modelo de Potenciación de Gradiente alcanzó una precisión excepcional. Para el STQ en Aurora, alcanzó un MAPE de 0.023 y un $R^2$ de 0.999. Para el BQ, alcanzó un MAPE de 0.12 y un $R^2$ de 0.979. Se observó un alto desempeño similar en Frontier y Perlmutter.
Eficiencia del Aprendizaje Activo: Usando aprendizaje activo, los modelos alcanzaron un MAPE de aproximadamente 0.2 con solo el 20–25% del conjunto de datos original. Específicamente, en Aurora, se alcanzó un MAPE de 0.2 con 450 puntos de datos (25% del conjunto de datos), mejorando a 0.1 con aproximadamente 550 puntos. La estrategia de Muestreo de Incertidumbre generalmente superó a la Consulta por Comité en Aurora, mientras que QC funcionó mejor en Frontier y Perlmutter para ciertos objetivos.
Impacto del Aprendizaje Generativo: El aprendizaje generativo mostró mejoras modestas en el desempeño, particularmente para el MAPE, cuando se añadieron datos sintéticos. Sin embargo, los autores señalan que los datos sintéticos pueden introducir inestabilidad en el aprendizaje, especialmente con conjuntos de datos base más pequeños. El sintetizador de Cópula Gaussiana fue significamente más rápido de ajustar que CTGAN (aprox. 160x), aunque los tiempos de muestreo fueron comparables.
Análisis Estadístico: El estudio analizó la media, la varianza y la desviación estándar de los tiempos de ejecución en lotes seleccionados. Se encontró que las estrategias de aprendizaje activo (US y QC) seleccionan inicialmente configuraciones con tiempos de ejecución más altos y mayor varianza (donde la incertidumbre del modelo o el desacuerdo es más alto) antes de converger hacia lotes más homogéneos y de menor tiempo de ejecución a medida que el modelo aprende.

Significancia
El artículo afirma que su enfoque proporciona un marco práctico para reducir la carga de la selección de parámetros en simulaciones de química cuántica a gran escala. Al permitir predicciones de tiempo de ejecución precisas con significativamente menos ejecuciones costosas en supercomputadoras, la metodología facilita un uso más eficiente de los recursos, un ajuste de configuración más rápido y una mejor toma de decisiones del usuario con respecto a los presupuestos computacionales. El trabajo destaca que, si bien el aprendizaje supervisado tradicional es altamente efectivo con abundancia de datos, las estrategias de aprendizaje activo y generativo son alternativas viables para escenarios donde la recolección de datos está limitada por el costo y el tiempo.