🤖 machine learning

Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

Este artigo apresenta um framework de aprendizado de máquina combinando aprendizado ativo e generativo com árvores de regressão de boosting de gradiente para prever com precisão parâmetros de tempo de execução para computações químicas paralelas escaláveis, alcançando uma precisão quase perfeita e mantendo alto desempenho mesmo com dados de treinamento significativamente reduzidos.

Autores originais: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Publicado 2026-06-16

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar o bolo perfeito, mas não tem uma receita. Você sabe que o tempo necessário para assar depende de três coisas: o tamanho do bolo (tamanho do problema), quantos fornos você usa (contagem de nós) e como você arranja a massa nas assadeiras (tamanho do tile).

Se você errar o palpite, pode queimar o bolo ou desperdiçar horas de tempo de forno. No mundo dos supercomputadores, "queimar o bolo" significa desperdiçar milhões de dólares em eletricidade e tempo de computador. Este artigo é sobre ensinar um computador a se tornar um mestre confeiteiro capaz de prever exatamente quanto tempo um "bolo" (um cálculo químico complexo chamado CCSD) levará para assar, para que os cientistas não precisem adivinhar.

Aqui está a história de como eles fizeram isso, usando analogias simples:

1. O Problema: O Jogo de Adivinhação Caro

Supercomputadores são como cozinhas massivas e de alta tecnologia. Cientistas usam eles para simular como as moléculas interagem. Mas essas simulações são incrivelmente caras de executar.

O Dilema: Antes de iniciar uma simulação, um cientista precisa escolher as configurações. Se ele escolher as configurações erradas, o computador pode rodar por 10 horas quando poderia ter terminado em 2.
O Objetivo: Os pesquisadores queriam construir uma "bola de cristal" (um modelo de Machine Learning) que pudesse olhar para um problema e dizer: "Se você usar 50 fornos e esta disposição específica, levará exatamente 42 minutos".

2. A Bola de Cristal: Testando Diferentes "Videntes"

A equipe testou muitos tipos diferentes de "videntes" (algoritmos de Machine Learning) para ver qual era o melhor em prever o tempo. Eles testaram coisas como:

Regressão Polinomial: Como tentar desenhar uma curva suave através de alguns pontos espalhados.
Árvores de Decisão: Como um fluxograma de perguntas do tipo "se isso, então aquilo".
Gradient Boosting: Este é o vencedor. Imagine uma equipe de detetives. O primeiro detetive faz um palpite. O segundo detetive olha onde o primeiro errou e tenta corrigir isso. O terceiro detetive corrige os erros do segundo, e assim por diante. Ao final, a equipe é incrivelmente precisa.

O Resultado: A equipe do "Gradient Boosting" foi a melhor. Quando eles tinham muitos dados históricos (como um livro de receitas completo de tempos de cozimento passados), eles eram quase perfeitos, prevendo o tempo com 99,9% de precisão.

3. O Desafio: E se Você Não Tiver um Livro de Receitas?

Aqui está o detalhe: o tempo de supercomputador é tão caro que os cientistas muitas vezes não têm dados passados suficientes para treinar um modelo perfeito. Eles podem ter apenas algumas receitas (pontos de dados), mas precisam assar mil bolos diferentes.

Para resolver isso, os pesquisadores usaram dois truques inteligentes:

Truque A: O "Provador Inteligente" (Aprendizado Ativo)

Imagine que você é um chef tentando aprender uma nova culinária, mas só pode pagar para provar 20 pratos de um total de 1.000.

Degustação Aleatória: Você apenas escolhe 20 pratos ao acaso. Você pode perder os sabores mais importantes.
Degustação Inteligente (Aprendizado Ativo): Você pergunta ao seu computador: "Quais 20 pratos me ensinarão mais?"
- Amostragem de Incerteza: O computador diz: "Estou realmente confuso sobre estes pratos específicos. Vamos prová-los para que eu possa aprender".
- Desacordo de Comitê: Imagine um painel de chefs. Se todos concordam sobre um prato, você o pula. Se eles estão discutindo fervorosamente sobre um prato, você prova esse, porque ele contém um segredo sobre o qual eles não conseguem concordar.

O Resultado: Usando esta abordagem de "Provador Inteligente", os pesquisadores conseguiram construir um modelo altamente preciso usando apenas 20–25% dos dados que normalmente precisariam. Eles economizaram uma quantidade massiva de dinheiro e tempo.

Truque B: A "Máquina de Imaginação" (Aprendizado Generativo)

Imagine que você tem apenas 10 fotos de uma paisagem, mas precisa treinar um robô para reconhecer todo o terreno.

A Solução: Você usa uma "Máquina de Imaginação" (IA Generativa) para criar 20 novas fotos falsas que parecem exatamente com as reais. Estas não são fotos reais, mas seguem as mesmas regras (as nuvens estão no lugar certo, as árvores parecem reais).
Os pesquisadores usaram dois tipos de imaginações:
- Gaussian Copula: Uma máquina estatística que entende como as variáveis se relacionam (ex: "Se o bolo é maior, geralmente leva mais tempo").
- CTGAN: Uma rede neural mais complexa que pode lidar com dados bagunçados e misturados.

O Resultado: Essas máquinas criaram dados "sintéticos" que ajudaram o modelo a aprender mais rápido. No entanto, o artigo observa que, às vezes, inventar dados pode introduzir um pouco de "ruído" ou confusão, então o "Provador Inteligente" (Aprendizado Ativo) foi frequentemente o método mais confiável.

4. As Duas Grandes Perguntas Que Eles Responderam

Os pesquisadores testaram sua bola de cristal em duas perguntas específicas que os cientistas fazem todos os dias:

A Pergunta da "Rota Mais Rápida" (Pergunta do Tempo Mais Curto):
- Pergunta: "Tenho um grande problema. Quais configurações me darão o resultado no menor tempo possível?"
- Resposta: O modelo identificou com sucesso as configurações mais rápidas, sugerindo frequentemente o uso de mais computadores (nós) para acelerar as coisas, mesmo que isso custe mais dinheiro.
A Pergunta do "Orçamento" (Pergunta do Orçamento):
- Pergunta: "Eu só tenho US$ 500 de tempo de computador. Quais problemas eu realmente consigo resolver?"
- Resposta: O modelo encontrou com sucesso configurações que cabiam no orçamento, sugerindo frequentemente o uso de menos computadores para esticar o dinheiro ao máximo, mesmo que leve um pouco mais de tempo.

5. O Veredito Final

O artigo conclui que, ao usar esses truques de Machine Learning, os cientistas não precisam perder tempo e dinheiro adivinhando como executar seus trabalhos de supercomputador.

Se eles têm muitos dados, um modelo simples de "Gradient Boosting" funciona perfeitamente.
Se eles têm muito poucos dados, o "Provador Inteligente" (Aprendizado Ativo) pode ensinar o computador com apenas uma fração dos experimentos usuais.

Em resumo, eles construíram uma ferramenta que ajuda os cientistas a pararem de adivinhar e começarem a saber, poupando o mundo da supercomputação de queimar seus "bolos" e desperdiçar seus "fornos".

Resumo Técnico: Predição de Parâmetros de Tempo de Execução de Aplicações de Química Paralela via Aprendizado Ativo e Generativo

Definição do Problema
Cálculos de estrutura eletrônica em larga escala, especificamente o Coupled-Cluster with Singles and Doubles (CCSD), impõem demandas computacionais significativas aos sistemas de supercomputação. O tempo de execução dessas aplicações massivamente paralelas depende de interações complexas entre o tamanho do problema (número de orbitais moleculares), a arquitetura de hardware alvo e as configurações de tempo de execução, como o número de nós e o tamanho do tile. Identificar configurações ideais por meio de tentativa e erro é impraticável devido ao alto custo de horas-nó desperdiçadas sob alocações de recursos limitadas. Embora existam leis de escalonamento teóricas e heurísticas empíricas, elas frequentemente falham em prever tempos de execução ou configurações ideais com precisão devido ao overhead de comunicação, desequilíbrio de carga e efeitos de hardware heterogêneo. O artigo aborda a necessidade de modelos de predição de tempo de execução precisos para auxiliar os usuários em dois cenários principais de tomada de decisão: a Questão do Menor Tempo (STQ - Shortest-Time Question), que busca a configuração que minimiza o tempo de execução para um dado tamanho de problema, e a Questão do Orçamento (BQ - Budget Question), que identifica configurações que aderem a restrições de recursos específicas (ex: horas-nó ou limites de tempo). Um desafio crítico é a escassez de dados históricos de tempo de execução, pois coletar medições suficientes a partir de execuções caras em supercomputadores é frequentemente inviável.

Metodologia
Os autores propõem um framework de aprendizado de máquina que combina aprendizado supervisionado com estratégias de aprendizado ativo e generativo para lidar com a escassez de dados.

Aprendizado Supervisionado de Base: O estudo avalia uma suíte de modelos de regressão, incluindo Regressão Polinomial, Regressão de Vetores de Suporte (Kernel Ridge Regression), Árvores de Decisão, Florestas Aleatórias (Random Forests), Árvores de Gradient Boosting (GB), Árvores de Ada Boosting, Processos Gaussianos (GPs), Regressão de Bayesian Ridge e Regressão de Vetores de Suporte. O ajuste de hiperparâmetros é realizado utilizando Grid Search, Random Search e Otimização Bayesiana. Os modelos são treinados em dados de tempo de execução coletados de execuções de CCSD em três supercomputadores do Departamento de Energia (DOE): Aurora (ALCF), Frontier (OLCF) e Perlmutter (NERSC).
Aprendizado Ativo: Para mitigar a falta de grandes conjuntos de dados de treinamento, os autores empregam aprendizado ativo para selecionar as configurações mais informativas para testes. Duas estratégias de consulta são implementadas:
- Amostragem de Incerteza (US): Utiliza um modelo de Processo Gaussiano para consultar pontos de dados onde a incerteza da predição do modelo (variância) é mais alta.
- Consulta por Comitê (QC): Utiliza um conjunto (ensemble) de modelos de Gradient Boosting para consultar pontos onde os membros do comitê apresentam maior discordância.
  O processo adiciona iterativamente esses pontos selecionados ao conjunto de treinamento para melhorar a precisão do modelo com menos amostras rotuladas.
Aprendizado Generativo: Para aumentar ainda mais os conjuntos de dados esparsos, os autores utilizam modelos generativos para sintetizar pontos de dados plausíveis que preservam as propriedades estatísticas dos dados originais. Dois sintetizadores são comparados:
- Copula Gaussiana: Um método estatístico que modela dependências de variáveis transformando os dados em um espaço Gaussiano.
- Redes Adversárias Generativas Tabulares Condicionais (CTGAN): Uma abordagem de aprendizado profundo projetada para dados tabulares de tipos mistos, capaz de lidar com variáveis discretas e contínuas e distribuições desbalanceadas.

Principais Contribuições

Desenvolvimento de Modelos Preditivos de Alto Desempenho: O estudo implementa e avalia uma suíte abrangente de modelos de ML para prever parâmetros de tempo de execução de CCSD. Identifica o Gradient Boosting como o preditor mais preciso e robusto em todas as três plataformas de supercomputação testadas, alcançando altos escores de $R^2$ e baixo Erro Médio Percentual Absoluto (MAPE) quando há dados suficientes.
Integração de Aprendizado Ativo e Generativo: O artigo demonstra a eficácia do uso de aprendizado ativo e generativo para superar a escassez de dados. Mostra que modelos de predição de tempo de execução precisos podem ser treinados usando apenas 20–25% do tamanho do conjunto de dados original, selecionando estrategicamente amostras informativas ou aumentando os dados com pontos sintéticos.
Avaliação Abrangente Multiplataforma: O framework é rigorosamente avaliado utilizando dados de desempenho reais de três supercomputadores de elite do DOE (Aurora, Frontier, Perlmutter), abordando tanto os objetivos de STQ quanto de BQ.

Resultados

Desempenho de Base: Nos conjuntos de dados completos, o modelo de Gradient Boosting alcançou precisão excepcional. Para o STQ no Aurora, atingiu um MAPE de 0,023 e um $R^2$ de 0,999. Para o BQ, atingiu um MAPE de 0,12 e um $R^2$ de 0,979. Desempenhos altos similares foram observados no Frontier e Perlmutter.
Eficiência do Aprendizado Ativo: Usando aprendizado ativo, os modelos atingiram um MAPE de aproximadamente 0,2 com apenas 20–25% do conjunto de dados original. Especificamente, no Aurora, um MAPE de 0,2 foi alcançado com 450 pontos de dados (25% do dataset), melhorando para 0,1 com cerca de 550 pontos. A estratégia de Amostragem de Incerteza (US) geralmente superou a Consulta por Comitê (QC) no Aurora, enquanto a QC teve melhor desempenho no Frontier e Perlmutter para certos objetivos.
Impacto do Aprendizado Generativo: O aprendizado generativo mostrou melhorias modestas no desempenho, particularmente para o MAPE, quando dados sintéticos foram adicionados. No entanto, os autores observam que dados sintéticos podem introduzir instabilidade no aprendizado, especialmente com conjuntos de dados base menores. O sintetizador de Copula Gaussiana foi significativamente mais rápido para ajustar do que o CTGAN (aprox. 160x), embora os tempos de amostragem fossem comparáveis.
Análise Estatística: O estudo analisou a média, variância e desvio padrão dos tempos de execução em lotes selecionados. As estratégias de aprendizado ativo (US e QC) foram encontradas selecionando inicialmente configurações com tempos de execução mais altos e maior variância (onde a incerteza do modelo ou a discordância é maior) antes de convergirem para lotes mais homogêneos e de menor tempo de execução conforme o modelo aprendia.

Significância
O artigo afirma que sua abordagem fornece um framework prático para reduzir o fardo da seleção de parâmetros em simulações de química quântica de larga escala. Ao permitir predições de tempo de execução precisas com significativamente menos execuções caras em supercomputadores, a metodologia facilita o uso mais eficiente de recursos, o ajuste mais rápido de configurações e a melhoria na tomada de decisão do usuário em relação aos orçamentos computacionais. O trabalho destaca que, embora o aprendizado supervisionado tradicional seja altamente eficaz com dados abundantes, as estratégias de aprendizado ativo e generativo são alternativas viáveis para cenários onde a coleta de dados é limitada pelo custo e pelo tempo.