🤖 machine learning

Prediction of Runtime Parameters of Parallel Chemistry Applications via Active and Generative Learning

Questo articolo presenta un framework di apprendimento automatico che combina l'apprendimento attivo e generativo con alberi di regressione potenziati dal gradiente per prevedere accuratamente i parametri di tempo di esecuzione per computazioni chimiche parallele scalabili, raggiungendo una precisione quasi perfetta e mantenendo alte prestazioni anche con dati di addestramento significativamente ridotti.

Autori originali: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Pubblicato 2026-06-16

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Tanzila Tabassum, Omer Subasi, Ajay Panyala, Epiya Ebiapia, Gerald Baumgartner, Erdal Mutlu, P Sadayappan, Karol Kowalski

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di preparare la torta perfetta, ma non hai una ricetta. Sai che il tempo necessario per cuocere la torta dipende da tre cose: quanto è grande la torta (dimensione del problema), quanti forni utilizzi (numero di nodi) e come disponi l'impasto nelle teglie (dimensione del tile).

Se sbagli le previsioni, potresti bruciare la torta o sprecare ore di tempo al forno. Nel mondo dei supercomputer, "bruciare la torta" significa sprecare milioni di dollari in elettricità e tempo di calcolo. Questo articolo parla di come insegnare a un computer a diventare un mastro pasticciere capace di prevedere esattamente quanto tempo ci vorrà per "cuocere una torta" (un complesso calcolo chimico chiamato CCSD), in modo che gli scienziati non debbano tirare a indovinare.

Ecco la storia di come ci sono riusciti, usando semplici analogie:

1. Il Problema: Il gioco costoso delle ipotesi

I supercomputer sono come cucine enormi e tecnologicamente avanzate. Gli scienziati li usano per simulare l'interazione tra le molecole. Ma queste simulazioni sono incredibilmente costose da eseguire.

Il Dilemma: Prima di iniziare una simulazione, uno scienziato deve scegliere le impostazioni. Se sceglie le impostazioni sbagliate, il computer potrebbe girare per 10 ore quando avrebbe potuto finire in 2.
L'Obiettivo: I ricercatori volevano costruire una "palla di cristallo" (un modello di Machine Learning) che potesse guardare un problema e dire: "Se usi 50 forni e questa specifica disposizione, ci vorranno esattamente 42 minuti".

2. La Palla di Cristallo: Testare diversi "Veggenti"

Il team ha provato molti diversi tipi di "veggenti" (algoritmi di Machine Learning) per vedere quale fosse il migliore nel prevedere il tempo. Hanno testato cose come:

Regressione Polinomiale: Come cercare di disegnare una curva morbida attraverso alcuni punti sparsi.
Alberi di Decisione: Come un diagramma di flusso di domande del tipo "se accade questo, allora accade quello".
Gradient Boosting: Questo è il vincitore. Immagina una squadra di detective. Il primo detective fa un tentativo. Il secondo detective guarda dove il primo ha sbagliato e cerca di correggerlo. Il terzo detective corregge gli errori del secondo, e così via. Alla fine, la squadra è incredibilmente accurata.

Il Risultato: La squadra "Gradient Boosting" è stata la migliore. Quando avevano molti dati storici (come un intero libro di ricette di tempi di cottura passati), erano quasi perfetti, prevedendo il tempo con un'accuratezza del 99,9%.

3. La Sfida: E se non hai un libro di ricette?

Ecco il problema: il tempo di calcolo dei supercomputer è così costoso che gli scienziati spesso non hanno abbastanza dati passati per addestrare un modello perfetto. Potrebbero avere solo poche ricette (punti dati) ma devono cuocere mille torte diverse.

Per risolvere questo, i ricercatori hanno usato due trucchi astuti:

Trucco A: Il "Sommelier Intelligente" (Active Learning)

Immagina di essere uno chef che sta cercando di imparare una nuova cucina, ma puoi permetterti di assaggiare solo 20 piatti su 1.000.

Assaggio Casuale: Scegli 20 piatti a caso. Potresti perdere i sapori più importanti.
Assaggio Intelligente (Active Learning): Chiedi al tuo computer: "Quali 2:{?} 20 piatti mi insegneranno di più?".
- Campionamento dell'Incertezza: Il computer dice: "Sono davvero confuso riguardo a questi specifici piatti. Assaggiamoli così posso imparare".
- Disaccordo della Commissione: Immagina una giuria di chef. Se sono tutti d'accordo su un piatto, lo saltano. Se stanno discutendo animatamente su un piatto, assaggiano quello perché contiene un segreto su cui non riescono a mettersi d'accordo.

Il Risultato: Usando questo approccio da "Sommelier Intelligente", i ricercatori sono riusciti a costruire un modello altamente accurato utilizzando solo il 20-25% dei dati che avrebbero normalmente richiesto. Hanno risparmiato una quantità enorme di denaro e tempo.

Trucco B: La "Macchina dell'Immaginazione" (Generative Learning)

Immagina di avere solo 10 foto di un paesaggio, ma devi addestrare un robot a riconoscere l'intero terreno.

La Soluzione: Usi una "Macchina dell'Immaginazione" (IA Generativa) per creare 20 nuove foto false che sembrano esattamente quelle reali. Queste non sono foto vere, ma seguono le stesse regole (le nuvole sono al posto giusto, gli alberi sembrano reali).
I ricercatori hanno usato due tipi di immaginazione:
- Gaussian Copula: Una macchina statistica che capisce come le variabili si relazionano (ad esempio, "se la torta è più grande, di solito richiede più tempo").
- CTGAN: Una rete neurale più complessa che può gestire dati disordinati e misti.

Il Risultato: Queste macchine hanno creato dati "sintetici" che hanno aiutato il modello a imparare più velocemente. Tuttavia, l'articolo nota che a volte creare dati può introdurre un po' di "rumore" o confusione, quindi il "Sommelier Intelligente" (Active Learning) è stato spesso il metodo più affidabile.

4. Le Due Grandi Domande a cui Hanno Risposto

I ricercatori hanno testato la loro palla di cristallo su due domande specifiche che gli scienziati pongono ogni giorno:

La Domanda della "Rotta più Veloce" (Domanda del Tempo Minimo):
- Domanda: "Ho un grosso problema. Quali impostazioni mi daranno il risultato nel minor tempo possibile?"
- Risposta: Il modello ha identificato con successo le impostazioni più veloci, suggerendo spesso di utilizzare più computer (nodi) per velocizzare le cose, anche se ciò costa di più.
La Domanda del "Budget" (Domanda del Budget):
- Domanda: "Ho solo 500 dollari di tempo di calcolo. Quali problemi posso effettivamente risolvere?"
- Risposta: Il modello ha trovato con successo le impostazioni che rientravano nel budget, suggerendo spesso di utilizzare meno computer per far rendere al meglio il denaro, anche se ciò richiede un po' più di tempo.

5. Il Verdetto Finale

L'articolo conclude che, utilizzando questi trucchi di Machine Learning, gli scienziati non devono perdere tempo e denaro a indovinare come eseguire i loro lavori sui supercomputer.

Se hanno molti dati, un semplice modello "Gradient Boosting" funziona perfettamente.
Se hanno pochissimi dati, il "Sommelier Intelligente" (Active Learning) può istruire il computer con solo una frazione degli esperimenti usuali.

In breve, hanno costruito uno strumento che aiuta gli scienziati a smettere di tirare a indovinare e iniziare a sapere, salvando il mondo del supercalcolo dal bruciare le proprie "torte" e dallo sprecare i propri "forni".

Sintesi Tecnica: Predizione dei Parametri di Runtime di Applicazioni Chimiche Parallele tramite Apprendimento Attivo e Generativo

Definizione del Problema
I calcoli della struttura elettronica su larga scala, specificamente il metodo Coupled-Cluster with Singles and Doubles (CCSD), impongono carichi computazionali significativi sui sistemi di supercalcolo. Il tempo di esecuzione di queste applicazioni massivamente parallele dipende da complesse interazioni tra la dimensione del problema (numero di orbitali molecolari), l'architettura hardware di destinazione e le impostazioni di runtime, come il numero di nodi e la dimensione dei tile (tile size). Identificare le configurazioni ottimali tramite tentativi ed errori è impraticabile a causa dell'elevato costo di ore-nodo sprecate sotto allocazioni di risorse limitate. Sebbene esistano leggi di scaling teoriche ed euristiche empiriche, esse spesso non riescono a predire accuratamente i runtime effettivi o le configurazioni ottimali a causa dell'overhead di comunicazione, del disequilibrio del carico (load imbalance) ed effetti hardware eterogenei. Il documento affronta la necessità di modelli di predizione del runtime accurati per assistere gli utenti in due scenari decisionali primari: la Domanda del Tempo Minimo (Shortest-Time Question, STQ), che cerca la configurazione che minimizza il tempo di esecuzione per una data dimensione del problema, e la Domanda di Budget (Budget Question, BQ), che identifica le configurazioni conformi a specifici vincoli di risorse (ad esempio, ore-nodo o limiti di tempo). Una sfida critica è la scarsità di dati storici sul runtime, poiché la raccolta di misurazioni sufficienti da costose esecuzioni su supercomputer è spesso impraticabile.

Metodologia
Gli autori propongono un framework di machine learning che combina l'apprendimento supervisionato con strategie di apprendimento attivo e generativo per affrontare la scarsità di dati.

Apprendimento Supervisionato di Base: Lo studio valuta una serie di modelli di regressione, tra cui Regressione Polinomiale, Regressione Kernel Ridge, Alberi di Decisione, Random Forest, Gradient Boosted Trees (GB), Ada Boosting Trees, Processi Gaussiani (GP), Regressione Ridge Bayesiana e Support Vector Regression. La sintonizzazione degli iperparametri viene eseguita utilizzando Grid Search, Random Search e Ottimizzazione Bayesiana. I modelli sono addestrati su dati di runtime raccolti da esecuzioni CCSD su tre supercomputer del Dipartimento dell'Energia (DOE): Aurora (ALCF), Frontier (OLCF) e Perlmutter (NERSC).
Apprendimento Attivo (Active Learning): Per mitigare la mancanza di grandi dataset di addestramento, gli autori impiegano l'apprendimento attivo per selezionare le configurazioni più informative per i test. Due strategie di interrogazione (query) sono implementate:
- Campionamento dell'Incertezza (Uncertainty Sampling, US): Utilizza un modello di Processo Gaussiano per interrogare i punti dati dove l'incertezza della predizione del modello (varianza) è massima.
- Query-by-Committee (QC): Utilizza un ensemble di modelli di Gradient Boosting per interrogare i punti in cui i membri del comitato mostrano il maggior disaccordo.
  Il processo aggiunge iterativamente questi punti selezionati al set di addestramento per migliorare l'accuratezza del modello con meno campioni etichettati.
Apprendimento Generativo (Generative Learning): Per aumentare ulteriormente i dataset scarsi, gli autori utilizzano modelli generativi per sintetizzare punti dati plausibili che preservino le proprietà statistiche dei dati originali. Due sintetizzatori vengono confrontati:
- Copula Gaussiana: Un metodo statistico che modella le dipendenze tra variabili trasformando i dati in uno spazio Gaussiano.
- Conditional Tabular Generative Adversarial Networks (CTGAN): Un approccio di deep learning progettato per dati tabulari di tipo misto, capace di gestire variabili discrete e continue e distribuzioni sbilanciate.

Contributi Chiave

Sviluppo di Modelli Predittivi ad Alte Prestazioni: Lo studio implementa e valuta una suite completa di modelli ML per predire i parametri di runtime CCSD. Identifica il Gradient Boosting come il predittore più accurato e robusto su tutte e tre le piattaforme supercomputing testate, raggiungendo alti punteggi $R^2$ e un basso Mean Absolute Percentage Error (MAPE) quando sono disponibili dati sufficienti.
Integrazione di Apprendimento Attivo e Generativo: Il documento dimostra l'efficacia dell'uso dell'apprendimento attivo e generativo per superare la scarsità di dati. Dimostra che modelli accurati di predizione del runtime possono essere addestrati utilizzando solo il 20-25% della dimensione del dataset originale, selezionando strategicamente campioni informativi o aumentando i dati con punti sintetici.
Valutazione Cross-Platform Completa: Il framework è rigorosamente valutato utilizzando dati di performance reali da tre supercomputer del DOE (Aurora, Frontier, Perlmutter), affrontando sia gli obiettivi STQ che BQ.

Risultati

Prestazioni di Base: Sui dataset completi, il modello di Gradient Boosting ha raggiunto un'accuratezza eccezionale. Per la STQ su Aurora, ha raggiunto un MAPE di 0,023 e un $R^2$ di 0,999. Per la BQ, ha raggiunto un MAPE di 0,12 e un $R^2$ di 0,979. Prestazioni elevate simili sono state osservate su Frontier e Perlmutter.
Efficienza dell'Apprendimento Attivo: Utilizzando l'apprendimento attivo, i modelli hanno raggiunto un MAPE di circa 0,2 con solo il 20-25% del dataset originale. Nello specifico, su Aurora, è stato raggiunto un MAPE di 0,2 con 450 punti dati (25% del dataset), migliorando a 0,1 con circa 550 punti. La strategia di Uncertainty Sampling ha generalmente superato la Query-by-Committee su Aurora, mentre la QC ha performato meglio su Frontier e Perlmutter per determinati obiettivi.
Impatto dell'Apprendimento Generativo: L'apprendimento generativo ha mostrato miglioramenti modesti nelle prestazioni, in particolare per il MAPE, quando venivano aggiunti dati sintetici. Tuttavia, gli autori notano che i dati sintetici possono introdurre instabilità nell'apprendimento, specialmente con dataset di base più piccoli. Il sintetizzatore Gaussian Copula è stato significativamente più veloce da adattare rispetto a CTGAN (circa 160 volte), sebbene i tempi di campionamento fossero comparabili.
Analisi Statistica: Lo studio ha analizzato la media, la varianza e la deviazione standard dei runtime in batch selezionati. Le strategie di apprendimento attivo (US e QC) hanno selezionato inizialmente configurazioni con runtime più elevati e maggiore varianza (dove l'incertezza del modello o il disaccordo è massimo) prima di convergere verso batch più omogenei e con runtime inferiori man mano che il modello apprendeva.

Significatività
Il documento sostiene che il suo approccio fornisce un framework pratico per ridurre l'onere della selezione dei parametri nelle simulazioni di chimica quantistica su larga scala. Consentendo predizioni accurate del runtime con significativamente meno esecuzioni costose su supercomputer, la metodologia facilita un uso più efficiente delle risorse, una regolazione più rapida delle configurazioni e un migliore processo decisionale per l'utente riguardo ai budget computazionali. Il lavoro evidenzia come, mentre l'apprendimento supervisionato tradizionale sia altamente efficace con dati abbondanti, le strategie di apprendimento attivo e generativo rappresentino alternative valide per scenari in cui la raccolta dei dati è limitata dai costi e dai tempi.