Enabling stable preservation of ML algorithms in high-energy physics with petrifyML

Questo articolo presenta il pacchetto petrifyML, uno strumento progettato per garantire la conservazione stabile e la riproducibilità futura degli algoritmi di machine learning per la fisica delle alte energie convertendo le loro configurazioni nel formato standard di settore ONNX o in codice nativo Python e C++.

L'essenziale

Immagina di essere uno chef che ha creato una ricetta rivoluzionaria per un piatto che aiuta gli scienziati a comprendere l'universo. Hai scritto la ricetta in un quaderno molto specifico e complesso, leggibile solo dal tuo attuale personale di cucina (una specifica versione di software).

Ora, immagina che tra 10 o 20 anni la cucina cambi. Il personale se ne va, il software si aggiorna e quel quaderno specifico diventa un incomprensibile nonsense. Se qualcun altro vuole cucinare quel piatto per verificare i tuoi risultati, non può. Ha perso la ricetta.

Questo è il problema che gli scienziati della Fisica delle Alte Energie (HEP) affrontano con l'Apprendimento Automatico (Machine Learning - ML). Utilizzano complesse "ricette" (algoritmi) per analizzare i dati provenienti dai collider di particelle. Per lungo tempo, queste ricette erano solo strumenti interni. Ma ora, le ricette sono i risultati. Se le ricette non potranno essere lette in futuro, la scienza non potrà essere verificata.

Entra in scena petrifyML.

Che cos'è petrifyML?

Pensa a petrifyML come a una macchina magica traduttrice e capsula del tempo. Il suo compito è prendere quelle ricette complesse, fragili e specifiche per software e trasformarle in due cose:

1. Un Linguaggio Universale (ONNX): È come tradurre la tua ricetta in un formato che ogni cucina al mondo, passata, presente e futura, accetta di comprendere. È il "PDF" del mondo dell'apprendimento automatico.
2. Lingua Piana (Codice Nativo): Può anche riscrivere la ricetta in istruzioni semplici e leggibili dall'uomo (codice C++ o Python) che non richiedono alcun software speciale per essere eseguite. È come scrivere la ricetta su un foglio di carta che chiunque può leggere, anche se non possiede un computer.

Come funziona?

Il documento spiega che gli scienziati utilizzano attualmente diversi "attrezzi da cucina" (pacchetti software come TMVA, scikit-learn, lwtnn) per addestrare i loro modelli. Questi strumenti spesso parlano dialetti diversi o si affidano a attrezzature pesanti e complicate che potrebbero scomparire in futuro.

petrifyML agisce come un ponte:

• Il Traduttore: Prende un modello addestrato con uno di questi strumenti specifici e lo converte nel formato universale ONNX. Questo garantisce che, anche se lo strumento originale scompare, il modello possa ancora essere "cucinato" (eseguito) utilizzando strumenti standard e moderni.
• Lo Scriba: Per modelli più semplici (come gli Alberi Decisionali Potenziati), non si limita a tradurre; riscrive l'intera logica in codice testuale semplice. È come prendere un orologio meccanico complesso e disegnare su carta ogni singolo ingranaggio e molla. Non hai più bisogno dell'orologio; ti serve solo il disegno per ricostruirlo. Questo garantisce che il modello funzioni esattamente allo stesso modo per sempre, senza bisogno di aggiornamenti software specifici.

Perché è importante?

Il documento evidenzia alcuni vantaggi chiave:

• Niente più "Funziona sulla mia macchina": Di solito, se provi a eseguire un vecchio modello su un nuovo computer, si rompe perché le versioni del software non corrispondono. petrifyML elimina questa dipendenza.
• Protezione dal Futuro: Convertendo i modelli in ONNX o in codice semplice, gli scienziati assicurano che il loro lavoro possa essere reinterpretato tra decenni. È come conservare un documento non su un floppy disk (che potrebbe decomporsi), ma su carta acida o su uno standard digitale universale.
• Efficienza: Il documento ha testato questo strumento e ha rilevato che funziona velocemente e non utilizza molta memoria del computer. I file convertiti sono spesso più piccoli degli originali, rendendoli facili da archiviare e condividere.

Il controllo di "Validazione"

Gli autori tengono a precisare: "Non basta darti la ricetta tradotta; dobbiamo assicurarci che abbia lo stesso sapore".
Quindi, petrifyML include un "test del gusto" integrato. Quando converte un modello, genera automaticamente uno script che esegue la nuova versione e la confronta con quella vecchia per garantire che producano esattamente gli stessi risultati. Se c'è anche una minima differenza, l'utente sa che qualcosa è andato storto.

In Sintesi

petrifyML è uno strumento progettato per salvare le "ricette" della fisica delle particelle dall'essere perse nel tempo. Prende modelli complessi di apprendimento automatico dipendenti dal software e li trasforma in un formato standard universale o in codice semplice e leggibile dall'uomo. Questo garantisce che le scoperte scientifiche fatte oggi possano essere verificate, comprese e fidate dagli scienziati tra 50 anni, indipendentemente dalla tecnologia esistente in quel momento.

Sommario tecnico

Riepilogo Tecnico: Abilitare la Conservazione Stabile degli Algoritmi di ML nella Fisica delle Alte Energie con petrifyML

Enunciato del Problema
L'apprendimento automatico (ML) nella Fisica delle Alte Energie (HEP) è evoluto da uno strumento interno per calibrazione e ricostruzione a un componente centrale, non parametrico, dell'analisi dei dati fisici. Sebbene questo spostamento aumenti la sensibilità verso nuovi modelli di fisica, introduce sfide significative per la riproducibilità scientifica. Gli attuali algoritmi ML sono tipicamente addestrati e distribuiti utilizzando strumenti basati su Python (ad es. TMVA, scikit-learn, lwtnn) che soffrono di instabilità delle versioni, dipendenze pesanti (in particolare il framework ROOT) e incompatibilità di formato.

Le strategie di conservazione esistenti presentano limitazioni:

• File Pickle/Joblib: Altamente dipendenti dalla versione e instabili nel tempo; non adatti alla conservazione a lungo termine senza una completa containerizzazione.
• Formato ONNX: Sebbene sia uno standard industriale, molti strumenti specifici per HEP (TMVA, lwtnn, MVAUtils) non supportano nativamente la conversione in ONNX. Inoltre, la stabilità a lungo termine degli ambienti di esecuzione ONNX non è garantita senza una ingombrante containerizzazione.
• Codice Nativo: La conversione in codice C++ o Python leggibile dall'uomo elimina le dipendenze, ma è spesso limitata a modelli piccoli a causa dei vincoli di dimensione del file.

Esiste un vuoto critico nella "catena di conservazione degli algoritmi" per convertire configurazioni ML specifiche per HEP in formati stabili, privi di dipendenze o standard industriali.

Metodologia
Gli autori presentano petrifyML, un pacchetto Python e un insieme di strumenti da riga di comando progettati per colmare questo vuoto. Lo strumento converte configurazioni ML da framework HEP comuni nel formato ONNX o in codice nativo C++/Python.

Il pacchetto è modulare, con dipendenze installate tramite pip in base al compito di conversione specifico:

1. Alberi Decisionali Boostati (BDT):
   • scikit-learn: Converte file .pkl o .job in codice nativo C++ e Python.
   • TMVA: Converte file XML (i file ROOT non sono supportati direttamente per questa conversione) in codice nativo C++ e Python.
   • MVAUtils: Converte file MVAUtils basati su ROOT (originati da xgboost o lgbm) in ONNX. Ciò utilizza la libreria uproot per analizzare i file senza richiedere un'installazione completa di ROOT.
2. Reti Neurali (NN):
   • TMVA (MLP): Legge file XML TMVA, ricostruisce l'architettura e i pesi in TensorFlow/Keras ed esporta in ONNX utilizzando tf2onnx.
   • lwtnn: Converte file JSON lightweightneuralnetwork (utilizzati nei trigger di ATLAS) in ONNX. Attualmente supporta un sottoinsieme di tipi di layer (Dense, Normalization, Softmax) e funzioni di attivazione (Relu, Sigmoid, Elu, Tanh).

Caratteristiche Chiave e Validazione

• Mantenimento dei Metadati: petrifyML tenta di preservare le impostazioni di addestramento e i parametri di normalizzazione, sebbene limitato dalle capacità dei formati di input/output.
• Script di Validazione: Lo strumento genera opzionalmente script di validazione che confrontano l'output del modello convertito con l'implementazione originale utilizzando input generati casualmente (scalati in base alle statistiche del valore di taglio del modello).
• Controllo delle Versioni: Per le conversioni ONNX, gli utenti possono specificare --opset e --ir-version per garantire la compatibilità con versioni specifiche di OnnxRuntime, affrontando potenziali problemi legati all'evoluzione rapida degli standard ONNX.
• Generazione di Codice Nativo: Per i BDT, lo strumento genera codice C++ o Python leggibile dall'uomo e privo di dipendenze, garantendo "prestazioni verbatim in perpetuità" per modelli più piccoli.

Risultati e Benchmarking
Gli autori hanno sottoposto petrifyML a benchmark su una suite di 1.230 modelli (inclusi modelli lwtnn, MVAUtils, scikit-learn e TMVA) utilizzando una CPU Intel Core i7-14700.

• Prestazioni di Conversione:

  • Utilizzo della Memoria: Varia da pochi MB per le conversioni lwtnn/ONNX a circa 3,5 GB per grandi foreste xgboost MVAUtils (125.000 alberi). La maggior parte delle conversioni richiede meno di 200 MB.
  • Tempo: I tempi di conversione variano significativamente. Da lwtnn a ONNX richiede circa 0,04 secondi, mentre grandi foreste xgboost MVAUtils possono richiedere più di 4 minuti. Le conversioni successive nello stesso ambiente sono significativamente più veloci grazie alla cache delle importazioni dei moduli.
  • Dimensione del File: I file convertiti sono generalmente compatti. I file ONNX sono fino all'80% più piccoli degli originali (tranne che per file MVAUtils altamente ottimizzati, che possono aumentare di dimensione di un fattore 3). I file C++/Python nativi per BDT TMVA variano da 5.000 a 41.000 righe, ma rimangono più efficienti in termini di spazio rispetto ai formati XML originali.

• Prestazioni di Inferenza:

  • Accuratezza: I modelli ONNX convertiti mostrano errori di output relativi inferiori a $10^{-6}$ rispetto agli originali. Le conversioni in codice nativo concordano perfettamente.
  • Memoria: L'inferenza richiede generalmente <100 MB. I BDT C++ nativi sono significativamente più efficienti in termini di memoria rispetto alle implementazioni Python o originali.
  • Velocità: I tempi di inferenza sono generalmente bassi (<0,1s). L'inferenza C++ nativa per BDT è spesso più veloce del modello originale, mentre l'inferenza Python è più lenta. La differenza di velocità relativa è considerata trascurabile data la velocità assoluta di tutti i metodi.

Significato e Affermazioni
Il paper posiziona petrifyML non come sostituto dei metodi di esportazione nativa quando tutte le informazioni sono disponibili, ma come soluzione necessaria per la conservazione dei modelli dove l'esportazione nativa è impossibile o dove l'ambiente di addestramento originale è andato perso.

• Riproducibilità: Lo strumento abilita la conservazione a lungo termine degli algoritmi ML HEP convertendoli in formati (ONNX o codice nativo) meno dipendenti da versioni specifiche di toolkit o dal pesante framework ROOT.
• Accessibilità: Convertendo formati specifici per HEP (come JSON lwtnn o XML TMVA) in ONNX, lo strumento permette a questi modelli di essere utilizzati in Python e da framework di reinterpretazione (ad es. Rivet, CheckMATE2) che potrebbero non supportare le librerie originali specifiche per HEP.
• Praticità: Gli autori affermano che lo strumento affronta con successo il "problema insormontabile" della dipendenza da ROOT per molti strumenti di reinterpretazione e fornisce un'alternativa leggera per conservare grandi foreste BDT che sarebbero poco pratiche da archiviare come codice in testo semplice.

Il paper conclude che petrifyML è un passo pratico verso le "Linee guida di Les Houches sulla ML reinterpretabile", fornendo un meccanismo per garantire che gli studi sperimentali basati su ML rimangano interpretabili e riproducibili a lungo termine.