Enabling stable preservation of ML algorithms in high-energy physics with petrifyML

Dit artikel introduceert het petrifyML-pakket, een hulpmiddel dat is ontworpen om de stabiele bewaring en toekomstige reproduceerbaarheid van machine learning-algoritmen voor de deeltjesfysica te waarborgen door hun configuraties om te zetten in het industriestandaardformaat ONNX of in native Python- en C++-code.

De kern

Stel je voor dat je een chef-kok bent die een revolutionair nieuw recept voor een gerecht heeft bedacht dat wetenschappers helpt het universum te begrijpen. Je hebt het recept opgeschreven in een zeer specifiek, complex notitieboek dat alleen je huidige keukenpersoneel (een specifieke softwareversie) kan lezen.

Stel je nu voor dat over 10 of 20 jaar de keuken verandert. Het personeel vertrekt, de software wordt bijgewerkt en dat specifieke notitieboek wordt onleesbaar onzin. Als iemand anders dat gerecht wil bereiden om je resultaten te verifiëren, kan dat niet. Ze zijn het recept kwijt.

Dit is het probleem waar wetenschappers in de Hoge-Energiefysica (HEP) mee te maken hebben met Machine Learning (ML). Ze gebruiken complexe "recepten" (algoritmen) om data deeltjesversnellers te analyseren. Lange tijd waren deze recepten alleen interne hulpmiddelen. Maar nu zijn de recepten de resultaten. Als de recepten in de toekomst niet meer kunnen worden gelezen, kan de wetenschap niet worden geverifieerd.

Maak kennis met petrifyML.

Wat is petrifyML?

Denk aan petrifyML als een magische vertaler en tijdcapsule-machine. De taak ervan is om die complexe, fragiele, software-specifieke recepten om te zetten in twee dingen:

1. Een Universele Taal (ONNX): Dit is alsof je je recept vertaalt naar een formaat dat elke keuken ter wereld, in het verleden, heden en toekomst, erover eens is dat ze het begrijpen. Het is de "PDF" van de wereld van machine learning.
2. Gewone Taal (Native Code): Het kan het recept ook herschrijven naar simpele, voor mensen leesbare instructies (C++ of Python-code) die geen speciale software nodig hebben om te draaien. Het is alsof je het recept op een stuk papier schrijft dat iedereen kan lezen, zelfs als ze geen computer hebben.

Hoe werkt het?

Het artikel legt uit dat wetenschappers momenteel verschillende "keukengereedschappen" (softwarepakketten zoals TMVA, scikit-learn, lwtnn) gebruiken om hun modellen te trainen. Deze gereedschappen spreken vaak verschillende dialecten of vertrouwen op zware, ingewikkelde apparatuur die in de toekomst misschien verdwijnt.

petrifyML fungeert als een brug:

• De Vertaler: Het neemt een model dat is getraind in een van deze specifieke gereedschappen en converteert het naar het universele ONNX-formaat. Dit zorgt ervoor dat, zelfs als het oorspronkelijke gereedschap verdwijnt, het model nog steeds kan worden "bereid" (uitgevoerd) met standaard, moderne gereedschappen.
• De Schrijver: Voor eenvoudigere modellen (zoals Boosted Decision Trees) vertaalt het niet alleen; het herschrijft de volledige logica naar platte tekstcode. Dit is alsof je een complex mechanisch uurwerk neemt en elk tandwiel en elke veer op papier uittekent. Je hebt het uurwerk niet meer nodig; je hebt alleen de tekening nodig om het opnieuw te bouwen. Dit garandeert dat het model voor altijd exact op dezelfde manier werkt, zonder dat er specifieke software-updates nodig zijn.

Waarom is dit belangrijk?

Het artikel benadrukt een paar belangrijke voordelen:

• Geen "Het Werkt Op Mijn Machine" Meer: Meestal, als je probeert een oud model op een nieuwe computer te draaien, gaat het kapot omdat de softwareversies niet overeenkomen. petrifyML verwijdert deze afhankelijkheid.
• Toekomstbestendig: Door modellen om te zetten naar ONNX of platte code, zorgen wetenschappers ervoor dat hun werk over decennia opnieuw kan worden geïnterpreteerd. Het is alsof je een document bewaart niet op een diskette (die kan rotten), maar op zuurvrij papier of een universeel digitaal standaardformaat.
• Efficiëntie: Het artikel heeft deze tool getest en ontdekt dat het snel werkt en weinig computergeheugen gebruikt. De geconverteerde bestanden zijn vaak kleiner dan de originele, waardoor ze makkelijk op te slaan en te delen zijn.

De "Validatie"-controle

De auteurs zeggen voorzichtig: "Gewoon je de vertaalde recept geven is niet genoeg; we moeten ervoor zorgen dat het even lekker smaakt."
Dus bevat petrifyML een ingebouwde "smaakttest". Wanneer het een model converteert, genereert het automatisch een script dat de nieuwe versie uitvoert en vergelijkt met de oude versie om ervoor te zorgen dat ze exact dezelfde resultaten opleveren. Als er zelfs maar een klein verschil is, weet de gebruiker dat er iets mis is gegaan.

Samenvatting

petrifyML is een tool die is ontworpen om de "recepten" van de deeltjesfysica te redden van verlies door de tijd. Het neemt complexe, software-afhankelijke machine learning-modellen en zet ze om naar ofwel een universeel standaardformaat ofwel simpele, voor mensen leesbare code. Dit zorgt ervoor dat de wetenschappelijke ontdekkingen die vandaag worden gedaan, over 50 jaar kunnen worden gecontroleerd, begrepen en vertrouwd door wetenschappers, ongeacht welke technologie er op dat moment bestaat.

Technische samenvatting

Technische Samenvatting: Het mogelijk maken van stabiele bewaring van ML-algoritmen in de Hoge-Energiefysica met petrifyML

Probleemstelling
Machine learning (ML) in de Hoge-Energiefysica (HEP) is geëvolueerd van een intern hulpmiddel voor kalibratie en reconstructie naar een centraal, niet-parametrisch onderdeel van de analyse van fysica-data. Hoewel deze verschuiving de gevoeligheid voor nieuwe fysica-modellen verbetert, introduceert het aanzienlijke uitdagingen voor de wetenschappelijke reproduceerbaarheid. Huidige ML-algoritmen worden doorgaans getraind en ingezet met Python-gebaseerde hulpmiddelen (bijvoorbeeld TMVA, scikit-learn, lwtnn) die te kampen hebben met versie-instabiliteit, zware afhankelijkheden (met name het ROOT-framework) en incompatibiliteit van bestandsformaten.

Bestaande bewaarstrategieën stuiten op beperkingen:

• Pickle/Joblib-bestanden: Zeer versie-afhankelijk en onstabiel in de tijd; niet geschikt voor langetermijnbewaring zonder volledige containerisatie.
• ONNX-formaat: Hoewel een industriestandaard, ondersteunen veel HEP-specifieke hulpmiddelen (TMVA, lwtnn, MVAUtils) geen native conversie naar ONNX. Bovendien is de langetermijnstabiliteit van ONNX-uitvoeringsomgevingen niet gegarandeerd zonder omvangrijke containerisatie.
• Native code: Het converteren naar menselijk leesbare C++ of Python verwijdert afhankelijkheden, maar is vaak beperkt tot kleine modellen vanwege beperkingen in bestandsomvang.

Er is een kritiek gat in de "keten van algoritmebewaring" voor het converteren van HEP-specifieke ML-configuraties naar stabiele, afhankelijkheidsvrije of industriestandaardformaten.

Methodologie
De auteurs presenteren petrifyML, een Python-pakket en commandoregel-hulpmiddelenset die is ontworpen om dit gat te overbruggen. Het hulpmiddel converteert ML-configuraties van veelvoorkomende HEP-frameworks naar het ONNX-formaat of naar native C++/Python-code.

Het pakket is modulair, met afhankelijkheden die via pip worden geïnstalleerd op basis van de specifieke conversietaken:

1. Boosted Decision Trees (BDT's):
   • scikit-learn: Converteert .pkl of .job-bestanden naar native C++ en Python.
   • TMVA: Converteert XML-bestanden (ROOT-bestanden worden voor deze conversie niet direct ondersteund) naar native C++ en Python.
   • MVAUtils: Converteert ROOT-gebaseerde MVAUtils-bestanden (oorspronkelijk afkomstig van xgboost of lgbm) naar ONNX. Dit maakt gebruik van de uproot-bibliotheek om bestanden te parseren zonder een volledige ROOT-installatie te vereisen.
2. Neurale netwerken (NN's):
   • TMVA (MLP's): Leest TMVA XML-bestanden, reconstrueert de architectuur en gewichten in TensorFlow/Keras, en exporteert naar ONNX met behulp van tf2onnx.
   • lwtnn: Converteert lightweightneuralnetwork JSON-bestanden (gebruikt in ATLAS-triggers) naar ONNX. Momenteel wordt een subset van laagtypen (Dense, Normalization, Softmax) en activatiefuncties (Relu, Sigmoid, Elu, Tanh) ondersteund.

Belangrijkste Kenmerken en Validatie

• Behoud van metadata: petrifyML probeert trainingsinstellingen en normalisatieparameters te behouden, hoewel dit beperkt wordt door de mogelijkheden van de invoer- en uitvoerformaten.
• Validatiescripts: Het hulpmiddel genereert optioneel validatiescripts die de uitvoer van het geconverteerde model vergelijken met de oorspronkelijke implementatie, gebruikmakend van willekeurig gegenereerde invoer (geschaald op basis van de cut-waarde-statistieken van het model).
• Versiebeheer: Voor ONNX-conversies kunnen gebruikers --opset en --ir-version specificeren om compatibiliteit met specifieke OnnxRuntime-versies te garanderen, waarmee potentiële problemen met de snel evoluerende ONNX-standaarden worden aangepakt.
• Generatie van native code: Voor BDT's genereert het hulpmiddel menselijk leesbare C++ of Python-code die afhankelijkheidsvrij is, waardoor "letterlijke prestaties in eeuwigheid" wordt gegarandeerd voor kleinere modellen.

Resultaten en Benchmarking
De auteurs hebben petrifyML gebenchmarkt op een reeks van 1.230 modellen (waaronder lwtnn-, MVAUtils-, scikit-learn- en TMVA-modellen) met behulp van een Intel Core i7-14700 CPU.

• Conversieprestaties:

  • Geheugengebruik: Varieert van enkele MB's voor lwtnn/ONNX-conversies tot ongeveer 3,5 GB voor grote MVAUtils xgboost-bossen (125.000 bomen). De meeste conversies vereisen minder dan 200 MB.
  • Tijd: Conversietijden variëren aanzienlijk. lwtnn naar ONNX duurt ongeveer 0,04 seconde, terwijl grote MVAUtils xgboost-bossen meer dan 4 minuten kunnen kosten. Opvolgende conversies in dezelfde omgeving zijn aanzienlijk sneller door het gebruik van in cache opgeslagen module-imports.
  • Bestandsomvang: Geconverteerde bestanden zijn over het algemeen compact. ONNX-bestanden zijn tot 80% kleiner dan de originele bestanden (behalve voor sterk geoptimaliseerde MVAUtils-bestanden, die mogelijk met een factor 3 in omvang toenemen). Native C++/Python-bestanden voor TMVA BDT's variëren van 5.000 tot 41.000 regels, maar blijven ruimtelijker efficiënter dan de originele XML-formaten.

• Inferentieprestaties:

  • Nauwkeurigheid: Geconverteerde ONNX-modellen tonen relatieve uitvoerfouten van minder dan $10^{-6}$ in vergelijking met de originele modellen. Native code-conversies komen perfect overeen.
  • Geheugen: Inferentie vereist doorgaans <100 MB. Native C++ BDT's zijn aanzienlijk geheugenefficiënter dan Python of de oorspronkelijke implementaties.
  • Snelheid: Inferentietijden zijn over het algemeen klein (<0,1s). Native C++-inferentie voor BDT's is vaak sneller dan het oorspronkelijke model, terwijl Python-inferentie trager is. Het relatieve snelheidsverschil wordt verwaarloosbaar geacht gezien de absolute snelheid van alle methoden.

Betekenis en Claims
Het artikel positioneert petrifyML niet als een vervanging voor native exportmethoden wanneer alle informatie beschikbaar is, maar als een noodzakelijke oplossing voor het bewaren van modellen waarbij native export onmogelijk is of waar de oorspronkelijke trainingsomgeving verloren is gegaan.

• Reproduceerbaarheid: Het hulpmiddel maakt de langetermijnbewaring van HEP ML-algoritmen mogelijk door ze om te zetten in formaten (ONNX of native code) die minder afhankelijk zijn van specifieke toolkit-versies of het zware ROOT-framework.
• Toegankelijkheid: Door HEP-specifieke formaten (zoals lwtnn JSON of TMVA XML) om te zetten naar ONNX, stelt het hulpmiddel deze modellen in staat om te worden gebruikt in Python en door reinterpretatie-frameworks (bijvoorbeeld Rivet, CheckMATE2) die mogelijk de oorspronkelijke HEP-specifieke bibliotheken niet ondersteunen.
• Praktijkgerichtheid: De auteurs claimen dat het hulpmiddel met succes de "onoverkomelijke kwestie" van ROOT-afhankelijkheid voor veel reinterpretatiehulpmiddelen aanpakt en een lichtgewicht alternatief biedt voor het bewaren van grote BDT-bossen die onpraktisch zouden zijn om op te slaan als platte tekstcode.

Het artikel concludeert dat petrifyML een praktische stap is richting de "Les Houches-richtlijnen voor herinterpreteerbare ML", en een mechanisme biedt om ervoor te zorgen dat ML-gebaseerde experimentele studies op lange termijn interpreteerbaar en reproduceerbaar blijven.