Enabling Low-Latency Machine learning on Radiation-Hard FPGAs with hls4ml

Dit artikel presenteert de eerste haalbare demonstratie van stralingsbestendige machine learning op FPGAs voor deeltjesfysica, waarbij een lichtgewicht autoencoder voor het PicoCal-calorimeter wordt gecomprimeerd en geoptimaliseerd via een nieuwe hls4ml-backend voor Microchip PolarFire FPGAs, wat resulteert in een ultra-lage latentie van 25 ns.

De kern

Stel je voor dat je een enorme, drukke luchthaven hebt (deeltjesversneller LHC) waar elke seconde duizenden vliegtuigen (deeltjes) landen. De controleurs (de experimenten) moeten elk vliegtuig direct scannen om te zien of er iets verdachts aan de hand is. Maar er is een groot probleem: er zijn zoveel vliegtuigen dat de controleurs overbelast raken en de data-uitvoer (de "luchthavenlogboeken") wordt zo groot dat de telefoonlijnen (de elektronica) het niet meer aankunnen.

Dit artikel vertelt het verhaal van hoe een team wetenschappers een slimme oplossing bedacht om dit probleem op te lossen, zelfs in een omgeving die zo giftig is voor elektronica dat het eruit ziet als een kernreactor.

Hier is de uitleg in simpele taal:

1. Het Probleem: Te veel ruis, te weinig tijd

De LHC gaat binnen nog harder werken. Er komen dan zoveel deeltjeskoppels tegelijk dat het lijkt alsof er een enorme storm van deeltjes is. De sensoren (de "ogen" van de machine) zien dan niet één duidelijk signaal, maar een wirwar van geluid.

• De uitdaging: De sensoren moeten deze enorme hoeveelheid data direct verwerken, nog voordat de data de machine verlaat. Maar de elektronica daar zit in een omgeving met straling (zoals in een kerncentrale), wat normale computerchips snel kapot maakt.
• De oplossing: Ze moeten de data "samenvatten" voordat hij verstuurd wordt. In plaats van 32 cijfers per signaal door te sturen, willen ze het terugbrengen naar slechts 2 cijfers, zonder de belangrijke informatie kwijt te raken.

2. De Slimme Oplossing: De "Samenvatting-Machine" (Autoencoder)

De wetenschappers hebben een soort kunstmatige intelligentie (AI) gebouwd die fungeert als een super-snelle samenvatting-machine.

• Hoe het werkt: Stel je voor dat je een heel lang verhaal van 32 zinnen moet samenvatten tot 2 zinnen, maar je mag geen belangrijke details verliezen. Deze AI (een "autoencoder") heeft geoefend met duizenden voorbeelden. Hij leert welke details echt belangrijk zijn (zoals de piek van het signaal) en welke ruis eruit kan.
• Het resultaat: Hij pakt het ingewikkelde signaal van 32 punten en knijpt het samen tot een compacte "steekbrief" van slechts 2 getallen. Maar deze steekbrief is zo goed, dat je er later nog steeds precies uit kunt halen wanneer het deeltje aankwam en hoe groot het was.

3. De Hulp van de "Vertaler" (hls4ml)

Het bouwen van zo'n AI voor een speciale, stralingsbestendige computerchip (een FPGA van het merk Microchip PolarFire) was tot nu toe bijna onmogelijk.

• Het probleem: De standaard software die wetenschappers gebruiken om AI naar hardware te vertalen, kon niet met deze speciale, stralingsbestendige chips. Het was alsof je een auto wilde bouwen, maar je had geen gereedschap dat paste bij de speciale bouten van dit merk.
• De innovatie: Het team heeft een nieuwe "vertaler" (een software-backend) gebouwd. Deze vertaler neemt de AI-ontwerpen en zet ze automatisch om in de taal die deze speciale chips begrijpen. Dit opent de deur voor iedereen om slimme AI op deze robuuste chips te draaien.

4. De Test: Is het snel en sterk genoeg?

Ze hebben de oplossing getest op een prototype-chip.

• Snelheid: Het systeem is razendsnel. Het doet er slechts 25 nanoseconden over om een signaal te verwerken. Dat is sneller dan het knipperen van een oog, en precies snel genoeg voor de hoge snelheid van de LHC.
• Grootte: De AI is zo klein en efficiënt dat hij net als een kleine bloemetje in een grote tuin past. Hij gebruikt zo weinig ruimte op de chip dat er nog heel veel ruimte overblijft voor andere taken.
• Straling: Omdat de chip een speciale "flash"-geheugen heeft (in plaats van het kwetsbare RAM-geheugen van gewone chips), is hij van nature al bestand tegen straling. De kleine AI past zelfs in het "veilige gedeelte" van de chip, waardoor hij bijna onkwetsbaar is voor stralingsfouten.

5. Waarom is dit belangrijk?

Dit is de eerste keer dat iemand laat zien dat je complexe AI kunt laten draaien op deze speciale, stralingsbestendige chips in een deeltjesversneller.

• Voor de toekomst: Het betekent dat toekomstige experimenten (zoals de upgrade van LHCb) veel slimmer kunnen worden. Ze kunnen data direct op de sensor filteren, waardoor ze meer nieuwe ontdekkingen kunnen doen zonder dat de data-uitvoer instort.
• Voor de wereld: De nieuwe "vertaler" die ze hebben gemaakt, is openbaar gemaakt. Dit betekent dat niet alleen fysici, maar ook anderen (bijvoorbeeld voor ruimtevaart of medische apparatuur) nu makkelijker slimme, stralingsbestendige systemen kunnen bouwen.

Kortom: Ze hebben een slimme, snelle "samenvatting-machine" gebouwd die in een stralingsomgeving werkt, en ze hebben de sleutel (de software) gemaakt zodat iedereen dit in de toekomst kan nabouwen. Het is een grote stap naar slimmere en veiligere wetenschappelijke instrumenten.

Technische samenvatting

Probleemstelling

De toekomstige experimenten in de deeltjesfysica, zoals de High-Luminosity Large Hadron Collider (HL-LHC) en specifiek het LHCb Upgrade II-project, staan voor enorme uitdagingen op het gebied van dataverwerking. De verwachte datastroom zal oplopen tot 200 Tb/s, voornamelijk door een toename in het aantal gelijktijdige proton-proton botsingen (pile-up).

• Bandbreedtebeperking: De huidige elektronica kan deze datastroom niet naar de achterkant van de detector sturen zonder extreme vertragingen. Er is een noodzaak om data te comprimeren direct op de detector ("edge computing").
• Straling: De elektronica bevindt zich in een agressief stralingsmilieu. Traditionele SRAM-based FPGA's vereisen complexe en resource-zware mitigatiemethoden (zoals Triple Modular Redundancy of TMR) om fouten te voorkomen.
• Tijdsdruk: De compressie-algoritmen moeten extreem snel zijn (nanoseconden) om de 40 MHz botsingsfrequentie bij te houden.
• Tooling-gat: De standaard toolchain voor het implementeren van Machine Learning (ML) op FPGA's in de HEP-gemeenschap, hls4ml, ondersteunde tot nu toe geen stralingsharde FPGA's van Microchip (PolarFire), wat een belangrijke barrière vormde voor adoptie.

Methodologie

De auteurs hebben een end-to-end oplossing ontwikkeld voor het comprimeren van puls-vormen van het PicoCal (een elektromagnetische calorimeter) met behulp van een autoencoder.

1. Model Architectuur:

   • Er is een lichtgewicht autoencoder ontworpen die een invoer van 32 samples (representatief voor een puls-vorm) comprimeert naar een 2-dimensionale latente ruimte.
   • De encoder bestaat uit één volledig verbonden (dense) laag gevolgd door een ReLU-activeringsfunctie.
   • De decoder (alleen gebruikt tijdens training) reconstrueert de 32 samples uit de 2 latente variabelen.
   • Het model is getraind op Monte Carlo-simulaties van het LHCb PicoCal prototype, inclusief signaal en achtergrond (pile-up).

2. Hardware-bewuste Optimalisatie (Quantization):

   • Om het model geschikt te maken voor FPGA-implementatie, is een systematische kwantisatiestudie uitgevoerd.
   • Input/Activaties: 16-bit vaste komma (6 gehele bits).
   • Gewichten: Aggressief gereduceerd naar 10-bit vaste komma (4 gehele bits).
   • Deze keuze bleek de "sweet spot" te zijn: de reconstructiefout (MSE) plateauerde rond de 10 bits, wat betekent dat verdere verhoging van de precisie geen significante winst opleverde.

3. Nieuwe Software Backend:

   • Een cruciale stap was het ontwikkelen van een nieuwe backend voor de hls4ml bibliotheek.
   • Deze backend vertaalt ML-modellen automatisch naar High-Level Synthesis (HLS) code die compatibel is met de Microchip SmartHLS compiler.
   • Dit maakt het mogelijk om modellen te deployen op de Microchip PolarFire FPGA-familie, die bekend staat om zijn flash-gebaseerde architectuur en inherente stralingshardheid.

Belangrijkste Bijdragen

Het artikel presenteert drie fundamentele bijdragen:

1. Een ML-algoritme voor puls-compressie: Validatie dat een autoencoder 32-sample puls-vormen effectief kan comprimeren naar 2 variabelen terwijl de essentiële fysieke informatie (piek-amplitude, stijgtijd, tijdstempel) behouden blijft.
2. Hardware-bewuste kwantisatie: Een bewezen methode om het model te reduceren tot 10-bit gewichten met verwaarloosbaar verlies aan fysieke prestaties, wat de resource-vereisten drastisch verlaagt.
3. De hls4ml-SmartHLS Backend: De ontwikkeling van de eerste open-source backend die ML-modellen automatisch converteert naar firmware voor stralingsharde Microchip PolarFire FPGA's. Dit opent de deur voor de bredere HEP-gemeenschap om deze hardware te gebruiken.

Resultaten

De synthese van het ontwerp op een Microchip PolarFire MPF100T FPGA leverde de volgende resultaten op:

• Latenie: De inferentie-tijd bedraagt slechts 25 ns (4 klokcycli bij 160 MHz). Dit voldoet ruimschoots aan de vereiste van 40 MHz (25 ns per gebeurtenis).
• Rendement: De frequentie bereikte 234 MHz, ruim boven het doel van 160 MHz.
• Resource Gebruik: Het model is extreem efficiënt:
  • 3,1% van de LUTs (Look-Up Tables).
  • 0,3% van de Math Blocks (DSP).
  • 0% van de SRAM/uSRAM.
  • Voor 8 kanalen (zoals gepland voor PicoCal) zou het totale gebruik ongeveer 25% van de LUTs bedragen, wat ruimte laat voor andere logica.
• Fysieke Prestaties:
  • De reconstructie van de puls-vorm is van hoge kwaliteit.
  • Toepassing van een Constant Fraction Discriminator (CFD) op de gereconstrueerde signalen resulteerde in een verbeterde tijdsresolutie (ongeveer een factor 2 beter dan de originele 32-sample data) dankzij het "denoising" effect van de autoencoder.
  • De stijgtijd (rise-time) en piek-amplitude konden nauwkeurig worden afgeleid uit de latente ruimte.

Betekenis en Impact

• Proof-of-Concept: Dit is de eerste end-to-end demonstratie van een werkende, ultra-snelle ML-toepassing op een stralingsharde FPGA voor een toekomstig HEP-experiment.
• Stralingshardheid: Omdat het model zo weinig resources gebruikt, kan het volledig binnen de "inherently protected logic" van de PolarFire FPGA worden geplaatst. Dit maakt complexe mitigatiestrategieën (zoals TMR) overbodig voor de kernlogica, wat de betrouwbaarheid verhoogt en het ontwerp vereenvoudigt.
• Community Impact: De nieuwe hls4ml-backend democratiseert de toegang tot stralingsharde FPGA's. Onderzoekers hoeven geen handmatige HLS-code meer te schrijven; ze kunnen hun modellen direct deployen via een gestandaardiseerde workflow.
• Toekomst: De werkstroom maakt het mogelijk om intelligente, stralingsharde detectorsystemen te bouwen die data intelligent filteren en comprimeren direct aan de bron, wat essentieel is voor de volgende generatie deeltjesversnellers.