BitHEP -- The Limits of Low-Precision ML in HEP

Dit onderzoek evalueert de BitNet-architectuur voor toepassingen in de HEP, waarbij wordt geconcludeerd dat deze weliswaar concurrerend presteert in classificatietaken, maar beperkingen vertoont in regressie- en generatiemodellen afhankelijk van de netwerkgrootte en -type.

De kern

BitHEP: Hoe we de supercomputers van de deeltjesfysica slimmer en sneller maken

Stel je voor dat de Large Hadron Collider (LHC) – de gigantische deeltjesversneller in Zwitserland – een enorme, razendsnelle camera is die elke seconde miljarden foto's maakt van botsende deeltjes. De data die hieruit komt, is zo overweldigend dat zelfs de krachtigste supercomputers er bijna van smelten. Om deze data te analyseren, gebruiken wetenschappers kunstmatige intelligentie (AI). Maar deze AI-modellen zijn vaak zo groot en complex dat ze veel energie en geheugen kosten.

Deze paper, getiteld "BitHEP", onderzoekt een slimme oplossing: het verkleinen van deze AI-modellen zonder ze onbruikbaar te maken. Ze gebruiken een nieuwe techniek die "BITNET" heet.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Gigantische Rekenmachine"

Normaal gesproken werken AI-modellen met getallen die heel precies zijn, alsof je een rekenmachine gebruikt die tot 15 decimalen achter de komma kan tellen. Dit is nodig voor complexe taken, maar het kost enorm veel ruimte en energie.

• De analogie: Stel je voor dat je een recept voor een taart schrijft. In plaats van te zeggen "voeg 100 gram suiker toe", schrijf je: "voeg 100,000000000000000 gram suiker toe". Die extra nullen maken het recept niet lekkerder, maar ze maken het wel veel zwaarder om te dragen en te lezen.

2. De Oplossing: BITNET (De "Korte Versie")

De auteurs testen een nieuwe architectuur genaamd BITNET. In plaats van die lange, precieze getallen, gebruiken ze hier alleen heel simpele getallen: +1, 0 en -1.

• De analogie: Het is alsof je het recept voor de taart herschrijft. Je zegt niet meer "100,000000 gram", maar gewoon: "een volle lepel suiker (+1), een halve lepel bloem (0) en een snufje zout (-1)".
• Het voordeel: De computer hoeft niet meer te rekenen met ingewikkelde vermenigvuldigingen. Het is alsof je van een dure, zware vrachtwagen overstapt op een snelle, lichte motorfiets. De motorfiets is veel sneller en verbruikt minder brandstof, maar kan nog steeds dezelfde route afleggen.

3. De Drie Tests: Werkt het?

De wetenschappers hebben deze "motorfiets" (BITNET) getest op drie heel verschillende taken binnen de deeltjesfysica:

A. Het Herkennen van Deeltjes (Klassificatie)

• De taak: Het onderscheid maken tussen een "quark" en een "gluon" (twee soorten bouwstenen van materie) op basis van de sporen die ze achterlaten.
• Het resultaat: Hier werkt de motorfiets perfect. De AI met de simpele getallen deed net zo goed mee als de zware, precieze versie.
• Conclusie: Voor het herkennen van patronen is de "korte versie" van het recept meer dan goed genoeg.

B. Het Schatten van Waarden (Regressie)

• De taak: Het berekenen van een heel specifiek hoekje in een botsing, wat belangrijk is voor het vinden van nieuwe natuurwetten.
• Het resultaat: Hier werd het moeilijker. Als je alles vereenvoudigt (alleen +1, 0, -1), wordt het antwoord wat onnauwkeuriger. Het is alsof je probeert een heel fijn instelbaar thermostaatje te regelen met alleen maar de knoppen "aan" en "uit".
• De oplossing: Als je sommige delen van de AI nog wel precies houdt en alleen andere delen vereenvoudigt, werkt het weer goed. Je moet dus slim kiezen wat je vereenvoudigt.

C. Het Naspelen van Experimenten (Generatie)

• De taak: De computer moet zelf nieuwe, nep-data genereren die er precies uitziet als echte data van de deeltjesversneller. Dit is nodig om simulaties sneller te laten lopen.
• Het resultaat: Dit is het lastigst. Grote, complexe modellen (zoals CALODREAM) kunnen de vereenvoudiging goed aan, maar kleinere modellen (zoals CALOINN) worden hierdoor wat slordig.
• De les: Hoe groter en slimmer het model is, hoe makkelijker het kan "weglaten" zonder dat het resultaat slechter wordt. Een groot model heeft meer "ruimte" om foutjes te compenseren.

4. Waarom is dit belangrijk? (De Toekomst)

De toekomst van de deeltjesfysica (zoals de HL-LHC) gaat over enorme hoeveelheden data. We hebben AI nodig die:

1. Snel genoeg is om in real-time te werken (bijvoorbeeld om te beslissen welke botsingen interessant zijn terwijl ze gebeuren).
2. Energiezuinig is om de kosten en het milieu te sparen.
3. Past op kleine chips (zoals die in de detectoren zelf).

Deze paper laat zien dat we AI-modellen kunnen "knijpen" (verkleinen) zodat ze op deze kleine, snelle chips passen. Het is alsof we een gigantische bibliotheek van boeken samenvatten tot een handig pocketboekje dat je overal mee naartoe kunt nemen, zonder dat je de belangrijkste verhalen mist.

Samenvattend:
De auteurs zeggen: "We kunnen de zware, dure AI-modellen vervangen door lichtgewicht, snelle versies. Voor het herkennen van deeltjes werkt dit fantastisch. Voor het berekenen van exacte waarden moeten we een beetje voorzichtig zijn en niet alles tegelijk vereenvoudigen. Maar over het algemeen is dit een enorme stap voorwaarts om de fysica van de toekomst haalbaar te maken."

Technische samenvatting

Probleemstelling

De komst van de High-Luminosity Large Hadron Collider (HL-LHC) zal leiden tot een exponentiële toename van de hoeveelheid data die gegenereerd en geanalyseerd moet worden. Dit stelt enorme eisen aan de rekenkracht en het energiegebruik van machine learning (ML) modellen in de Hoge-Energie Fysica (HEP).

• Schalingsproblemen: Bestaande diepe neurale netwerken worden steeds complexer, wat leidt tot knelpunten in real-time toepassingen (zoals triggers op FPGA's) en hoge kosten voor opslag en simulatie (zoals detector-simulaties).
• Beperkingen van bestaande methoden: Hoewel kwantisatie (het comprimeren van netwerken naar lagere precisie) succesvol is getoond in Natural Language Processing (NLP) en voor specifieke classificatietaken in HEP, is de toepasbaarheid voor bredere taken zoals regressie en generatieve modellering (bijv. detector-simulatie) nog onvoldoende onderzocht. Er is behoefte aan een evaluatie van of deze technieken de nauwkeurigheid behouden terwijl ze de rekenkosten drastisch verlagen.

Methodologie

De auteurs evalueren het BITNET-architectuur, oorspronkelijk ontwikkeld voor Large Language Models (LLMs), op drie fundamentele HEP-taken. Ze maken gebruik van Quantization-Aware Training (QAT), waarbij het model al tijdens het trainen in lage precisie wordt getraind, in plaats van na het trainen te kwantiseren.

Kerncomponenten:

• BitLinear Layer: In plaats van volledige floating-point gewichten, worden de gewichten gereduceerd naar ternaire waarden $\{+1, 0, -1\}$ (1.58-bit). De invoer wordt gekwantiseerd naar 8-bit.
• Berekening: De matrixvermenigvuldiging wordt omgezet in een sommatie van tekens (sign operations) en gehele getallen (integer operations), wat veel efficiënter is dan floating-point vermenigvuldigingen. De schaling wordt hersteld via parameters $\beta$ en $\gamma$.
• Onderzochte Taken:
  1. Classificatie: Quark-gluon discriminatie met een Particle Dual Attention Transformer (P-DAT).
  2. Regressie: Schatting van SMEFT-parameters (Standard Model Effective Field Theory) met SMEFTNet.
  3. Generatief: Detector-simulatie (calorimeter showers) met CALOINN (Normalizing Flows) en CALODREAM (Conditional Flow Matching).

Voor elke taak werden verschillende kwantisatiestrategieën getest, variërend van het kwantiseren van slechts een subset van de lagen tot volledige kwantisatie van het netwerk.

Belangrijkste Resultaten

1. Classificatie (Quark-Gluon Tagging)

• Resultaat: Het gekwantiseerde model (P-DAT-Bit) behoudt een zeer competitieve prestatie. De nauwkeurigheid daalt slechts marginaal (van 0.839 naar 0.834) en de AUC blijft hoog (0.9040 vs 0.9092).
• Conclusie: Transformer-attention mechanismen zijn robuust tegen kwantisatie. Zelfs met 63% van de parameters gekwantiseerd, blijft de discriminatiekracht behouden.

2. Regressie (SMEFT Parameter Schatting)

• Resultaat: Hier is de prestatie afhankelijk van het kwantisatiepercentage.
  • Volledige kwantisatie (100% van de lagen) leidt tot een significante verslechtering van de voorspelling (brede residu-verdelingen).
  • Gedeeltelijke kwantisatie (30% of 70%) behoudt de nauwkeurigheid veel beter.
• Conclusie: Voor regressietaken is volledige kwantisatie riskant. Selectieve kwantisatie is noodzakelijk om de balans tussen efficiëntie en precisie te vinden.

3. Generatief (Detector Simulatie)

• CALOINN (Normalizing Flow):
  • Volledige kwantisatie (99.9%) leidt tot een grote daling in kwaliteit (hoge AUC-waarden, wat slecht is voor generatieve modellen).
  • Een strategie waarbij alleen de centrale lagen van de bijectors worden gekwantiseerd (BlockCentral, ~66% kwantisatie) behoudt een goede kwaliteit.
• CALODREAM (Conditional Flow Matching):
  • Dit grotere model is robuuster. Het kwantiseren van ~64% van de parameters (in de ViT-blokken) leidt tot nauwelijks merkbare prestatieverlies.
  • Echter, zodra de embedding-lagen (die de invoer voorbereiden) ook worden gekwantiseerd, stort de prestatie in.
• Conclusie: Grotere netwerken lijken beter bestand tegen kwantisatie dan kleinere. De keuze van welke lagen worden gekwantiseerd (centraal vs. rand, embeddings vs. projecties) is cruciaal.

Bijdragen en Significantie

Technische Bijdragen:

• Eerste uitgebreide evaluatie: Dit is een van de eerste studies die BITNET toepast op een breed scala aan HEP-taken (classificatie, regressie, generatief), niet alleen op classificatie.
• Architecturale inzichten: De studie toont aan dat niet alle netwerken of lagen even gevoelig zijn voor kwantisatie. Attention-lagen en grotere generatieve modellen tonen meer robustheid.
• Hardware-implicaties: Hoewel de huidige GPU's nog niet volledig ondersteuning bieden voor 1.58-bit berekeningen, toont de studie aan dat de operationele complexiteit (aantal bewerkingen) drastisch kan worden gereduceerd (factoren van 10-30 sneller voor integer vs. floating point operaties).

Wetenschappelijke Significantie:

• Toekomstbestendigheid: De resultaten onderstrepen dat lage-precisie training (QAT) een cruciale route is om de groeiende rekenbehoeften van de HL-LHC te managen, vooral gezien de komst van gespecialiseerde hardware voor lage precisie.
• Energie-efficiëntie: Door de rekenkosten te verlagen, kunnen complexere en grotere modellen worden ingezet binnen de beperkte energiebudgetten van experimenten en datacenters.
• Real-time Toepassingen: De bevindingen suggereren dat het mogelijk is om geavanceerde generatieve en regressiemodellen op resource-beperkte hardware (zoals FPGA's voor triggers) te draaien, wat eerder ondenkbaar leek vanwege de complexiteit.

Samenvattend: Het artikel concludeert dat BITNET en lage-precisie training veelbelovend zijn voor HEP, maar dat er geen "one-size-fits-all" oplossing is. Voor classificatie werkt volledige kwantisatie goed, terwijl voor regressie en generatieve taken een zorgvuldige, selectieve kwantisatiestrategie essentieel is om de nauwkeurigheid te behouden.