Physics at the Edge: Benchmarking Quantisation Techniques and the Edge TPU for Neutrino Interaction Recognition

Dit artikel presenteert een benchmark van verschillende kwantisatietechnieken voor convolutionele neurale netwerken op de Google Coral Edge TPU voor neutrino-interactieherkenning, waarbij wordt aangetoond dat deze technologie aanzienlijk minder energie verbruikt dan CPU's en GPU's met slechts beperkte nauwkeurigheidsverlies.

De kern

Fysica aan de rand: Hoe slimme chips neutrino's leren herkennen

Stel je voor dat je een enorme, ondergrondse ijskast hebt vol vloeibare argon (een edelgas). Als er een onzichtbaar deeltje, een neutrino, doorheen schiet, laat het een spoor achter, net als een vliegtuig dat een condensstreep in de lucht achterlaat. Wetenschappers willen deze sporen zien om de geheimen van het universum te onthullen.

Maar hier is het probleem: deze deeltjes komen in een razendsnel tempo binnen. De computers die normaal gesproken deze data analyseren, zitten vaak ver weg in een datacenter. Het duurt te lang om de data daarheen te sturen, te verwerken en terug te sturen. Het is alsof je een brand probeert te blussen, maar de brandweer moet eerst naar het bureau in een ander dorp rijden voordat ze de slang kunnen pakken.

De oplossing: De "Edge TPU"
De auteurs van dit paper hebben gekeken of we slimme, kleine computerchips (de Google Coral Edge TPU) direct bij de detector kunnen zetten. Deze chips zijn als een sportwagen voor één specifieke taak: ze zijn extreem snel in het herkennen van patronen, maar verbruiken heel weinig brandstof (elektriciteit).

Om deze kleine chip te laten werken met de enorme, complexe kunstmatige intelligentie (AI) die we nodig hebben, moesten ze de software "verkleinen". Dit noemen ze kwantisatie.

De analogie van de vertaler
Stel je voor dat de AI een professor is die in het 32-bits Engels (zeer gedetailleerd, met veel nuances) spreekt. De Edge TPU is echter een klein kind dat alleen 8-bits Nederlands (kort, simpel, zonder veel woorden) begrijpt.

De wetenschappers hebben twee manieren getest om de professor te vertalen:

1. Post-Training Quantisation (PTQ): Je neemt de professor, vertaalt zijn woorden direct naar het kind, en hoopt dat hij nog steeds alles begrijpt. Soms gaat hierbij de betekenis een beetje verloren.
2. Quantisation-Aware Training (QAT): Je laat de professor eerst oefenen in het kindertaal. Hij leert zijn gedachten te vormgeven in simpele woorden terwijl hij nog leert. Zo wordt hij beter in het vertalen voordat hij echt gaat werken.

Wat hebben ze ontdekt?
Ze hebben vier verschillende soorten "profs" (AI-modellen) getest: ResNet, DenseNet, EfficientNet en InceptionV3.

• Snelheid: De Edge TPU was net iets sneller dan de normale computer (CPU), maar veel langzamer dan de superkrachtige grafische kaart (GPU) die in datacenters zit.
• Energie: Hier wint de Edge TPU het met klinkende klanken. De GPU is als een olifant die veel eten (stroom) nodig heeft. De Edge TPU is als een muis: hij doet bijna hetzelfde werk, maar verbruikt honderden keren minder stroom.
• Nauwkeurigheid: De meeste modellen werden een beetje slordig door de vertaling. Maar InceptionV3 was de uitzondering. Deze "prof" was zo slim dat hij zelfs in het simpele 8-bits Nederlands bijna perfect bleef presteren. Hij verloor bijna geen nauwkeurigheid.

Waarom is dit belangrijk?
Dit onderzoek is als een bewijs van concept. Het laat zien dat we in de toekomst geen enorme, stroomverslindende datacenters meer hoeven te bouwen om neutrino's te bestuderen. We kunnen deze slimme, kleine chips direct op de detector plakken.

De toekomst:
Stel je voor dat je een detector hebt die direct, op het moment zelf, kan zeggen: "Hé, ik heb net een supernova-neutrino gezien!" zonder dat er een seconde verloren gaat aan het sturen van data naar een ver datacenter. Dit zou wetenschappers helpen om zeldzame gebeurtenissen in het heelal direct te vangen, terwijl ze tegelijkertijd de planeet minder belasten met stroomverbruik en koeling.

Kortom: Ze hebben bewezen dat je met een kleine, energiezuinige chip net zo goed (en soms zelfs beter) kunt werken als met een enorme, dure machine, zolang je maar de juiste vertaler (kwantisatie) gebruikt.

Technische samenvatting

Probleemstelling

Deeltjesfysica-experimenten, zoals die met neutrino's, genereren enorme hoeveelheden data die traditioneel worden verwerkt op zware, centrale graphics processing units (GPUs). Dit brengt twee grote problemen met zich mee:

1. Energieverbruik en Milieu: GPUs verbruiken veel stroom (tientallen tot honderden Watt) en vereisen complexe koelsystemen, wat leidt tot een onduurzame ecologische voetafdruk.
2. Latentie en Locatie: De verwerking vindt vaak plaats in datacenters ver weg van de detector. Voor toepassingen zoals snelle "triggering" (het direct detecteren van zeldzame gebeurtenissen) is het echter essentieel dat de inferentie dicht bij de databron plaatsvindt.

Het doel van dit onderzoek is om te evalueren of Edge AI-technologieën, specifiek de Google Coral Edge TPU, een duurzaam en efficiënt alternatief kunnen zijn voor GPUs bij het herkennen van neutrino-interacties, zonder dat de nauwkeurigheid van de detectie significant afneemt.

Methodologie

De auteurs hebben een uitgebreide benchmark uitgevoerd met de volgende stappen:

• Dataset: Er werd gebruikgemaakt van een gesimuleerde dataset van een Liquid Argon Time Projection Chamber (LArTPC), een staat-van-de-kunst detector voor toekomstige experimenten zoals DUNE. De dataset bevatte 22.338 neutrino-interacties (geladen stroom $\nu_\mu$, $\nu_e$ en neutrale stroom NC) die zijn omgezet in 2D-afbeeldingen (224x224 of 299x299 pixels) met drie zichtvlakken (u, v, w).
• Modelarchitecturen: Vier verschillende Convolutional Neural Networks (CNNs) werden getest, allemaal beschikbaar in Keras:
  • ResNet-50V2
  • DenseNet-169
  • EfficientNetV2B0
  • InceptionV3
• Quantisatie-technieken: Omdat de Edge TPU uitsluitend werkt met 8-bit gehele getallen (uint8), moesten de modellen (oorspronkelijk getraind in float32) worden gekwantiseerd. Twee methoden werden vergeleken:
  1. Post-Training Quantisation (PTQ): Conversie van een reeds getraind model zonder verdere training.
  2. Quantisation-Aware Training (QAT): Het simuleren van kwantisatie-effecten tijdens het trainen (fine-tuning) om de nauwkeurigheid te behouden.
• Hardware Vergelijking: De prestaties werden gemeten op drie platformen:
  • AMD EPYC™ 7763 CPU
  • NVIDIA A100 GPU
  • Google Coral Edge TPU
• Metingen: Er werden drie kritieke metrics gemeten:
  • Balanced Accuracy: De nauwkeurigheid van de classificatie.
  • Latentie: De tijd per inferentie (in milliseconden).
  • Energieverbruik: Geschat op basis van het thermisch ontwerpvermogen (TDP) vermenigvuldigd met de snelheid (proxy voor energie per inferentie).

Belangrijkste Bijdragen

1. Eerste benchmark van Edge TPU voor Neutrino-fysica: Het artikel toont aan dat Edge AI-apparaten direct kunnen worden ingezet voor complexe taken in de deeltjesfysica, zoals het herkennen van interacties in LArTPC-detectoren.
2. Vergelijking van Quantisatie-methoden: Het biedt inzicht in hoe verschillende CNN-architecturen reageren op PTQ versus QAT wanneer ze worden gedeployed op een Edge TPU.
3. Duurzaamheidsanalyse: Het kwantificeert het enorme energiebesparingspotentieel van Edge AI ten opzichte van traditionele GPU-klusters, wat relevant is voor de groeiende milieuzorgen in de wetenschappelijke computering.

Resultaten

De resultaten tonen een duidelijk onderscheid tussen de verschillende hardware en modellen:

• Nauwkeurigheid:
  • InceptionV3 presteerde het beste. Deze architectoon vertoonde bijna geen verlies aan nauwkeurigheid (minder dan 0,5%) na kwantisatie en deploy op de Edge TPU, zowel met PTQ als QAT.
  • Andere modellen, zoals EfficientNetV2B0, leden aan significante nauwkeurigheidsverliezen (tot wel 46% bij PTQ), vooral omdat bepaalde lagen moesten worden "bevroren" om compatibel te zijn met de Edge TPU.
  • QAT over het algemeen beter presteerde dan PTQ voor de meeste modellen, hoewel er nog steeds sprake was van verlies bij de deploy op de Edge TPU voor sommige architecturen.
• Snelheid (Latentie):
  • De GPU was veruit het snelst (ongeveer 2-8 ms per inferentie).
  • De Edge TPU was ongeveer één orde van grootte langzamer dan de GPU, maar sneller dan de CPU (vooral bij DenseNet-169, waar de TPU drie keer sneller was dan de CPU).
  • De snelheid op de Edge TPU was vergelijkbaar met de CPU, maar met een veel lagere energieprijs.
• Energieverbruik:
  • De Edge TPU verbruikte enkele ordes van grootte minder energie dan zowel de CPU als de GPU.
  • Hoewel de GPU het snelst is, is de Edge TPU de meest energie-efficiënte optie. In de ruimte van "energie vs. latentie" zijn de drie apparaten duidelijk van elkaar te scheiden: de CPU is het minst efficiënt, de GPU is het snelst maar energievretend, en de Edge TPU is de meest energiezuinige.

Betekenis en Conclusie

Dit onderzoek bewijst het concept (proof-of-concept) dat Edge AI-apparaten zoals de Google Coral Edge TPU een haalbaar en duurzaam alternatief zijn voor zware GPU-klusters in de wetenschap.

• Toepassing: De technologie kan direct aan detectoren worden gekoppeld voor live triggering, wat essentieel is voor het detecteren van zeldzame gebeurtenissen (zoals supernova-neutrino's) in real-time.
• Kosten en Milieu: De Edge TPU is aanzienlijk goedkoper en energiezuiniger dan GPU-racks. Dit maakt het mogelijk voor universiteiten en laboratoria om lokale inferentie-infrastructuur op te zetten zonder de hoge operationele kosten en ecologische impact.
• Toekomst: Hoewel niet alle modellen even goed presteren (InceptionV3 is hier de winnaar), suggereert dit werk dat toekomstige, complexere CNN's gebaseerd op deze blokken ook gekwantiseerd en gedeployed kunnen worden, waardoor de weg vrijkomt voor "AI at the Edge" in de volgende generatie neutrino-experimenten.