GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Dit artikel presenteert een door GPU-versnelling en distributie mogelijk gemaakt simulatiekader dat de TeRABIT-infrastructuur benut om een nieuwe partiële differentiaalvergelijking van de derde orde efficiënt op te lossen voor het modelleren van signaalvorming in 3D-diamantensensoren, waardoor snelle wat-if-studies naar sensorgeometrie mogelijk worden.

De kern

Stel je voor dat je probeert een fluistering te horen in een zeer lange, lawaaierige gang. De fluistering is een klein signaal van een stralingsdeeltje dat een diamantsensor raakt. De gang is de diamant zelf, en de muren zijn bekleed met speciale koolstof "draden" (elektroden) die het geluid naar je oor (de computer) dragen.

Het probleem is dat deze koolstofdraden niet perfect zijn; ze zijn een beetje zoals oude, roestige pijpen. Wanneer het signaal erdoorheen reist, wordt het vertraagd en vervormd, net zoals een geluid echoot en vervaagt in een lange tunnel. Dit maakt het moeilijk om precies te weten wanneer de fluistering begon, wat cruciaal is voor experimenten in de snelle natuurkunde.

Hier is hoe de onderzoekers in dit artikel het probleem oplosten om precies uit te vinden hoe dat signaal zich gedraagt, met behulp van een mix van super-slimme wiskunde en supersnelle computers.

1. De Oude Manier: Proberen een Labyrint in kaart te brengen met een Zaklamp

Vroeger probeerden wetenschappers te simuleren hoe deze signalen zich door de diamant bewegen. Het was alsof je probeerde een gigantisch, 3D-labyrint in kaart te brengen door er stap voor stap doorheen te lopen met een zaklamp.

• De Knelpunt: De wiskunde die nodig was om te voorspellen hoe het signaal zich door de "roestige pijpen" wentelt en draait, was ongelooflijk zwaar. Het kostte een supercomputer een hele week om slechts één versie van de sensor te simuleren.
• De Beperking: Omdat het zo lang duurde, konden ze niet veel verschillende ontwerpen testen. Ze zaten vast aan één vorm, en konden niet vragen: "Wat als we de draden dunner maken?" of "Wat als de diamant korter was?"

2. Het Nieuwe Gereedschap: Het "TeRABIT" Super-Express

De auteurs bouwden een nieuwe simulatie-engine genaamd WeightingTide. Denk hierbij aan het vervangen van de trage, stap-voor-stap zaklamp door een vloot hoogwaardige drones die in één keer boven het hele labyrint kunnen vliegen.

• De GPU-Boost: Ze verplaatsten de zware wiskunde naar GPU's (de krachtige chips die meestal in videogamecomputers worden gevonden). In plaats van één brein dat de wiskunde doet, gebruikten ze duizenden kleine breinen die gelijktijdig werkten. Dit veranderde een weeklang werk in een paar uur.
• Het "TeRABIT"-Netwerk: Om nog meer werk te kunnen verwerken, gebruikten ze niet slechts één computer. Ze verbonden computers in verschillende steden (Florence, Bologna en Padova) met behulp van een speciaal internetprotocol genaamd InterLink. Stel je een estafetteloop voor waarbij hardlopers in verschillende steden de stok direct doorgeven. Als één computer druk is, wordt het werk direct overgedragen aan een andere computer in de buurt. Ze bewaarden de data in een centrale "cloud-locker" (S3-opslag) zodat iedereen kon grijpen wat ze nodig hadden zonder de lokale wegen te blokkeren.

3. Het "Wat-als"-Spel: Het Perfecte Sensor Ontwerpen

Met dit nieuwe, snelle systeem kon het team eindelijk het "Wat-als"-spel spelen. Ze testten duizenden verschillende vormen voor de diamantsensor om te zien welke de duidelijkste, snelste signalen zou geven.

Ze richtten zich op twee hoofdonderdelen van de sensor:

• De "Bias"-draden (De Voeding): Ze vroegen zich af of het dunner maken van deze draden zou helpen.
  • De Verrassing: Ze ontdekten dat het dunner maken van deze draden het tijdstip niet echt veranderde. Het was alsof je beseft dat het vastdraaien van de deurklink de piep niet stopt; de piep komt van de scharnieren elders.
• De "Readout"-draden (Het Signaalpad): Ze testten het dunner maken van de diamant, wat het pad verkort dat het signaal moet afleggen.
  • De Ontdekking: Dit hielp wel! Het verkorten van het pad dat het signaal aflegt, verminderde de vertraging. Het is alsof je een lange gang verkort; de fluistering bereikt je oor sneller en duidelijker.

4. Het Resultaat: Een Scherpere Afbeelding

Door deze bevindingen te combineren, stelde het team een nieuw ontwerp voor:

1. Maak de "readout"-draden korter (door een dunnere diamant te gebruiken).
2. Maak de "bias"-draden zo dun mogelijk (om geld te besparen en het risico te verminderen dat de diamant tijdens de fabricage breekt), aangezien hun grootte het tijdstip niet schaadt.

De Conclusie:
Deze nieuwe simulatiemethode is als een upgrade van een trage, handmatige kaartmaker naar een real-time GPS-systeem. Het stelde de wetenschappers in staat om snel ontwerpen te testen en een manier te vinden om de tijdsprecisie van de sensor met ongeveer 10% te verbeteren. Dit brengt hen dichter bij het ultieme doel: het detecteren van deeltjes met een tijdsoplossing die zo snel is dat deze beter is dan 100 picoseconden (dat is 100 biljoenste van een seconde!).

Ze hebben vandaag geen nieuwe sensor uitgevonden, maar ze bouwden de "windtunnel" die ingenieurs in staat stelt om de best mogelijke sensor voor de toekomst te ontwerpen.

Technische samenvatting

Technische Samenvatting: GPU-versnelde simulatie van 3D-diamantensoren met behulp van de TeRABIT-infrastructuur

Probleemstelling
Diamantdetectoren met elektroden loodrecht op het oppervlak, vervaardigd via laser-geïnduceerde graphitisatie, bieden aanzienlijk potentieel voor de Hoge-Energiefysica, Nucleaire Geneeskunde en dosimetrie vanwege hun stralingshardheid en snelle timingcapaciteiten. Recente vooruitgang in graphitisatie heeft tijdsresoluties van minder dan 100 ps mogelijk gemaakt. Het nauwkeurig simuleren van signaalvorming in deze apparaten blijft echter een grote computertechische uitdaging. Het proces van signaalvorming omvat een complexe wisselwerking tussen fluctuaties in energie-depositie, ladingsdragertransport, signaalvoortplanting en uitlees-elektronica.

Standaard simulatiemethoden gebaseerd op de Ramo-Shockley-stelling zijn ontoereikend omdat ze geen rekening houden met de impedantie-effecten van resistieve elektroden, die de tijdsresolutie in deze 3D-structuren domineren. Hoewel een uitbreiding van de stelling door Riegler deze effecten incorporeert via een vierdimensionale correlatiefunctie, $\vec{H}(\vec{x}, t)$, is de numerieke berekening van deze functie computergewijs duur. Eerdere pogingen met pseudo-spectrale methoden in Python (met C-extensies) en COMSOL MultiPhysics® waren ofwel te traag voor systematische geometrische optimalisatie, ofwel beperkt door geheugengrenzen die gedistribueerde berekening op High-Throughput Computing (HTC)-netwerken verhinderden.

Methodologie
De auteurs ontwikkelden een nieuw simulatiekader dat deze knelpunten aanpakt via drie primaire technische innovaties:

1. Gecoördineerde Micro-stap Workflow: De simulatie is gestructureerd als een Directed-Acyclic-Graph (DAG)-workflow, gecoördineerd door Snakemake. Deze workflow breekt het proces op in zes distincte stappen:

   • Geometrie-compilatie (van OpenSCAD naar STL).
   • Berekening van het elektrostatische veld (oplossen van de Laplace-vergelijking).
   • Berekening van de correlatiefunctie (oplossen van een partiële differentiaalvergelijking van de derde orde, afgeleid van de wetten van Maxwell in een quasi-statische benadering).
   • Simulatie van ladingsdragertrajecten (met Garfield++).
   • Berekening van de geïnduceerde stroom (convolutie van snelheid en correlatiefunctie).
   • Simulatie van elektronica en DAQ.
     Intermediaire dataformaten zijn geoptimaliseerd voor prestaties, waaronder het gebruik van Apache Arrow om bestandsgroottes met ongeveer 80% te verkleinen en de overhead voor deserialisatie te verminderen.

2. GPU-versnelling (WeightingTide): Prestatiekritieke stappen, specifiek de berekening van het elektrostatische veld en de correlatiefunctie $\vec{H}(\vec{x}, t)$, zijn naar GPU's verplaatst met behulp van de CuPy-bibliotheek.

   • Elektrostatica: Een iteratieve pseudo-spectrale methode lost de Laplace-vergelijking op met behulp van 3D-FFT's en aangepaste CUDA-kernen. Aangepaste kernen werden ingezet om spectrale representaties te vermenigvuldigen met het kwadraat van de impuls van de golfvector, waardoor het vereiste GPU-geheugen in vergelijking met een pure Python-implementatie werd gehalveerd.
   • Correlatiefunctie: Een aangepaste CUDA-kern berekent de spanning ingesteld door puntladingen aan de grenzen, waarbij randvoorwaarden worden afgedwongen door herschaalde chunks van fundamentele oplossingen te kopiëren. Deze stap, die de CPU-tijd domineerde, behaalde een snelheidswinst van 100× op GPU's.
   • Convolutie: De convolutie van ladingsdragersnelheden met de correlatiefunctie werd naar de GPU uitbesteed. De correlatiefunctie werd geladen in GPU-textuurgeheugen om gebruik te maken van hardware-versnelde lineaire interpolatie langs ladingsdragertrajecten.

3. Gedistribueerde Berekening via TeRABIT en InterLink: Om systematische parameter-scans mogelijk te maken, werd de workflow gedistribueerd over heterogene rekenbronnen. Het systeem maakt gebruik van de TeRABIT HPC "Bubbles" (specifiek de site Padova met H200 GPU's) en de INFN-CNAF HTC-bronnen (CPU-only nodes).

   • De Snakemake-workflow communiceert met een Kubernetes-cluster beheerd door Kueue.
   • Het InterLink-project definieert virtuele nodes die containerized payloads (beheerd via Apptainer en CVMFS) uitvoeren op externe sites (CNAF en Padova) in plaats van op lokale fysieke nodes.
   • Data-uitwisseling tussen geografisch ver verwijderde sites wordt afgehandeld via een gecentraliseerde S3-compatibele opslag (Deuxfleurs Garage), hoewel de bandbreedte voor datatransfer wordt aangemerkt als de primaire bottleneck bij parallelle uitvoering.

Belangrijkste Bijdragen

• Algoritmische Innovatie: De ontwikkeling van een solver die fundamentele oplossingen gebruikt om randvoorwaarden op te leggen en spectrale methoden om de oplossing uit te breiden naar het bulkgedeelte van de diamantdetector, waarmee de partiële differentiaalvergelijking van de derde orde wordt opgelost die nodig is voor tijdsafhankelijke wegingspotentialen.
• Software-porting: De succesvolle migratie van prestatiekritieke simulatiestappen naar GPU's, waardoor de tijd tot inzicht voor één geometrie werd teruggebracht van ongeveer één week naar een paar uur.
• Infrastructuur-integratie: De demonstratie van een gedistribueerd rekenmodel dat HTC (CNAF) en HPC (TeRABIT Padova) bronnen naadloos integreert via het InterLink-protocol en Kubernetes, waardoor de coördinatie van complexe, meerstaps wetenschappelijke workflows over verschillende locaties mogelijk wordt.
• Pakketontwikkeling: De creatie van het Python-pakket WeightingTide, dat de op CuPy gebaseerde GPU-versnelde methoden voor elektrostatische en correlatiefunctie-berekeningen kapselt.

Resultaten
Met behulp van de nieuwe simulatie-architectuur voerden de auteurs systematische parametrische studies uit op 3D-diamantdetectoren met ggraphitiseerde elektroden, met focus op twee geometrische variabelen: de diameter van de bias-elektrode en de dikte van de diamantbulk.

• Diameter Bias-elektrode: In tegenstelling tot de initiële verwachting dat de weerstand van de elektrode de tijdsresolutie lineair zou bepalen, vond de studie uit dat de tijdsresolutie grotendeels onafhankelijk is van de diameter van de bias-elektrode (variatie van 6 tot 14 $\mu$m). De auteurs schrijven dit toe aan de 3D-geometrie, waarbij de bijdrage van bias-elektroden aan de evolutie van de correlatiefunctie verwaarloosbaar is in vergelijking met uitlees-elektroden. Dit suggereert dat bias-elektroden kunnen worden vervaardigd met zeer kleine diameters om risico's op schade tijdens graphitisatie te minimaliseren zonder de timingprestaties te compromitteren.
• Bulk-dikte: De studie bevestigde dat de tijdsresolutie verbetert naarmate de dikte van de diamantbulk afneemt. Dit is consistent met de bevinding dat signaalvoortplanting langs de uitlees-elektrode de dominante factor is die de timing beperkt. Kortere uitlees-elektroden (dunnere bulk) verbeteren de timingprestaties direct.
• Optimalisatievoorstel: Op basis van deze bevindingen stellen de auteurs een nieuwe sensor-geometrie voor (Figuur 7) met ingekorte uitlees-elektroden en geminimaliseerde diameters van de bias-elektroden. Deze configuratie wordt voorspeld om de tijdsresolutie met ongeveer 10% te verbeteren terwijl de fabricagehaalbaarheid behouden blijft.

Betekenis en Vooruitzicht
Het artikel beweert dat dit werk "what-if"-studies op sensor-geometrie mogelijk maakt die eerder computertechisch onbetaalbaar waren. Door de tijd tot inzicht van weken naar uren te reduceren en gedistribueerde uitvoering mogelijk te maken, maakt het kader systematische optimalisatie van detectorparameters mogelijk.

De auteurs concluderen dat hoewel incrementele winsten (~10%) kunnen worden behaald door geometrische optimalisatie (specifiek het verkorten van de lengte van de uitlees-elektrode), de meest effectieve strategie voor verdere prestatieverbetering blijft het verbeteren van de geleidbaarheid van de ggraphitiseerde kolommen. De resultaten geven aan dat 3D-diamantdetectoren zich snel naderen tot de fundamentele grenzen die worden opgelegd door de uitlees-elektronica. De succesvolle integratie van GPU-versnelling met gedistribueerde HPC/HTC-bronnen via de TeRABIT-infrastructuur biedt een robuust pad voor toekomstig detectorontwerp en optimalisatie.