GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Dieser Beitrag stellt ein GPU-beschleunigtes, verteiltes Simulationsframework vor, das die TeRABIT-Infrastruktur nutzt, um effizient eine neuartige partielle Differentialgleichung dritter Ordnung zur Modellierung der Signalausbildung in 3D-Diamantsensoren zu lösen und damit schnelle Was-wäre-wenn-Studien zur Sensorgeometrie zu ermöglichen.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, ein Flüstern in einem sehr langen, lauten Flur zu hören. Das Flüstern ist ein winziges Signal von einem Teilchen der Strahlung, das auf einen Diamantsensor trifft. Der Flur ist der Diamant selbst, und die Wände sind mit speziellen Kohlenstoff-„Drähten" (Elektroden) ausgekleidet, die den Schall zu Ihrem Ohr (dem Computer) tragen.

Das Problem ist, dass diese Kohlenstoffdrähte nicht perfekt sind; sie sind ein wenig wie alte, rostige Rohre. Wenn das Signal durch sie hindurchläuft, wird es verzögert und verzerrt, ähnlich wie ein Schall in einem langen Tunnel hallt und verblasst. Dies macht es schwierig, genau zu wissen, wann das Flüstern begann, was für Hochgeschwindigkeits-Physikexperimente entscheidend ist.

So haben die Forscher in diesem Papier das Problem gelöst, genau herauszufinden, wie sich dieses Signal verhält, indem sie eine Mischung aus hochintelligenter Mathematik und superschnellen Computern verwendeten.

1. Der alte Weg: Der Versuch, ein Labyrinth mit einer Taschenlampe zu kartieren

Zuvor versuchten Wissenschaftler zu simulieren, wie sich diese Signale durch den Diamanten bewegen. Es war wie der Versuch, ein riesiges, dreidimensionales Labyrinth zu kartieren, indem man Schritt für Schritt mit einer Taschenlampe durchgeht.

• Der Flaschenhals: Die Mathematik, die erforderlich war, um vorherzusagen, wie sich das Signal durch die „rostigen Rohre" windet und dreht, war unglaublich aufwendig. Es dauerte einen ganzen Supercomputer-Wochen, um nur eine Version des Sensors zu simulieren.
• Die Einschränkung: Da es so lange dauerte, konnten sie nicht viele verschiedene Designs testen. Sie steckten in einer Form fest und konnten nicht fragen: „Was wäre, wenn wir die Drähte dünner machen?" oder „Was wäre, wenn der Diamant kürzer wäre?"

2. Das neue Werkzeug: Der „TeRABIT"-Super-Express

Die Autoren bauten eine neue Simulationsengine namens WeightingTide. Stellen Sie sich dies vor als Ersatz der langsamen, schrittweisen Taschenlampe durch eine Flotte von Hochgeschwindigkeits-Drohnen, die das gesamte Labyrinth auf einmal überfliegen können.

• Der GPU-Boost: Sie verlagerten die schwere Mathematik auf GPUs (die leistungsstarken Chips, die normalerweise in Videospiele-Computern zu finden sind). Anstatt dass ein Gehirn die Mathematik erledigt, nutzten sie Tausende von kleinen Gehirnen, die gleichzeitig arbeiteten. Dies verwandelte eine einwöchige Aufgabe in ein paar Stunden.
• Das „TeRABIT"-Netzwerk: Um noch mehr Arbeit zu bewältigen, verwendeten sie nicht nur einen Computer. Sie verbanden Computer in verschiedenen Städten (Florenz, Bologna und Padua) über ein spezielles Internetprotokoll namens InterLink. Stellen Sie sich ein Staffellauf vor, bei dem Läufer in verschiedenen Städten das Staffelholz sofort weitergeben. Wenn ein Computer beschäftigt ist, wird die Arbeit sofort an einen anderen in der Nähe übergeben. Sie speicherten die Daten in einem zentralen „Cloud-Schließfach" (S3-Speicher), damit jeder das Benötigte abholen konnte, ohne die lokalen Straßen zu verstopfen.

3. Das „Was-wäre-wenn"-Spiel: Den perfekten Sensor entwerfen

Mit diesem neuen, schnellen System konnte das Team endlich ein „Was-wäre-wenn"-Spiel spielen. Sie testeten Tausende verschiedener Formen für den Diamantsensor, um zu sehen, welche das klarste, schnellste Signal liefern würde.

Sie konzentrierten sich auf zwei Hauptteile des Sensors:

• Die „Bias"-Drähte (Die Stromversorgung): Sie fragten sich, ob es helfen würde, diese Drähte dünner zu machen.
  • Die Überraschung: Sie stellten fest, dass das Dünnermachen dieser Drähte die Zeitmessung tatsächlich nicht viel veränderte. Es war wie die Erkenntnis, dass das Anziehen des Türgriffs das Quietschen nicht stoppt; das Quietschen kommt von den Scharnieren anderswo.
• Die „Readout"-Drähte (Der Signalpfad): Sie testeten, den Diamanten dünner zu machen, was den Weg verkürzt, den das Signal zurücklegen muss.
  • Die Entdeckung: Dies half tatsächlich! Das Verkürzen des Weges, den das Signal zurücklegt, reduzierte die Verzögerung. Es ist wie das Verkürzen eines langen Flurs; das Flüstern erreicht Ihr Ohr schneller und klarer.

4. Das Ergebnis: Ein schärferes Bild

Durch die Kombination dieser Erkenntnisse schlug das Team ein neues Design vor:

1. Machen Sie die „Readout"-Drähte kürzer (durch Verwendung eines dünneren Diamanten).
2. Machen Sie die „Bias"-Drähte so dünn wie möglich (um Geld zu sparen und das Risiko zu verringern, dass der Diamant während der Herstellung bricht), da ihre Größe die Zeitmessung nicht beeinträchtigt.

Das Fazit:
Diese neue Simulationsmethode ist wie der Upgrade von einem langsamen, manuellen Kartenzeichner zu einem Echtzeit-GPS-System. Es ermöglichte den Wissenschaftlern, Designs schnell zu testen und einen Weg zu finden, die Zeitmessgenauigkeit des Sensors um etwa 10 % zu verbessern. Dies bringt sie näher an das ultimative Ziel: Teilchen mit einer Zeitauflösung zu detektieren, die so schnell ist, dass sie besser als 100 Pikosekunden ist (das sind 100 Billionstel Sekunden!).

Sie erfanden heute keinen neuen Sensor, aber sie bauten den „Windkanal", der es Ingenieuren ermöglicht, den bestmöglichen Sensor für die Zukunft zu entwerfen.

Technische Zusammenfassung

Technische Zusammenfassung: GPU-beschleunigte Simulation von 3D-Diamantsensoren unter Verwendung der TeRABIT-Infrastruktur

Problemstellung
Diamantdetektoren mit senkrecht zur Oberfläche angeordneten Elektroden, die durch laserinduzierte Graphitisierung erzeugt werden, bieten aufgrund ihrer Strahlungshärte und schnellen Zeitauflösung erhebliches Potenzial für die Hochenergiephysik, Nuklearmedizin und Dosimetrie. Jüngste Fortschritte in der Graphitisierung haben Zeitauflösungen von besser als 100 ps ermöglicht. Die genaue Simulation der Signalbildung in diesen Geräten bleibt jedoch eine erhebliche rechnerische Herausforderung. Der Prozess der Signalbildung umfasst ein komplexes Zusammenspiel von Schwankungen der Energieabscheidung, Ladungsträgertransport, Signalausbreitung und Leseelektronik.

Standard-Simulationsmethoden, die auf dem Ramo-Shockley-Theorem basieren, sind unzureichend, da sie die Impedanzeffekte resistiver Elektroden nicht berücksichtigen, welche die Zeitauflösung in diesen 3D-Strukturen dominieren. Während eine Erweiterung des Theorems durch Riegler diese Effekte über eine vierdimensionale Korrelationsfunktion, $\vec{H}(\vec{x}, t)$, einbezieht, ist die numerische Berechnung dieser Funktion rechenintensiv. Frühere Versuche mit Pseudo-Spektralmethoden in Python (mit C-Erweiterungen) und COMSOL MultiPhysics® waren entweder zu langsam für eine systematische geometrische Optimierung oder durch Speichergrenzen eingeschränkt, die eine verteilte Berechnung auf High-Throughput-Computing (HTC)-Grids verhinderten.

Methodik
Die Autoren entwickelten ein neues Simulationsframework, das diese Engpässe durch drei primäre technische Innovationen adressiert:

1. Orchestrierter Mikro-Schritt-Workflow: Die Simulation ist als Directed-Acyclic-Graph (DAG)-Workflow strukturiert, der von Snakemake orchestriert wird. Dieser Workflow unterteilt den Prozess in sechs distincte Schritte:

   • Geometriekompilierung (OpenSCAD zu STL).
   • Berechnung des elektrostatischen Feldes (Lösen der Laplace-Gleichung).
   • Berechnung der Korrelationsfunktion (Lösen einer partiellen Differentialgleichung dritter Ordnung, die aus den Maxwell-Gleichungen in quasistatischer Näherung abgeleitet ist).
   • Simulation von Ladungsträgerbahnen (unter Verwendung von Garfield++).
   • Berechnung des induzierten Stroms (Faltung von Geschwindigkeit und Korrelationsfunktion).
   • Simulation der Elektronik und DAQ.
     Zwischendatenformate sind für die Leistung optimiert, einschließlich der Verwendung von Apache Arrow zur Reduzierung der Dateigrößen um ca. 80 % sowie von Deserialisierungsaufwand.

2. GPU-Beschleunigung (WeightingTide): Leistungskritische Schritte, insbesondere die Berechnung des elektrostatischen Feldes und der Korrelationsfunktion $\vec{H}(\vec{x}, t)$, wurden unter Verwendung der CuPy-Bibliothek auf GPUs portiert.

   • Elektrostatik: Eine iterative Pseudo-Spektral-Methode löst die Laplace-Gleichung unter Verwendung von 3D-FFTs und benutzerdefinierten CUDA-Kernen. Benutzerdefinierte Kerne wurden eingesetzt, um spektrale Darstellungen mit dem quadrierten Impuls des Wellenvektors zu multiplizieren, wodurch der benötigte GPU-Speicher im Vergleich zu einer reinen Python-Implementierung halbiert wurde.
   • Korrelationsfunktion: Ein benutzerdefinierter CUDA-Kern berechnet die Spannung, die durch Punktladungen an den Grenzen gesetzt wird, und setzt Randbedingungen durch das Kopieren von neu skalierten Abschnitten fundamentaler Lösungen durch. Dieser Schritt, der die CPU-Laufzeit dominierte, erzielte auf GPUs eine 100-fache Beschleunigung.
   • Faltung: Die Faltung der Ladungsträgergeschwindigkeiten mit der Korrelationsfunktion wurde auf die GPU ausgelagert. Die Korrelationsfunktion wurde in GPU-Texturspeicher geladen, um hardwarebeschleunigte lineare Interpolation entlang der Ladungsträgerbahnen zu nutzen.

3. Verteiltes Rechnen via TeRABIT und InterLink: Um systematische Parameterscans zu ermöglichen, wurde der Workflow über heterogene Rechenressourcen verteilt. Das System nutzt die TeRABIT HPC „Bubbles" (insbesondere den Standort Padova mit H200-GPUs) und die INFN-CNAF HTC-Ressourcen (nur CPU-Knoten).

   • Der Snakemake-Workflow interagiert mit einem Kubernetes-Cluster, der von Kueue verwaltet wird.
   • Das InterLink-Projekt definiert virtuelle Knoten, die containerisierte Payloads (verwaltet via Apptainer und CVMFS) an entfernten Standorten (CNAF und Padova) statt auf lokalen physischen Knoten ausführen.
   • Der Datenaustausch zwischen geografisch weit entfernten Standorten erfolgt über einen zentralen S3-kompatiblen Speicher (Deuxfleurs Garage), wobei die Datenübertragungsbandbreite als primärer Engpass bei der parallelen Ausführung festgestellt wurde.

Hauptbeiträge

• Algorithmische Innovation: Die Entwicklung eines Lösers unter Verwendung fundamentaler Lösungen zur Auferlegung von Randbedingungen und spektraler Methoden zur Erweiterung der Lösung auf den Bulk des Diamantdetektors, wodurch die für zeitabhängige Gewichtungspotenziale erforderliche partielle Differentialgleichung dritter Ordnung gelöst wird.
• Software-Portierung: Die erfolgreiche Migration von leistungskritischen Simulationsschritten auf GPUs, wodurch die Zeit bis zur Erkenntnis für eine einzelne Geometrie von etwa einer Woche auf wenige Stunden reduziert wurde.
• Infrastruktur-Integration: Der Nachweis eines verteilten Rechenmodells, das HTC- (CNAF) und HPC-Ressourcen (TeRABIT Padova) nahtlos über das InterLink-Protokoll und Kubernetes integriert und die Orchestrierung komplexer, mehrstufiger wissenschaftlicher Workflows über Standorte hinweg ermöglicht.
• Paketentwicklung: Die Erstellung des Python-Pakets WeightingTide, das die CuPy-basierten GPU-beschleunigten Methoden für elektrostatische und Korrelationsfunktionsberechnungen kapselt.

Ergebnisse
Unter Verwendung der neuen Simulationsarchitektur führten die Autoren systematische parametrische Studien an 3D-Diamantdetektoren mit graphitisierten Elektroden durch, wobei sie sich auf zwei geometrische Variablen konzentrierten: Durchmesser der Vorspannelektrode und Dicke des Diamant-Bulk.

• Durchmesser der Vorspannelektrode: Entgegen der anfänglichen Erwartung, dass der Elektrodenwiderstand die Zeitauflösung linear bestimmen würde, ergab die Studie, dass die Zeitauflösung weitgehend unabhängig vom Durchmesser der Vorspannelektrode ist (variiert von 6 bis 14 $\mu$m). Die Autoren führen dies auf die 3D-Geometrie zurück, bei der der Beitrag der Vorspannelektroden zur Entwicklung der Korrelationsfunktion im Vergleich zu den Leseelektroden vernachlässigbar ist. Dies legt nahe, dass Vorspannelektroden mit sehr kleinen Durchmessern hergestellt werden können, um Schadensrisiken während der Graphitisierung zu minimieren, ohne die Zeitleistung zu beeinträchtigen.
• Bulk-Dicke: Die Studie bestätigte, dass sich die Zeitauflösung verbessert, wenn die Dicke des Diamant-Bulk abnimmt. Dies steht im Einklang mit der Erkenntnis, dass die Signalausbreitung entlang der Leseelektrode der dominierende Faktor ist, der die Zeitbegrenzung bestimmt. Kürzere Leseelektroden (dünnere Bulk) verbessern die Zeitleistung direkt.
• Optimierungsvorschlag: Basierend auf diesen Ergebnissen schlagen die Autoren eine neue Sensorgeometrie (Abb. 7) vor, die verkürzte Leseelektroden und minimierte Durchmesser der Vorspannelektroden aufweist. Diese Konfiguration soll die Zeitauflösung um etwa 10 % verbessern, während die Herstellbarkeit erhalten bleibt.

Bedeutung und Ausblick
Die Arbeit behauptet, dass diese Arbeit „Was-wäre-wenn"-Studien zur Sensorgeometrie ermöglicht, die zuvor rechnerisch untragbar waren. Durch die Reduzierung der Zeit bis zur Erkenntnis von Wochen auf Stunden und die Ermöglichung einer verteilten Ausführung ermöglicht das Framework eine systematische Optimierung von Detektorparametern.

Die Autoren kommen zu dem Schluss, dass zwar inkrementelle Gewinne (~10 %) durch geometrische Optimierung (insbesondere die Verkürzung der Länge der Leseelektrode) erzielt werden können, die effektivste Strategie zur weiteren Leistungssteigerung jedoch weiterhin in der Verbesserung der Leitfähigkeit der graphitisierten Säulen liegt. Die Ergebnisse deuten darauf hin, dass sich 3D-Diamantdetektoren den fundamentalen Grenzen, die durch die Leseelektronik auferlegt werden, rasch nähern. Die erfolgreiche Integration der GPU-Beschleunigung mit verteilten HPC/HTC-Ressourcen über die TeRABIT-Infrastruktur bietet einen robusten Weg für zukünftiges Detektordesign und -optimierung.