GPU-Accelerated Simulation of 3D Diamond Sensors Using the TeRABIT Infrastructure

Cet article présente un cadre de simulation distribué accéléré par GPU, exploitant l'infrastructure TeRABIT pour résoudre efficacement une nouvelle équation aux dérivées partielles d'ordre trois modélisant la formation du signal dans des capteurs diamantés 3D, permettant ainsi des études de type « what-if » rapides sur la géométrie des capteurs.

L'essentiel

Imaginez que vous essayez d'écouter un chuchotement dans un couloir très long et bruyant. Le chuchotement est un minuscule signal provenant d'une particule de radiation frappant un capteur en diamant. Le couloir est le diamant lui-même, et les murs sont tapissés de « fils » en carbone spéciaux (électrodes) qui transportent le son jusqu'à votre oreille (l'ordinateur).

Le problème est que ces fils en carbone ne sont pas parfaits ; ils ressemblent un peu à de vieilles tuyauteries rouillées. Lorsque le signal les traverse, il subit un retard et une distorsion, tout comme un son qui fait écho et s'estompe dans un long tunnel. Cela rend difficile la détermination exacte du moment où le chuchotement a commencé, ce qui est crucial pour les expériences de physique à haute vitesse.

Voici comment les chercheurs de cet article ont résolu le problème de la détermination exacte du comportement de ce signal, en utilisant un mélange de mathématiques ultra-intelligentes et d'ordinateurs ultra-rapides.

1. L'Ancienne Méthode : Tenter de Cartographier un Labyrinthe avec une Lampe de Poche

Auparavant, les scientifiques tentaient de simuler le déplacement de ces signaux à travers le diamant. C'était comme essayer de cartographier un labyrinthe géant en trois dimensions en le parcourant pas à pas avec une lampe de poche.

• Le Goulot d'Étranglement : Les mathématiques nécessaires pour prédire comment le signal se tord et tourne à travers les « tuyaux rouillés » étaient incroyablement lourdes. Il fallait à un supercalculateur une semaine entière pour simuler une seule version du capteur.
• La Limitation : Comme cela prenait si longtemps, ils ne pouvaient pas tester de nombreux designs différents. Ils étaient coincés avec une seule forme, incapables de se demander : « Et si nous rendions les fils plus fins ? » ou « Et si le diamant était plus court ? »

2. Le Nouvel Outil : Le Super-Express « TeRABIT »

Les auteurs ont construit un nouveau moteur de simulation appelé WeightingTide. Imaginez cela comme le remplacement de la lampe de poche lente et pas à pas par une flotte de drones haute vitesse capables de survoler l'ensemble du labyrinthe d'un seul coup.

• L'Impulsion GPU : Ils ont déplacé les calculs lourds vers des GPU (les puces puissantes généralement trouvées dans les ordinateurs de jeux vidéo). Au lieu d'un seul cerveau effectuant les calculs, ils ont utilisé des milliers de petits cerveaux travaillant simultanément. Cela a transformé une tâche d'une semaine en quelques heures.
• Le Réseau « TeRABIT » : Pour gérer encore plus de travail, ils n'ont pas utilisé un seul ordinateur. Ils ont connecté des ordinateurs dans différentes villes (Florence, Bologne et Padoue) en utilisant un protocole Internet spécial appelé InterLink. Imaginez une course de relais où les coureurs dans différentes villes se passent le témoin instantanément. Si un ordinateur est occupé, le travail est instantanément transféré à un autre à proximité. Ils ont stocké les données dans un « casier cloud » central (stockage S3) afin que chacun puisse prendre ce dont il a besoin sans encombrer les routes locales.

3. Le Jeu du « Et Si » : Concevoir le Capteur Parfait

Avec ce nouveau système rapide, l'équipe a enfin pu jouer au jeu du « Et si ? ». Ils ont testé des milliers de formes différentes pour le capteur en diamant afin de voir laquelle donnerait le signal le plus clair et le plus rapide.

Ils se sont concentrés sur deux parties principales du capteur :

• Les Fils « Bias » (L'Alimentation Électrique) : Ils se sont demandé si rendre ces fils plus fins aiderait.
  • La Surprise : Ils ont découvert que rendre ces fils plus fins ne changeait pas vraiment le timing. C'était comme réaliser que serrer la poignée d'une porte n'arrête pas le grincement ; le grincement vient des charnières ailleurs.
• Les Fils « Readout » (Le Chemin du Signal) : Ils ont testé la réduction de l'épaisseur du diamant, ce qui raccourcit le chemin que le signal doit parcourir.
  • La Découverte : Cela a aidé ! Raccourcir le chemin parcouru par le signal a réduit le retard. C'est comme raccourcir un long couloir ; le chuchotement atteint votre oreille plus vite et plus clairement.

4. Le Résultat : Une Image Plus Nettes

En combinant ces découvertes, l'équipe a proposé un nouveau design :

1. Rendre les fils « readout » plus courts (en utilisant un diamant plus fin).
2. Rendre les fils « bias » aussi fins que possible (pour économiser de l'argent et réduire le risque de casser le diamant pendant la fabrication), car leur taille n'affecte pas le timing.

L'Essentiel :
Cette nouvelle méthode de simulation est comme passer d'un cartographe manuel et lent à un système GPS en temps réel. Elle a permis aux scientifiques de tester rapidement des designs et a trouvé un moyen d'améliorer la précision temporelle du capteur d'environ 10 %. Cela les rapproche de l'objectif ultime : détecter des particules avec une résolution temporelle si rapide qu'elle est meilleure que 100 picosecondes (ce sont 100 billionièmes de seconde !).

Ils n'ont pas inventé un nouveau capteur aujourd'hui, mais ils ont construit le « tunnel à vent » qui permet aux ingénieurs de concevoir le meilleur capteur possible pour l'avenir.

Résumé technique

Résumé technique : Simulation accélérée par GPU de capteurs diamant 3D utilisant l'infrastructure TeRABIT

Énoncé du problème
Les détecteurs en diamant dotés d'électrodes orthogonales à la surface, créées par graphitisation induite par laser, offrent un potentiel significatif pour la physique des hautes énergies, la médecine nucléaire et la dosimétrie, en raison de leur résistance aux radiations et de leurs capacités de chronométrage rapide. Les récentes avancées dans la graphitisation ont permis des résolutions temporelles inférieures à 100 ps. Cependant, la simulation précise de la formation du signal dans ces dispositifs reste un défi computationnel majeur. Le processus de formation du signal implique une interaction complexe entre les fluctuations de dépôt d'énergie, le transport des porteurs, la propagation du signal et l'électronique de lecture.

Les méthodes de simulation standard basées sur le théorème de Ramo–Shockley sont insuffisantes car elles ne tiennent pas compte des effets d'impédance des électrodes résistives, qui dominent la résolution temporelle dans ces structures 3D. Bien qu'une extension du théorème par Riegler intègre ces effets via une fonction de corrélation à quatre dimensions, $\vec{H}(\vec{x}, t)$, le calcul numérique de cette fonction est coûteux en termes de ressources. Les tentatives précédentes utilisant des méthodes pseudo-spectrales en Python (avec des extensions C) et COMSOL MultiPhysics® étaient soit trop lentes pour une optimisation géométrique systématique, soit limitées par la mémoire, empêchant le calcul distribué sur des grilles de calcul à haut débit (HTC).

Méthodologie
Les auteurs ont développé un nouveau cadre de simulation qui répond à ces goulots d'étranglement grâce à trois innovations techniques principales :

1. Flux de travail orchestré en micro-étapes : La simulation est structurée comme un flux de travail sous forme de graphe orienté acyclique (DAG) orchestré par Snakemake. Ce flux décompose le processus en six étapes distinctes :

   • Compilation de la géométrie (d'OpenSCAD vers STL).
   • Calcul du champ électrostatique (résolution de l'équation de Laplace).
   • Calcul de la fonction de corrélation (résolution d'une équation aux dérivées partielles du troisième ordre dérivée des lois de Maxwell dans une approximation quasi-statique).
   • Simulation des trajectoires des porteurs (en utilisant Garfield++).
   • Calcul du courant induit (convolution de la vitesse et de la fonction de corrélation).
   • Simulation de l'électronique et du système d'acquisition de données (DAQ).
     Les formats de données intermédiaires sont optimisés pour la performance, notamment l'utilisation d'Apache Arrow pour réduire la taille des fichiers d'environ 80 % ainsi que la surcharge de désérialisation.

2. Accélération par GPU (WeightingTide) : Les étapes critiques pour la performance, spécifiquement le calcul du champ électrostatique et de la fonction de corrélation $\vec{H}(\vec{x}, t)$, ont été portées vers les GPU en utilisant la bibliothèque CuPy.

   • Électrostatique : Une méthode pseudo-spectrale itérative résout l'équation de Laplace en utilisant des transformées de Fourier rapides (FFT) 3D et des noyaux CUDA personnalisés. Des noyaux personnalisés ont été employés pour multiplier les représentations spectrales par le carré de la quantité de mouvement du vecteur d'onde, réduisant ainsi de moitié la mémoire GPU requise par rapport à une implémentation purement Python.
   • Fonction de corrélation : Un noyau CUDA personnalisé calcule le potentiel défini par des charges ponctuelles aux limites, en imposant les conditions aux limites par copie de blocs redimensionnés de solutions fondamentales. Cette étape, qui dominait le temps d'exécution sur CPU, a atteint une accélération de 100 fois sur les GPU.
   • Convolution : La convolution des vitesses des porteurs avec la fonction de corrélation a été déléguée au GPU. La fonction de corrélation a été chargée dans la mémoire texture du GPU pour exploiter l'interpolation linéaire accélérée par matériel le long des trajectoires des porteurs.

3. Calcul distribué via TeRABIT et InterLink : Pour permettre des scans systématiques de paramètres, le flux de travail a été distribué sur des ressources de calcul hétérogènes. Le système utilise les ressources HPC « Bulles » de TeRABIT (spécifiquement le site de Padoue avec des GPU H200) et les ressources HTC de l'INFN-CNAF (nœuds uniquement CPU).

   • Le flux de travail Snakemake interagit avec un cluster Kubernetes géré par Kueue.
   • Le projet InterLink définit des nœuds virtuels qui exécutent des charges utiles conteneurisées (gérées via Apptainer et CVMFS) sur des sites distants (CNAF et Padoue) plutôt que sur des nœuds physiques locaux.
   • L'échange de données entre des sites géographiquement éloignés est géré via un stockage centralisé compatible S3 (Deuxfleurs Garage), bien que la bande passante de transfert de données soit notée comme le principal goulot d'étranglement lors de l'exécution parallèle.

Contributions clés

• Innovation algorithmique : Le développement d'un solveur utilisant des solutions fondamentales pour imposer les conditions aux limites et des méthodes spectrales pour étendre la solution au volume du détecteur en diamant, résolvant ainsi l'EDP du troisième ordre requise pour les potentiels de pondération dépendants du temps.
• Portage logiciel : La migration réussie des étapes de simulation critiques pour la performance vers les GPU, réduisant le temps d'obtention des résultats pour une géométrie unique d'environ une semaine à quelques heures.
• Intégration d'infrastructure : La démonstration d'un modèle de calcul distribué intégrant de manière transparente les ressources HTC (CNAF) et HPC (TeRABIT Padoue) via le protocole InterLink et Kubernetes, permettant l'orchestration de flux de travail scientifiques complexes et multi-étapes entre sites.
• Développement de paquetage : La création du paquetage Python WeightingTide, qui encapsule les méthodes accélérées par GPU basées sur CuPy pour les calculs électrostatiques et de fonction de corrélation.

Résultats
En utilisant la nouvelle architecture de simulation, les auteurs ont réalisé des études paramétriques systématiques sur des détecteurs en diamant 3D avec des électrodes graphitisées, en se concentrant sur deux variables géométriques : le diamètre de l'électrode de polarisation et l'épaisseur du volume de diamant.

• Diamètre de l'électrode de polarisation : Contrairement aux attentes initiales selon lesquelles la résistance de l'électrode dicterait linéairement la résolution temporelle, l'étude a révélé que la résolution temporelle est largement indépendante du diamètre de l'électrode de polarisation (variant de 6 à 14 $\mu$m). Les auteurs attribuent cela à la géométrie 3D, où la contribution des électrodes de polarisation à l'évolution de la fonction de corrélation est négligeable par rapport aux électrodes de lecture. Cela suggère que les électrodes de polarisation peuvent être fabriquées avec des diamètres très réduits pour minimiser les risques de dommages lors de la graphitisation sans compromettre les performances de chronométrage.
• Épaisseur du volume : L'étude a confirmé que la résolution temporelle s'améliore à mesure que l'épaisseur du volume de diamant diminue. Cela est cohérent avec la découverte que la propagation du signal le long de l'électrode de lecture est le facteur dominant limitant le chronométrage. Des électrodes de lecture plus courtes (volume plus mince) améliorent directement les performances de chronométrage.
• Proposition d'optimisation : Sur la base de ces résultats, les auteurs proposent une nouvelle géométrie de capteur (Fig. 7) comportant des électrodes de lecture raccourcies et des diamètres d'électrodes de polarisation minimisés. Cette configuration devrait améliorer la résolution temporelle d'environ 10 % tout en maintenant la faisabilité de fabrication.

Importance et perspectives
L'article affirme que ce travail permet des études de type « que se passerait-il si » sur la géométrie des capteurs qui étaient auparavant prohibitives en termes de calcul. En réduisant le temps d'obtention des résultats de plusieurs semaines à quelques heures et en permettant une exécution distribuée, le cadre permet une optimisation systématique des paramètres des détecteurs.

Les auteurs concluent que, bien que des gains incrémentiels (~10 %) puissent être obtenus par optimisation géométrique (spécifiquement la réduction de la longueur des électrodes de lecture), la stratégie la plus efficace pour améliorer davantage les performances reste l'amélioration de la conductivité des colonnes graphitisées. Les résultats indiquent que les détecteurs en diamant 3D approchent rapidement des limites fondamentales imposées par l'électronique de lecture. L'intégration réussie de l'accélération par GPU avec des ressources HPC/HTC distribuées via l'infrastructure TeRABIT offre une voie robuste pour la conception et l'optimisation futures des détecteurs.