A Modular Zero-Dead-Time Data Acquisition and Real-Time GPU Processing Platform for High Throughput Physics Experiments

Cet article présente une plateforme modulaire et définie par logiciel qui intègre des numériseurs PCIe à large bande passante avec des GPU grand public pour réaliser une acquisition de données continue sans temps mort et un traitement en temps réel pour des expériences de physique à haut débit, démontrées avec succès dans la recherche de matière noire WISPLC avec un débit soutenu de 1 Go/s et une perte de données négligeable.

L'essentiel

Imaginez que vous essayez d'enregistrer un orchestre symphonique jouant à la vitesse de la lumière. Autrefois, si vous vouliez analyser la musique en temps réel, vous aviez besoin d'une machine massive et sur mesure (comme un robot spécialisé) qui était incroyablement rapide mais très coûteuse, difficile à programmer et complexe à modifier si vous souhaitiez écouter un instrument différent.

Ce papier présente une nouvelle méthode pour réaliser cet enregistrement et cette analyse en utilisant une approche « modulaire ». Au lieu d'un robot sur mesure, l'équipe a construit un système à partir de composants informatiques standards et haute vitesse (comme ceux des PC de jeu) combinés à un programme logiciel ingénieux. Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : L'« Embouteillage »

Dans les expériences de physique à haute vitesse, les données arrivent plus vite que sur une autoroute aux heures de pointe.

• L'Ancienne Méthode : Les systèmes traditionnels utilisent du matériel spécialisé (FPGA) pour gérer ce flux. C'est comme avoir un policier dédié et ultra-rapide qui dirige la circulation. Cela fonctionne parfaitement, mais construire et modifier les instructions de ce policier prend des mois de formation spécialisée et coûte une fortune.
• La Nouvelle Méthode : Cette équipe a réalisé qu'ils pouvaient utiliser la carte graphique (GPU) d'un ordinateur standard — le même type utilisé pour les jeux vidéo — pour effectuer le gros du travail. C'est comme engager une équipe de milliers d'ouvriers efficaces et disponibles dans le commerce, plutôt qu'un seul robot coûteux et sur mesure.

2. La Solution : Un Pipeline « Zéro Temps Mort »

La plus grande crainte dans l'enregistrement de données rapides est le « temps mort ». Il s'agit d'une fraction infime de seconde où le système s'arrête d'enregistrer pour traiter ce qu'il vient de capter. Si vous ratez un battement, les données sont perdues.

Les auteurs ont construit un système qui revendique un temps mort nul.

• L'Analogie : Imaginez un tapis roulant dans une usine. Habituellement, lorsque le tapis s'arrête pour permettre à un ouvrier de ranger une boîte, le tapis s'immobilise et la boîte suivante doit attendre.
• Leur Astuce : Ils ont conçu un système où le tapis roulant ne s'arrête jamais. Pendant qu'un ouvrier (le GPU) range la boîte actuelle, un autre ouvrier saisit déjà la boîte suivante, et un troisième prépare la suivante. Ils utilisent un système de « rappel » (callback), qui agit comme un minuteur disant : « Hé, dès que tu as une boîte de données pleine, traite-la immédiatement, puis retourne au tapis instantanément. »
• Le Résultat : Ils ont prouvé que sur un enregistrement de 10 minutes, ils n'ont manqué aucun « battement » de données. Le système est si précis que, même s'il avait manqué des données, cela représenterait moins d'un billionième du temps total.

3. Le Matériel : Une Boîte « Insonorisée » Sur Mesure

Puisqu'ils utilisent des composants informatiques puissants (GPU) susceptibles de créer du bruit électrique, ils ont dû faire preuve de prudence.

• Le Bouclier : Ils ont construit une boîte en aluminium sur mesure (une cage de Faraday) pour abriter la carte d'enregistrement sensible. Pensez-y comme à une cabine insonorisée pour un chanteur. Elle empêche le « bruit » des ventilateurs et des alimentations de l'ordinateur de perturber les signaux physiques délicats qu'ils tentent de capter.
• Refroidissement : Comme la boîte est compacte, ils ont ajouté des ventilateurs et des dissipateurs thermiques pour éviter que l'électronique ne surchauffe, garantissant ainsi que l'enregistrement reste stable pendant des semaines.

4. Le « Monstre à Trois Têtes » (Configuration Multi-GPU)

Pour gérer la quantité massive de données, ils n'ont pas utilisé une seule carte graphique, mais trois.

• La Chaîne de Montage : Ils ont divisé le travail en trois étapes, comme une chaîne de montage dans une usine automobile :
  1. GPU 1 : Convertit les nombres bruts en tension physique (comme traduire une langue étrangère).
  2. GPU 2 : Effectue les calculs mathématiques complexes (Transformées de Fourier Rapides) pour convertir le son en un spectre de fréquences (comme transformer une chanson en partition musicale).
  3. GPU 3 : Moyenne les résultats et calcule les statistiques.
• Le Compromis : Transférer les données entre ces trois cartes prend un peu plus de temps (comme passer une pièce de voiture le long d'une longue chaîne), mais cela leur permet d'utiliser beaucoup plus de mémoire qu'une seule carte ne pourrait en contenir. Cela leur permet de voir des détails très fins dans les données.

5. Succès Réel : La Chasse à la « Matière Noire »

Ils ont testé ce système dans une expérience réelle appelée WISPLC, qui cherche la « matière noire » (particules invisibles qui constituent la majeure partie de l'univers).

• La Victoire : Avant ce système, l'expérience aurait généré tellement de données brutes qu'il aurait fallu stocker 21 téraoctets chaque jour.
• La Solution : Comme leur système analyse les données au fur et à mesure qu'elles arrivent (en les moyennant immédiatement), ils n'ont eu besoin de stocker que les résultats finaux résumés. Cela a réduit leurs besoins de stockage de 21 To par jour à moins de 20 To par mois.
• Stabilité : Le système a fonctionné en continu pendant un mois entier sans plantage, surchauffe ni perte de données.

Résumé

L'article revendique avoir créé une alternative flexible, moins chère et plus facile à mettre à jour au matériel scientifique coûteux et sur mesure. En utilisant des composants informatiques standards et un logiciel intelligent, ils ont créé un système d'enregistrement « à temps mort nul » capable de gérer des flux de données massifs, de les analyser instantanément et de ne stocker que les éléments importants. Ils ont prouvé son efficacité en faisant fonctionner avec succès une expérience de recherche sur la matière noire d'un mois sans aucun dysfonctionnement.

Résumé technique

Résumé technique : Une plateforme d'acquisition de données à temps mort nul modulaire et de traitement en temps réel sur GPU

Énoncé du problème
Les expériences physiques modernes à haut débit génèrent des volumes de données croissants qui défient les pipelines traditionnels d'acquisition de données (DAQ). Les systèmes conventionnels reposent souvent sur un traitement hors ligne, ce qui est insuffisant pour la recherche flexible de signaux transitoires et la gestion du stockage. Bien que les solutions matérielles utilisant des circuits logiques programmables sur puce (FPGA) ou des systèmes radiofréquences sur puce (RFSoC) offrent une latence déterministe et une haute efficacité, elles présentent des goulots d'étranglement significatifs en matière de développement. Ceux-ci incluent la nécessité d'une expertise spécialisée en langage de description matérielle (HDL) (par exemple, VHDL, Verilog), des temps de compilation longs, des cycles de débogage complexes et des coûts d'entrée élevés. De plus, la nature rigide des architectures matérielles fixes rend le développement itératif d'algorithmes difficile dans les environnements expérimentaux.

Méthodologie
Les auteurs proposent une plateforme DAQ modulaire et définie par logiciel qui intègre des convertisseurs analogique-numérique (ADC) PCIe à large bande passante avec des unités de traitement graphique (GPU) grand public standard. Le système est conçu pour réaliser une acquisition de données continue à temps mort nul et un traitement en temps réel utilisant NVIDIA CUDA.

• Architecture matérielle : Le système de base utilise des numériseurs de la série SPCM de Spectrum Instrumentation (M4i.4420-x8 et M2p.5941-x8) couplés à un processeur multithread et à plusieurs GPU compatibles CUDA. Pour atténuer les interférences électromagnétiques (EMI) provenant des composants hôtes, la carte ADC est physiquement isolée dans une cage de Faraday en aluminium personnalisée de 10 mm d'épaisseur, équipée d'un refroidissement actif. La plateforme prend en charge une configuration à trois GPU (deux NVIDIA RTX 2080 Ti et une RTX A4000) pour surmonter les limitations de VRAM des cartes grand public individuelles, permettant des largeurs de bande de résolution plus élevées.
• Architecture logicielle : Le système emploie une architecture multithread en C/C++ utilisant les threads POSIX (pthreads). Il présente une conception pilotée par des callbacks où un thread travailleur ADC dédié gère le tampon circulaire FIFO matériel. Lorsque les données disponibles dépassent un seuil défini par l'utilisateur, une fonction de rappel fournie par l'utilisateur est invoquée. Cette abstraction permet aux utilisateurs d'implémenter une logique de traitement personnalisée (par exemple, FFT, filtrage, moyennage statistique) sans gérer l'enveloppement mémoire de bas niveau ou les pilotes matériels.
• Pipeline de traitement : Le pipeline de traitement en temps réel implique la conversion des données ADC int16 entrelacées en tensions à virgule flottante, l'application de fonctions de fenêtrage et le calcul de transformées de Fourier rapides (FFT) utilisant la bibliothèque cuFFT. Dans la configuration multi-GPU, la charge de travail est distribuée séquentiellement sur trois GPU : conversion de type sur le premier, calcul FFT sur le second (qui possède la plus grande VRAM) et moyennage statistique sur le troisième. Cette distribution séquentielle évite la complexité des copies mémoire à pas fixe entre dispositifs physiques, bien qu'elle introduise une surcharge de transfert via la RAM hôte.

Contributions clés

1. Architecture logicielle modulaire : Réalisation d'un système DAQ permettant une acquisition de signaux à haut débit continue et un traitement en temps réel utilisant des numériseurs PCIe standard et des GPU grand public, éliminant ainsi le besoin de firmware FPGA spécialisé.
2. Conception pilotée par des callbacks : Implémentation d'un cadre flexible où les utilisateurs définissent la logique de traitement via des callbacks, permettant le calcul en temps réel de statistiques dérivées (puissance, variance, moyennes spectrales) et une adaptation facile à différents algorithmes de traitement du signal.
3. Validation du temps mort nul : Démonstration in situ des capacités d'acquisition continue, validée par des tests de continuité de phase et des runs de stabilité à long terme.
4. Distribution de charge multi-GPU : Une stratégie pour distribuer les tâches de FFT et de moyennage sur plusieurs GPU afin d'atteindre des largeurs de bande de résolution élevées malgré les contraintes de VRAM individuelles.

Résultats

• Benchmarks de performance : La plateforme maintient un traitement continu à des taux d'échantillonnage allant jusqu'à 500 MSa/s, gérant des débits de données de 1 Go/s. Au taux maximal, le traitement en temps réel total consomme environ 80 % du temps DAQ disponible, principalement en raison des latences de transfert mémoire inter-GPU acheminées via la RAM hôte. Au taux inférieur de 124 MSa/s utilisé dans l'expérience WISPLC, l'utilisation du traitement chute à environ 20 %.
• Vérification du temps mort nul :
  • Analyse des limites de fichiers : Des tests injectant des signaux sinusoïdaux à diverses fréquences (de 9 Hz à 19,8 MHz) ont confirmé la continuité de phase à travers les limites de fichiers. La comparaison statistique avec des simulations de Monte Carlo a montré un accord avec le modèle à temps mort nul, excluant toute perte de données lors des retournements de tampon.
  • Validation de bout en bout : Une acquisition continue de 10 minutes d'un signal de 3 MHz a limité la perte fractionnelle de données à moins de $5,6 \times 10^{-12}$ (équivalent à un temps mort hypothétique < 3,33 ns), ce qui est inférieur à un seul intervalle d'échantillonnage à 125 MSa/s.
• Stabilité à long terme : Le système a fonctionné en continu pendant un mois sans plantage, corruption de mémoire ou dégradation des performances. La solution de refroidissement personnalisée a maintenu des températures ADC stables (~48 °C), empêchant la dérive thermique.
• Impact de l'application : Dans l'expérience de matière noire WISPLC, la plateforme a fonctionné à 124 MSa/s avec une largeur de bande de résolution de 0,1 Hz. Le moyennage spectral en temps réel a réduit les besoins de stockage quotidien de données de 21 To à moins de 20 To par mois.

Signification
L'article établit que les plateformes DAQ définies par logiciel à haute performance utilisant des GPU grand public peuvent remplacer efficacement les pipelines matériels spécialisés et rigides (comme les FPGA) pour des installations de laboratoire de taille moyenne à grande. En tirant parti de la programmation C/C++ et CUDA standard, le système abaisse considérablement la barrière à l'entrée pour les expériences à haut débit, permettant une itération rapide des algorithmes de traitement du signal sans redessins matériels. La capacité démontrée à maintenir un temps mort nul à des taux d'échantillonnage élevés tout en effectuant un moyennage en temps réel complexe offre une alternative flexible et rentable aux systèmes de convertisseurs de bande de base numérique (DBBC) traditionnels et aux solutions basées sur FPGA. Les auteurs notent que, bien que l'implémentation actuelle réponde à des besoins physiques spécifiques, l'architecture est adaptable à des applications plus larges, y compris la synthèse de signaux et l'analyse de réseau, à condition que le matériel RF approprié soit intégré.