A converged architecture for processing 32 Tbps of physics data in real-time at the LHCb experiment

Stellen Sie sich eine riesige Hochgeschwindigkeitskamera vor, die keine Bilder von Sonnenuntergängen oder Welpen macht, sondern von den kleinsten Bausteinen des Universums, die aufeinanderprallen. Dies ist die Welt der Teilchenphysik, in der Wissenschaftler massive Maschinen namens Kollider verwenden, um Teilchen Milliarden von Mal pro Sekunde aufeinander abfeuern zu lassen. Wenn diese Teilchen kollidieren, entsteht eine chaotische Explosion neuer Teilchen, als würde man eine Vase zerschlagen, um zu sehen, was sich darin befindet. Das Ziel ist es, einen Blick auf etwas Seltenes und Neues zu erhaschen, das in diesen Trümmern verborgen liegt. Aber hier liegt der Haken: Die Kamera ist so schnell und die Kollisionen so häufig, dass sie einen Berg von Daten produziert – so viele, dass sie Millionen von Festplatten pro Sekunde füllen würden. Wenn Wissenschaftler versuchen würden, jedes einzelne Stück der Daten zu speichern, würden ihre Computer schmelzen und ihr Speicherplatz wäre sofort erschöpft.

Um dieses Problem zu lösen, verwenden Physiker einen „Filter“ oder einen „Trigger“. Stellen Sie sich das wie einen Türsteher bei einem sehr exklusiven Club vor. Der Türsteher muss in einem Bruchteil einer Sekunde entscheiden, welche Kollisionen interessant genug sind, um behalten zu werden, und welche nur langweiliger Hintergrundlärm sind, den man wegwerfen kann. Jahrzehntelang waren diese Türsteher eine Mischung aus spezialisierter Hardware und Computer-Software. Aber als die Maschinen schneller wurden, kamen die alten Türsteher nicht mehr hinterher. Sie waren zu langsam und zu starr und warfen oft interessante Ereignisse weg, nur weil sie nicht so aussah, wie es die Hardware erwartete. Die große Frage lautete: Wie bauen wir einen Filter, der schnell genug ist, um eine Flut von Daten zu bewältigen, intelligent genug, um das Gesamtbild zu erfassen, und flexibel genug, um seine Meinung im Flug zu ändern?

Dieses Papier erzählt die Geschichte, wie das LHCb-Experiment am Large Hadron Collider dieses Problem mit einem massiven Upgrade gelöst hat. Das Team hat ein neues System gebaut, das wie eine super-effiziente All-in-One-Fabrik funktioniert. Anstatt einen langsamen, mehrstufigen Prozess mit verschiedenen Teams zu verwenden, die unterschiedliche Teile der Aufgabe übernehmen, haben sie eine „konvergente Architektur“ geschaffen. Das bedeutet, sie haben die Datenerfassung, die Sortierung und die Filterung in einen einzigen, optimierten Prozess kombtiniert, der auf leistungsstarken Grafikkarten (GPUs) läuft, wie man sie normalerweise in Gaming-Computern findet. Es gelang ihnen, einen atemberaubenden Datenstrom von 32 Terabit pro Sekunde in Echtzeit zu verarbeiten. Das ist die höchste Datenrate, die jemals durch Software in einem Physikexperiment bewältigt wurde. Durch die Entfernung der alten, starren Hardware-Filter und den Ersatz durch ein intelligentes, flexibles Softwaresystem haben sie nicht nur Schritt gehalten, sondern auch die Qualität der Wissenschaft, die sie betreiben können, verbessert und sichergestellt, dass kein seltenes, aufregendes Ereignis durch die Maschen fällt.

Das Problem: Eine Flut von Daten

Der Large Hadron Collider (LHC) zertrümmert Teilchen Milliarden Male pro Sekunde. Jedes Mal, wenn sie kollidieren, wird dies als ein „Event“ bezeichnet. In der Vergangenheit nutzte das LHCb-Experiment ein zweistufiges Filtersystem. Zuerst scannte ein „Low-Level-Trigger“, der aus spezialisierter, kundenspezifisch gebauter Elektronik bestand, die Daten schnell ab und warf die meisten langweiligen Kollisionen weg. Nur diejenigen, die vielversprechend aussah, wurden an einen „High-Level-Trigger“ (Software) weitergeleitet, um genauer untersucht zu werden.

Dieses alte System hatte jedoch einen Fehler. Da der Hardware-Filter nur auf einige spezifische Sensoren achtete, übersah er manchmal interessante Ereignisse, die an anderen Stellen im Detektor stattfanden. Zudem war es schwierig, die Regeln zu ändern, sobald die Hardware gebaut war. Das LHCb-Team entschied sich, den ersten, hardwarebasierten Filter komplett abzuschaffen. Dies bedeutete, dass ihr System 40 Mal mehr Daten bewältigen musste als zuvor. Sie mussten einen Rohdatenstrom von 32 Terabit pro Sekunde (Tbps) verarbeiten und ihn in Echtzeit auf die interessantesten Ereignisse filtern. Wenn sie scheiterten, wären die Daten für immer verloren.

Die Lösung: Eine konvergente Fabrik

Das Team baute ein neues System mit 164 Servern (Computern), die als eine einzige, massive Maschine fungieren. So haben sie es geschafft:

1. Die „Zero-Copy“-Autobahn
Normalerweise muss ein Datensatz, wenn er von einer Netzwerkkarte in den Computerspeicher und dann zu einem Prozessor wandert, mehrmals kopiert werden. Das ist wie das Bewegen eines Kartons von einem Lkw in ein Lagerhaus, dann in ein Regal und schließlich in eine Vitrine. Das kostet Zeit und Energie. Das LHCb-Team verwendete eine „Zero-Copy“-Technik. Stellen Sie sich ein Förderband vor, das direkt vom Lkw durch das Lagerhaus direkt in die Vitrine führt, ohne jemals anzuhalten, um von Hand bewegt zu werden. Dies ermöglichte es ihnen, Daten unglaublich schnell zu bewegen, ohne den Computer zu verlangsamen.

2. Das GPU-Kraftwerk
Anstatt herkömmliche Computerprozessoren (CPUs) für die Schwerstarbeit einzusetzen, verwendeten sie Grafikprozessoren (GPUs). Das sind Chips, die man normalerweise in Gaming-Computern findet und die darauf ausgelegt sind, tausende Aufgaben gleichzeitig zu bewältigen. Das Team erkannte, dass die Rekonstruktion der Pfade von Teilchen der Darstellung einer komplexen 3D-Videospielszene sehr ähnlich ist. Indem sie den gesamten Filterprozess auf GPUs verlagten, konnten sie tausende Kollisionen gleichzeitig verarbeiten.

3. Intelligentes Scheduling
Eine Herausforderung bestand darin, dass nicht alle Kollisionen die gleiche Größe oder Komplexität haben. Einige sind schnell zu analysieren, andere dauern länger. Wenn das System versucht hätte, sie nacheinander zu verarbeiten, wäre es steckengeblieben. Das Team entwickelte einen cleveren „Scheduler“, der Ereignisse in Batches (Paketen) gruppiert. Es ist wie ein Koch, der eine Mahlzeit vorbereitet: Anstatt ein Gericht nach dem anderen zu kochen, bereitet er erst das gesamte Gemüse vor, hackt dann das gesamte Fleisch und kocht schließlich alles zusammen. Dies hält die GPUs beschäftigt und effizient. Sie verwendeten auch einen „Multi-Event-Scheduler“, der den gesamten Batch betrachtet und die beste Reihenfolge für die Ausführung der Schritte festlegt, um sicherzustellen, dass die aufwendigsten Berechnungen nur bei den Ereignissen durchgeführt werden, die sie tatsächlich benötigen.

4. Das Netzwerk
Um alle 164 Server zu verbinden, bauten sie ein maßgeschneidertes Netzwerk unter Verwendung von InfiniBand, einer Technologie, die oft in Supercomputern eingesetzt wird. Sie entwarfen das Netzwerk so, dass jeder Server effizient mit jedem anderen Server kommunizieren konnte, um Verkehrsstaus (ein Problem, das als „Incast“ bekannt ist) zu vermeiden. Dies ermöglichte es ihnen, die Teile jeder Kollision aus verschiedenen Teilen des Detektors zusammenzusetzen und sie zur Filterung an die GPUs zu senden, ohne dass es zu Engpässen kam.

Die Ergebnisse: Rekorde brechen

Das Team testete sein System und stellte fest, dass es genau wie geplant funktionierte.

• Geschwindigkeit: Sie verarbeiteten erfolgreich den vollen 32 Tbps an eingehenden Daten in Echtzeit.
• Filterung: Das System wandte einen Filter an, der die Daten um den Faktor 30:1 reduzierte. Das bedeutet, dass von 30 Kollisionen nur eine für die weitere Untersuchung behalten wurde.
• Skalierbarkeit: Als sie das System mit mehr Servern testeten, skalierte es perfekt hoch. Das System konnte die volle Designrate des LHC bewältigen, die bei 30 Millionen Kollisionen pro Sekunde liegt.
• Effizienz: Das System nutzte 164 Server, die mit 328 GPUs (zwei pro Server) ausgestattet waren. Die Rechenleistung war massiv, aber das Design war effizient genug, dass sie nicht wie in der Vergangenheit tausende Maschinen benötigten.

Das Paper bestätigt, dass dieses System in der Lage ist, die höchste in der Physik jemals erreichte Software-Datenrate zu verarbeiten. Es bewies, dass man die alten, starren Hardware-Filter entfernen und durch ein flexibles, softwarebasiertes System ersetzen kann, das schneller und intelligenter ist.

Warum es wichtig ist

Es geht nicht nur darum, mehr Daten zu bewältigen; es geht darum, mehr vom Universum zu sehen. Durch die Entfernung des Hardware-Filters kann das LHCb-Experiment nun den gesamten Detektor auf interessante Ereignisse beobachten, nicht nur die Teile, auf die die alte Hardware programmiert war. Dies bedeutet, dass sie nun seltene Teilchen oder neue Physik finden könnten, die zuvor unsichtbar waren. Der Erfolg dieser „konvergenten Architektur“ setzt einen neuen Standard dafür, wie zukünftige Teilchenphysik-Experimente aufgebaut werden sollten, und zeigt, dass wir mit der richtigen Mischung aus Standardtechnologie und cleverer Software die Grenzen dessen verschieben können, was in der Wissenschaft möglich ist.