A Scalable Two-Stage Back-End Architecture for 400GbE Data Acquisition Systems

Im Herzen Europas, unter der Grenze zwischen Frankreich und der Schweiz, liegt der Large Hadron Collider, eine Maschine, die so gewaltig ist, dass sie die Erdkruste umkreist, um Teilchen mit nahezu Lichtgeschwindigkeit zur Kollision zu bringen. Wenn diese Kollisionen auftreten, erzeugen sie eine Flut von Daten, einen Strom von Informationen, die erfasst, sortiert und analysiert werden müssen, bevor sie verschwinden. Diese Aufgabe fällt dem Datenerfassungssystem zu, einem komplexen Netzwerk aus Elektronik, das als das Nervensystem des Experiments fungiert. Es muss Signale von Tausenden winziger Sensoren sammeln, die über einen massiven Detektor verteilt sind, wobei jeder Sensor in einer spezialisierten, strahlungsresistenten Sprache spricht. Die Herausforderung besteht nicht nur darin, diesen Flüstern zuzuhören, sondern sie aus jedem Winkel der Maschine einzusammeln und zu einem einzigen, tosenden Informationsstrom zusammenzuführen, der von Computern verarbeitet werden kann. Während sich die Maschine auf ihre nächste, leistungsstärkere Phase vorbereitet, wird das Volumen dieser Daten explosionsartig ansteigen, was die Gefahr birgt, eben jene Drähte und Chips zu überlasten, die für deren Übertragung konzipiert wurden.

Seit Jahrzehnten verlassen sich Wissenschaftler auf leistungsstarke, teure Computerchips, sogenannte Field-Programmable Gate Arrays, um diese schwere Arbeit zu leisten. Diese Chips sind wie universelle Übersetzer, die in der Lage sind, die einzigartigen Signale der Sensoren zu dekodieren und sie in ein Format umzuwandeln, das Standardcomputer verstehen können. Da jedoch die Datenraten in Richtung hunderte Terabit pro Sekunde steigen, wird der traditionelle Ansatz, für jede einzelne Verbindung die leistungsstärksten und teuersten Chips zu verwenden, technisch zu schwierig zu handhaben und wird zu kostspielig. Die Drähte innerhalb dieser massiven Chips laufen an Platz, und die Energie, die erforderlich ist, um sie zu kühlen, wird zu einem limitierenden Faktor. Die Forscher am CERN, insbesondere das Team, das am LHCb-Experiment arbeitet, sahen sich mit einer Zukunft konfrontiert, in der sich die Anzahl der Datenverbindungen verdreifachen würde, was eine neue Art des Denkens darüber erfordert, wie Daten vom Detektor zum Computerpark gelangen.

Um dies zu lösen, schlug das Team eine zweistufige Architektur vor, die die Arbeitslast von den teuersten Komponenten wegverlagert. Anstatt einen einzelnen, massiven Chip alles bewältigen zu lassen, entwarfen sie ein System, das die Aufgabe in zwei deutliche Phasen unterteilt. In der ersten Phase übernimmt ein Mittelklasse-Computerchip, der weniger teuer und in größerer Zahl vorhanden ist, die eingehenden Signale der Sensoren. Dieser Chip fungt als lokaler Sammler, der Dutzende dieser einzelnen Ströme einsammelt und sie zu einigen wenigen schnelleren Verbindungen bündelt. Er versucht nicht, alles gleichzeitig zu erledigen; er organisiert lediglich den Verkehr und bereitet ihn für das nächste Teilstück der Reise vor.

Die zweite Stufe ist der Bereich, in dem die Innovation wirklich glänzt. Die gebündelten Datenströme treffen an einer spezialisierten Netzwerkkomponente ein, einem Gerät, das speziell dafür entwickelt wurde, mehrere Hochgeschwindigkeitskanäle zu einem einzigen massiven Highway zu verschmelzen. Diese Komponente, bekannt als Ethernet-Physical-Layer-Device, nimmt drei separate Datenströme und führt sie zu einer einzigen, unglaublich schnellen Verbindung zusammen, die in der Lage ist, 400 Gigabit an Informationen pro Sekunde zu übertragen. Dieser Ansatz ermöglicht es dem System, standardisierte Netzwerktechnologie zu verwenden, die in riesigen Mengen für das globale Internet und Rechenzentren produziert wird, anstatt sich auf maßgeschneiderte, spezielle Lösungen zu verlassen, die selten und teuer sind. Durch die Trennung der Dekodierungsaufgabe von der finalen Aggregation vermeidet das Design die Engpässe, die ältere Systeme plagen.

Die Forscher bauten einen funktionierenden Prototypen, um zu testen, ob diese Idee unter realen Bedingungen standhält. Sie richteten eine Testumgebung ein, die den Datenfluss aus dem Detektor nachahmte, indem sie drei separate Informationsströme generierten, die jeweils mit 100 Gigabit pro Sekunde flossen. Diese Ströme wurden in ihr neues zweistufiges System eingespeist, welches sie dann zu einem einzigen 400-Gigabit-Strom kombinierte. Die Ergebnisse waren präzise und ermutigend. Im Verlauf der Tests verarbeitete das System mehr als 610 Millionen Datenpakete mit einem Gesamtvolumen von fünf Terabyte an Informationen. Während dieses massiven Transfers verlor das System kein einziges Paket und auch nicht die Reihenfolge der Daten. Die Geschwindigkeit blieb konstant und entsprach den Zielraten ohne Anzeichen von Verstopfung oder Verzögerung. Die Messungen zeigten, dass die Fehlerrate so gering war, dass sie für praktische Zwecke effektiv bei Null lag, was bewies, dass die Hardware dem immensen Druck des Datenflusses standhalten konnte, ohne zu wanken.

Über die technische Leistung hinaus bot das neue Design einen signifikanten finanziellen Vorteil. Die Forscher berechneten die Kosten für die Handhabung jedes einzelnen Datenlinks und fanden heraus, dass ihr zweistufiger Ansatz wesentlich kostengünstiger war als die traditionellen Methoden. Durch den Ersatz teurer High-End-Chips und komplexer Netzwerk-Switches durch ihre gestraffte Architektur reduzierten sie die Kosten pro Verbindung um fast 29 Prozent im Vergleich zur Standardlösung. Diese Ersparnis ergibt sich aus der Verwendung von Mittelklasse-Chips, die günstiger in der Anschaffung sind, sowie eines spezialisierten Netzwerkgeräts, das die Daten effizienter aggregiert und somit den Bedarf an Zwischenschichten aus teurer Hardware eliminiert. Die Studie legt nahe, dass diese Methode nicht nur eine theoretische Möglichkeit, sondern eine praktische, skalierbare Lösung ist, die eingesetzt werden kann, wenn die Datenanforderungen der Teilchenphysik weiter wachsen.

Die Arbeit bestätigt, dass es möglich ist, ein Datenerfassungssystem zu bauen, das sowohl leistungsstark als auch erschwinglich ist, indem man die Massenproduktion moderner Netzwerktechnologie nutzt. Das zweistufige Design entkoppelt erfolgreich das empfindliche, strahlungsresistente Front-End vom Hochgeschwindigkeits-Back-End, sodass jeder Teil mit seiner optimalen Effizienz arbeiten kann. Die Forscher haben demonstriert, dass Standard-Datenströme, ohne die Notwendigkeit spezialisierter Protokolle mit hoher Latenz, den massiven Durchsatz aufrechterhalten können, der für Experimente der nächsten Generation erforderlich ist. Dieser Befund bietet einen klaren Weg nach vorn für das LHCb-Experiment und andere groß angelegte wissenschaftliche Unterfangen und stellt sicher, dass die Systeme, die darauf ausgelegt sind, sie zu erfassen, Schritt halten können, während die Maschinen größer und die Daten schwerer werden – ohne dabei das Budget zu sprengen.