Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
Diese Arbeit evaluiert den Einsatz von Kubernetes auf dem HPE Cray EX Supercomputer Isambard-AI, um die Einschränkungen traditioneller Single-Tenant-Batch-Systeme zu adressieren, indem sie flexible Multi-Tenant-Anwendungsfälle für vertrauenswürdige medizinische Forschungsumgebungen und das Hosting konfidentieller KI-Modelle ermöglicht, während gleichzeitig die Herausforderungen und zukünftigen Schritte für die Produktionsreife von Kubernetes-as-a-Service auf derartigen Hochleistungsplattformen skizziert werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Supercomputer wie riesige, Hochgeschwindigkeits-Bahnhöfe sind. Jahrzehntelang wurden diese Bahnhöfe für eine ganz bestimmte Art von Fahrgast konzipiert: den „Batch“-Reisenden. Dies sind riesige, dicht gedrängte Gruppen von Daten, die gemeinsam ankommen, die gesamte Reise über in einem einzigen, dedizierten Waggon sitzen und erst gehen, wenn der ganze Zug fertig ist. Dieses System funktioniert perfekt für die traditionelle Wissenschaft, aber die Welt verändert sich. Jetzt haben wir eine neue Art von Reisendem: den „Cloud-Native“-Passagier. Dies sind flexible, individuelle Datencontainer, die sofort in Züge ein- und aussteigen wollen, sicher mit Fremden in Wagen fahren möchten und komplexe, interaktive Apps wie KI-Chatbots oder sichere medizinische Datenbanken betreiben wollen.
Das Problem ist, dass die alten Bahnhöfe (traditionelle Supercomputer) nicht dafür gebaut wurden. Sie sind großartig darin, massive Fracht zu bewegen, aber schlecht darin, einen belebten, Multi-Tenant-Bahnhof zu verwalten, in dem jeder seinen eigenen sicheren Raum benötigt. Hier kommt Kubernetes ins Spiel. Betrachten Sie Kubernetes als den ultimativen Verkehrsleiter für diese containerisierten Passagiere. Es ist die Software, die sicherstellt, dass jeder einen Sitzplatz bekommt, dass die richtigen Leute nicht in die Taschen der anderen schauen können und dass der Bahnhof reibungslos läuft, selbst wenn tausende verschiedene Apps gleichzeitig laufen. Aber diesen flexiblen Verkehrsleiter auf einen starren Hochgeschwindigkeits-Supercomputer zu bringen, ist so, als würde man versuchen, ein modernes U-Bahn-Ticketing-System in eine Dampflokomotive einzubauen; es erfordert ernsthafte Ingenieurskunst, um sie zusammen zum Laufen zu bringen, ohne das gesamte System zum Absturz zu bringen.
Dieses Paper erzählt die Geschichte, wie ein Team von Ingenieuren diesen modernen Verkehrsleiter nahm und ihn erfolgreich auf einem der fortschrittlichsten Supercomputer der Welt, genannt Isambard-AI, installierte. Sie haben es nicht nur zum Laufen gebracht; sie haben es mit zwei sehr unterschiedlichen, sehr wichtigen Aufgaben getestet. Zuerst bauten sie eine „Trusted Research Environment“ (Vertrauenswürdige Forschungsumgebung), was wie ein supergesicherter Glaskasten ist, in dem Wissenschaftler sensible medizinische Daten betrachten können, ohne jemals die Möglichkeit zu haben, diese zu stehlen oder durchsickern zu lassen. Zweitens richteten sie einen „Sandbox“-Bereich für KI-Modelle ein, der es mehreren Forschern ermöglicht, gleichzeitig leistungsstarke KI-Gehirne zu betreiben und zu testen, ohne sich gegenseitig in die Quere zu kommen.
Das Team stellte fest, dass ihr neues System unglaublich gut funktioniert. Sie bewiesen, dass man diese flexiblen Multi-Tenant-Dienste auf einem Supercomputer ausführen kann, ohne ihn auszubremsen. Tatsächlich fanden sie bei der Testung der Geschwindigkeit des Netzwerks, das die Computer verbindet, heraus, dass das Hinzufügen dieser Sicherheitsebene nur eine winzige, fast unsichtbare Verzögerung verursachte – etwa 0,89 Mikrosekunden. Um das einzuordnen: Das ist weniger als ein Wimpernschlag, selbst für einen Computer. Sie zeigten auch, dass ihr Setup massive KI-Modelle handhaben konnte, indem sie diese über mehrere Computer hinweg ausführten und gleichzeitig sicher hielten.
Der Weg war jedoch nicht ohne Schlaglöcher. Das Team entdeckte einen kritischen Hardware-Engpass: Die zugrunde liegenden Netzwerkkarten (Cassini NICs) haben eine strikte Grenze für die Anzahl der „Service-IDs“, die sie ausgeben können. Da das System derzeit jede einzelne Container mit einer eindeutigen ID versieht, läuft der Bahnhof Gefahr, die IDs zu erschöpfen, was dazu führen könnte, dass das System zum Stillstand kommt, wenn zu viele Nutzer gleichzeitig versuchen, sich zu verbinden. Darüber hinaus identifizierten sie eine große Sicherheitslücke in ihrem aktuellen Setup: Um auf das Hochgeschwindigkeitsnetz zuzugreifen, müssen die sicheren „Glaskammern“ derzeit mit „privilegierten“ Schlüsseln gebaut werden. Das bedeutet, dass die Sicherheitskräfte den Passagieren tatsächlich die Generalschlüssel des Bahnhofs aushändigen, was genau die Isolation untergräbt, die das System eigentlich schaffen sollte.
Obwohl sie zugeben, dass das System noch etwas komplex in der Einrichtung ist und eine zukünftige Politur benötigt, um diese Hardware-Limits und Sicherheitslücken zu beheben, haben sie demonstriert, dass es möglich ist, die Flexibilität der Cloud zur rohen Kraft eines Supercomputers zu bringen. Dies öffnet die Tür für eine Zukunft, in der Wissenschaftler und KI-Forscher gemeinsam auf denselben leistungsstarken Maschinen arbeiten können – sicher und effizient, ohne für jede neue Art von Aufgabe eine völlig neue Hardware bauen zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.