Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
Dit artikel evalueert de implementatie van Kubernetes op de HPE Cray EX supercomputer Isambard-AI om de beperkingen van traditionele single-tenant batchsystemen aan te pakken door flexibele, multi-tenant use cases mogelijk te maken voor vertrouwde medische onderzoeksomgevingen en het hosten van vertrouwelijke AI-modellen, terwijl de uitdagingen en toekomstige stappen voor het productiewaardig maken van Kubernetes-as-a-Service op dergelijke hoogwaardige platforms worden geschetst.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin supercomputers lijken op enorme, hogesnelheidstreinstations. Decennialang zijn deze stations ontworpen voor één specifiek type passagier: de "batch"-reiziger. Dit zijn enorme, dicht opeengepakte groepen data die tegelijk aankomen, de hele reis in één enkele, toegewezen wagon zitten en pas vertrekken als de hele trein klaar is. Dit systeem werkt perfect voor traditionele wetenschap, maar de wereld verandert. Nu hebben we een nieuw soort reiziger: de "cloud-native" passagier. Dit zijn flexibele, individuele containers van data die direct in en uit treinen willen springen, veilig met vreemden in dezelfde wagons willen zitten en complexe, interactieve apps zoals AI-chatbots of beveiligde medische databases willen draaien.
Het probleem is dat de oude treinstations (traditionele supercomputers) hiervoor niet zijn gebouwd. Ze zijn geweldig in het verplaatsen van enorme ladingen, maar verschrikkelijk in het beheren van een bruisend, multi-tenant station waar iedereen zijn eigen beveiligde ruimte nodig heeft. Hier komt Kubernetes om de hoek kijken. Zie Kubernetes als de ultieme verkeersregelaar voor deze gecontaineriseerde passagiers. Het is de software die ervoor zorgt dat iedereen een zitplaats krijgt, dat de juiste mensen niet in de tassen van anderen kunnen gluren, en dat het station soepel blijft draaien, zelfs wanneer duizenden verschillende apps tegelijkertijd draaien. Maar het plaatsen van deze flexibele verkeersregelaar op een rigide hogesnelheidssupercomputer is alsof je probeert een modern metro-ticketsysteem te installeren in een stoommachine; het vereist serieuze engineering-magie om ze samen te laten werken zonder het hele systeem te laten crashen.
Dit artikel vertelt het verhaal van hoe een team ingenieurs die moderne verkeersregelaar heeft geïnstalleerd op een van de meest geavanceerde supercomputers ter wereld, genaamd Isambard-AI. Ze hebben het niet alleen werkend gekregen; ze hebben het getest met twee zeer verschillende, zeer belangrijke taken. Eerst bouwden ze een "Trusted Research Environment", wat een soort superveilige glazen kamer is waar wetenschappers naar gevoelige medische gegevens kunnen kijken zonder ooit in staat te zijn deze te stelen of te lekken. Ten tweede richtten ze een "sandbox" in voor AI-modellen, waardoor meerdere onderzoekers krachtige AI-hersenen tegelijkertijd kunnen draaien en testen zonder dat ze op elkaars tenen staan.
Het team kwam tot de conclusie dat hun nieuwe systeem uitstekend werkt. Ze bewezen dat je deze flexibele, multi-tenant services op een supercomputer kunt draaien zonder deze te vertragen. Sterker nog, toen ze de snelheid van het netwerk dat de computers verbindt testten, ontdekten ze dat het toevoegen van deze beveiligingslaag slechts een minimale, bijna onzichtbare vertraging veroorzaakte — ongeveer 0,89 microseconden. Om dat in perspectief te plaatsen: dat is minder dan een knipoog, zelfs voor een computer. Ze lieten ook zien dat hun opstelling enorme AI-modellen aan kon, door ze over meerdere computers te draaien en ze tegelijkertijd veilig te houden.
De reis verliep echter niet zonder drempels. Het team ontdekte een kritieke hardware-bottleneck: de onderliggende netwerkkaarten (Cassini NIC's) hebben een strikte limiet op het aantal beveiligde "service ID's" dat ze kunnen uitgeven. Omdat het systeem momenteel een unieke ID aan elke container toewijst, loopt het station het risico op een tekort aan deze ID's, waardoor het systeem tot stilstand kan komen als te veel gebruikers tegelijkertijd proberen verbinding te maken. Bovendien identificeerden ze een groot beveiligingslek in hun huidige opstelling: om toegang te krijgen tot het hogesnelheidsnetwerk, moeten de beveiligde "glazen kamers" momenteel worden gebouwd met "geprivilegieerde" sleutels. Dit betekent dat de beveiligers de passagiers eigenlijk de meestersleutels van het station geven, wat de isolatie die het systeem voor ogen had, ondermijnt.
Hoewel ze toegeven dat het systeem nog een beetje complex is om op te zetten en toekomstige afwerking nodig heeft om deze hardwarelimieten en beveiligingsgaten op te lossen, hebben ze aangetoond dat het mogelijk is om de flexibiliteit van de cloud naar de brute kracht van een supercomputer te brengen. Dit opent de deur naar een toekomst waarin wetenschappers en AI-onderzoekers samen kunnen werken op dezelfde krachtige machines, veilig en efficiënt, zonder dat ze voor elk nieuw type taak volledig nieuwe hardware hoeven te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.