Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
Questo articolo valuta l'implementazione di Kubernetes sul supercomputer HPE Cray EX Isambard-AI per affrontare i limiti dei tradizionali sistemi batch a tenant singolo, abilitando casi d'uso multi-tenant flessibili per ambienti di ricerca medica affidabili e l'hosting di modelli AI riservati, delineando al contempo le sfide e i passi futuri per la messa in produzione di Kubernetes-as-a-Service su tali piattaforme ad alte prestazioni.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui i supercomputer sono come enormi stazioni ferroviarie ad alta velocità. Per decenni, queste stazioni sono state progettate per un unico tipo di passeggero: il viaggiatore "batch". Si tratta di enormi gruppi compatti di dati che arrivano insieme, siedono in un unico vagone dedicato per l'intero viaggio e partono solo quando l'intero treno ha terminato. Questo sistema funziona perfettamente per la scienza tradizionale, ma il mondo sta cambiando. Ora, abbiamo un nuovo tipo di viaggiatore: il passeggero "cloud-native". Questi sono contenitori di dati flessibili e individuali che vogliono salire e scendere dai treni istantaneamente, condividere i vagoni con estranei in modo sicuro e far girare app complesse e interattive come chatbot AI o database medici sicuri.
Il problema è che le vecchie stazioni ferroviarie (i supercomputer tradizionali) non sono state costruite per questo. Sono ottime nel trasportare carichi massicci, ma pessime nel gestire una stazione frenetica e multi-tenant dove tutti hanno bisogno del proprio spazio sicuro. Entra in gioco Kubernetes. Pensate a Kubernetes come all'ultimo controllore del traffico per questi passeggeri containerizzati. È il software che assicura che tutti abbiano un posto, che le persone giuste non possano sbirciare nelle borse degli altri e che la stazione funzioni senza intoppi anche quando migliaere di app diverse sono in esecuzione contemporaneamente. Ma installare questo controllore del traffico flessibile su un supercomputer rigido e ad alta velocità è come cercare di installare un moderno sistema di bigliettazione per la metropolitana all'interno di una locomotiva a vapore; richiede una seria magia ingegneristica per farli lavorare insieme senza far crashare l'intero sistema.
Questo documento racconta la storia di come un team di ingegneri abbia preso quel moderno controllore del traffico e lo abbia installato con successo su uno dei supercomputer più avanzati al mondo, chiamato Isambard-AI. Non si sono limitati a farlo funzionare; lo hanno testato con due lavori molto diversi e molto importanti. Primo, hanno costruito un "Ambiente di Ricerca Fiduciario" (Trusted Research Environment), che è come una stanza di vetro super sicura dove gli scienziati possono esaminare dati medici sensibili senza mai poterli rubare o far trapelare. Secondo, hanno allestito un "sandbox" per modelli AI, permettendo a più ricercatori di eseguire e testare potenti cervelli artificiali simultaneamente senza calpestarsi i piedi a vicenda.
Il team ha scoperto che il loro nuovo sistema funziona incredibilmente bene. Hanno dimostrato che è possibile eseguire questi servizi flessibili e multi-tenant su un supercomputer senza rallentarlo. Infatti, quando hanno testato la velocità della rete che collega i computer, hanno scoperto che l'aggiunta di questo livello di sicurezza ha aggiunto solo un ritardo minimo, quasi invisibile: circa 0,89 microsecondi. Per mettere questo in prospettiva, è meno di un battito di ciglia, anche per un computer. Hanno anche dimostrato che la loro configurazione poteva gestire enormi modelli AI, eseguendoli su più computer e mantenendoli sicuri.
Tuttove, il viaggio non è stato privo di buche. Il team ha scoperto un collo di bottiglia critico dell'hardware: le schede di rete sottostanti (NIC Cassini) hanno un limite rigoroso su quanti "ID di servizio" sicuri possono emettere. Poiché il sistema attualmente assegna un ID unico a ogni singolo container, la stazione rischia di esaurire questi ID, causando il blocco del sistema se troppi utenti provano a connettersi contemporaneamente. Inoltre, hanno identificato un grave difetto di sicurezza nella loro configurazione attuale: per accedere alla rete ad alta velocità, le "stanze di vetro" sicure devono attualmente essere costruite con chiavi "privilegiate". Ciò significa che le guardie di sicurezza stanno in realtà dando ai passeggeri le chiavi master della stazione, il che mina l'isolamento stesso che il sistema era stato progettato per creare.
Sebbene ammettano che il sistema è ancora un po' complesso da configurare e necessiti di una futura rifinitura per risolvere questi limiti hardware e le lacune di sicurezza, hanno dimostrato che è possibile portare la flessibilità del cloud nella potenza bruta di un supercomputer. Questo apre la porta a un futuro in cui scienziati e ricercatori di IA possono lavorare insieme sulle stesse macchine potenti, in modo sicuro ed efficiente, senza dover costruire hardware completamente nuovo per ogni nuovo tipo di lavoro.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.