Multi-tenant Kubernetes Use Cases for AI, Secure Computing and Data Services, and More
Este artículo evalúa el despliegue de Kubernetes en el supercomputador HPE Cray EX Isambard-AI para abordar las limitaciones de los sistemas tradicionales de procesamiento por lotes de un solo inquilino, permitiendo casos de uso multi-inquilino flexibles para entornos de investigación médica de confianza y el alojamiento de modelos de IA confidenciales, al tiempo que describe los desafíos y los pasos futuros para la producción de Kubernetes-como-Servicio en tales plataformas de alto rendimiento.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un mundo donde las supercomputadoras son como enormes estaciones de tren de alta velocidad. Durante décadas, estas estaciones han sido diseñadas para un tipo específico de pasajero: el viajero de "lote" (batch). Estos son grupos enormes y densamente compactados de datos que llegan juntos, se sientan en un único vagón dedicado durante todo el trayecto y se van solo cuando el tren completo ha terminado. Este sistema funciona perfectamente para la ciencia tradicional, pero el mundo está cambiando. Ahora, tenemos un nuevo tipo de viajero: el pasajero "nativo de la nube". Estos son contenedores de datos flexibles e individuales que quieren subir y bajar de los trenes instantáneamente, compartir vagones con extraños de forma segura y ejecutar aplicaciones complejas e interactivas como chatbots de IA o bases de datos médicas seguras.
El problema es que las viejas estaciones de tren (las supercomputadoras tradicionales) no fueron construidas para esto. Son excelentes moviendo carga masiva, pero terribles gestionando una estación bulliciosa y multiusuario donde todos necesitan su propio espacio seguro. Aquí entra Kubernetes. Piensa en Kubernetes como el controlador de tráfico definitivo para estos pasajeros en contenedores. Es el software que asegura que todos consigan un asiento, que las personas adecuadas no puedan echar un vistazo a las bolsas de los demás y que la estación funcione sin problemas incluso cuando miles de aplicaciones diferentes se ejecutan al mismo tiempo. Pero instalar este controlador de tráfico moderno en una supercomputadora rígida y de alta velocidad es como intentar instalar un moderno sistema de venta de billetes de metro dentro de una máquina de vapor; requiere una magia de ingeniería seria para hacer que funcionen juntos sin que todo el sistema colapse.
Este artículo cuenta la historia de cómo un equipo de ingenieros tomó ese controlador de tráfico moderno y lo instaló con éxito en una de las supercomputadoras más avanzadas del mundo, llamada Isambard-AI. No solo hicieron que funcionara; lo probaron con dos trabajos muy diferentes y muy importantes. Primero, construyeron un "Entorno de Investigación Confiable", que es como una sala de cristal súper segura donde los científicos pueden observar datos médicos sensibles sin poder robarlos o filtrarlos nunca. Segundo, configuraron un "sandbox" para modelos de IA, permitiendo que múltiples investigadores ejecuten y prueben potentes cerebros de IA simultáneamente sin estorbarse entre sí.
El equipo descubrió que su nuevo sistema funciona increíblemente bien. Demostraron que se pueden ejecutar estos servicios flexibles y multiusuario en una supercomputadora sin ralentizarla. De hecho, cuando probaron la velocidad de la red que conecta las computadoras, descubrieron que añadir esta capa de seguridad solo añadió un retraso diminuto, casi invisible: unos 0,89 microsegundos. Para ponerlo en perspectiva, eso es menos que un parpadeo, incluso para una computadora. También demostraron que su configuración podía manejar modelos de IA masivos, ejecutándolos a través de múltiples computadoras y manteniéndolos seguros.
Sin embargo, el viaje no estuvo exento de baches. El equipo descubrió un cuello de botella crítico de hardware: las tarjetas de red subyacentes (Cassíni NICs) tienen un límite estricto en cuántos "IDs de servicio" seguros pueden emitir. Debido a que el sistema actualmente asigna un ID único a cada contenedor, la estación corre el riesgo de quedarse sin estos IDs, lo que causaría que el sistema se detenga si demasiados usuarios intentan conectarse a la vez. Además, identificaron una falla de seguridad importante en su configuración actual: para acceder a la red de alta velocidad, las "salas de cristal" seguras actualmente tienen que construirse con llaves "privilegiadas". Esto significa que los guardias de seguridad en realidad están entregando a los pasajeros las llaves maestras de la estación, lo que socava el aislamiento mismo que el sistema fue diseñado para crear.
Aunque admiten que el sistema es todavía un poco complejo de configurar y necesita un pulido futuro para solucionar estos límites de hardware y brechas de seguridad, han demostrado que es posible traer la flexibilidad de la nube a la potencia bruta de una supercomputadora. Esto abre la puerta a un futuro donde los científicos y los investigadores de IA pueden trabajar juntos en las mismas máquinas potentes, de forma segura y eficiente, sin necesidad de construir hardware completamente nuevo para cada nuevo tipo de tarea.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.