Resumen Técnico: EnclaveX – IA Confidencial de Extremo a Extremo con TEE de CPU/GPU

Declaración del Problema

La rápida proliferación de los Modelos de Lenguaje Extensos (LLM) ha impulsado la adopción generalizada de aplicaciones de IA, pero la mayoría de los despliegues dependen de infraestructuras de nube centralizadas (por ejemplo, Azure, AWS, Google Cloud). Esta dependencia obliga a los usuarios a compartir datos sensibles, código de entrenamiento y parámetros de ajuste fino con los proveedores de servicios en la nube, lo que crea riesgos significativos de seguridad y privacidad. Los paradigmas de cifrado tradicionales protegen los datos en reposo y en tránsito, pero dejan los "datos en uso" expuestos a infiltrados privilegiados, administradores maliciosos y vulnerabilidades en la cadena de suministro.

Si bien se han introducido Entornos de Ejecución Confiables (TEE) como Intel SGX/TDX, AMD SEV-SNP y ARM CCA, y NVIDIA ha desarrollado recientemente TEE de GPU (por ejemplo, H100/H200), las evaluaciones exhaustivas de flujos de trabajo de extremo a extremo que integran tanto TEE de CPU como de GPU siguen siendo limitadas. Las brechas críticas incluyen:

1. Límites de Confianza Incompletos: Los enfoques de vanguardia a menudo no logran eliminar por completo el stack de gestión del Proveedor de Servicios de Nube (CSP) del Dominio de Confianza (TCB). Específicamente, los administradores de Kubernetes (K8s) conservan todos los privilegios de la API y pueden ejecutar comandos (por ejemplo, kubectl exec) para entrar en una Máquina Virtual Confidencial (CVM), actuando efectivamente como usuarios root dentro del enclave seguro.
2. Falta de Protección a Nivel de Aplicación: Las soluciones existentes a menudo dependen del aislamiento a nivel de VM, pero carecen de mecanismos para proteger los secretos a nivel de aplicación (por ejemplo, claves de cifrado) de los administradores que han comprometido el SO de la VM.
3. Datos de Rendimiento Insuficientes: Existe una falta de datos empíricos que cuantifiquen la sobrecarga de rendimiento al ejecutar la inferencia de LLM en GPUs confidenciales (cGPUs) dentro de CVMs, particularmente en lo que respecta a la integración de TEEs basados en procesos dentro de las CVMs.

Metodología

El artículo presenta EnclaveX, una plataforma integral de Computación Confidencial en la Nube diseñada para asegurar cargas de trabajo de IA/ML integrando TEEs de CPU y GPU con protección a nivel de aplicación.

Arquitectura del Sistema

EnclaveX combina tres componentes principales:

1. TEEs de Hardware: Utiliza Intel TDX para el aislamiento de memoria basado en CPU y NVIDIA H200 GPUs para la aceleración de IA confidencial. Estas extensiones de hardware establecen una raíz de confianza en el hardware del proveedor en lugar del software del CSP.
2. Runtime SCONE: Un marco de ejecución blindado que permite que aplicaciones sin modificaciones se ejecuten dentro de enclaves TEE. SCONE proporciona aislamiento a nivel de proceso, cifrando los datos y el código en uso, y blindándolos del SO host y del hipervisor.
3. Módulo de Kernel Personalizado: Un módulo desplegado dentro del Guest OS de la CVM que realiza mediciones dinámicas de las cargas de trabajo de ML en ejecución. Este módulo desactiva las funciones de volcado de memoria en el kernel del Guest para evitar que los administradores extraigan la memoria de la aplicación.

Flujo de Trabajo y Atestación

El sistema emplea una estrategia de atestación remota de múltiples capas basada en la Arquitectura de Procedimientos de Atestación Remota (RATS):

1. Atestación de la CVM: La CVM (Intel TDX/AMD SEV-SNP) atesta su estado de arranque e integridad de hardware ante un Servicio de Configuración y Atestación (CAS).
2. Atestación de la GPU: La GPU confidencial (cGPU) genera un reporte de atestación firmado por una Clave de Atestación (AK) derivada de mediciones de hardware. El CAS verifica el estado de la GPU, el driver y el VBIOS contra los Manifiestos de Integridad de Referencia (RIM).
3. Atestación de la Aplicación: Una vez verificadas la CVM y la GPU, el CAS provisiona una clave de firma al módulo de kernel de SCONE. El módulo mide la aplicación de ML en ejecución, genera un hash criptográfico y lo firma para producir un "quote".
4. Provisionamiento de Secretos: Solo después de la verificación exitosa de la integridad de la CVM, la GPU y la aplicación, el CAS libera los datos de configuración y los secretos (por ejemplo, claves de descifrado) a la aplicación.

Este diseño asegura que incluso si un administrador de K8s gana acceso a la CVM, no puede acceder a las claves de cifrado de la aplicación ni realizar un volcado de su memoria, ya que las claves solo se liberan tras la atestación y el volcado de memoria está deshabilitado.

Contribuciones Clave

1. Flujo de Trabajo de IA Confidencial de Extremo a Extremo: EnclaveX se presenta como el primer sistema que integra TEEs basados en procesos (vía SCONE) dentro de CVMs con soporte para GPU confidencial, extendiendo las garantías de seguridad a través de los límites CPU-GPU.
2. Protección a Nivel de Aplicación contra Administradores: El artículo propone e implementa mecanismos para proteger los secretos de la aplicación de los administradores de K8s que tienen acceso a la CVM, abordando una brecha crítica en las soluciones actuales de solo CVM.
3. Evaluación de Rendimiento Exhaustiva: Los autores proporcionan los primeros benchmarks de inferencia de LLM confidencial en una cGPU NVIDIA H200 que incluyen mediciones completas de atestación remota.
4. Módulo de Kernel de Código Abierto: La implementación incluye un módulo de kernel personalizado para la atestación (el módulo de kernel SCONE), el cual está diseñado para ser de código abierto para soportar diversas arquitecturas (Intel TDX, AMD SEV-SNP, ARM CCA) sin modificar el código de la aplicación.

Resultados

Los autores evaluaron EnclaveX utilizando benchmarks de la industria en un servidor Supermicro SYS-322GA-NR equipado con procesadores duales Intel Xeon 6900-series y una GPU NVIDIA H200.

Rendimiento de Inferencia de LLM

• EnclaveX vs. CVM Nativa: La integración del runtime SCONE en la CVM impone una sobrecarga de rendimiento insignificante. Las métricas de Tokens Por Segundo (TPS), Latencia Inter-Token (TBT) y Tiempo al Primer Token (TTFT) no mostraron diferencias significativas en comparación con un despliegue de CVM nativa. Esto se logra ejecutando el runtime SCONE en modo "SIM", que depende de la protección de memoria de la CVM sin cifrado adicional de la memoria.
• Computación Confidencial (CVM + cGPU) vs. Nativa: Ejecutar en modo confidencial (CVM + cGPU) introduce una sobrecarga en comparación con la ejecución nativa no confidencial.
  • Sobrecarga de TPS: Osciló entre el 62.8% y el 35.0%, disminuyendo a medida que aumentaba el tamaño del lote (batch size).
  • Sobrecarga de TBT: Osciló entre el 73.9% y el 35.2%, disminuyendo a medida que aumentaba el tamaño del lote.
  • Sobrecarga de TTFT: Osciló entre el 38.3% y el 11.2%, disminuyendo a medida que aumentaba el tamaño de los tokens de entrada.
  • Análisis: La sobrecarga se atribuye principalmente al cifrado de la E/S entre la CVM y la cGPU mediante buffers de rebote (bounce buffers). A medida que el tiempo de cómputo aumenta (lotes/tokens más grandes), el impacto relativo de la sobrecarga de E/S disminuye.

Sobrecarga de Atestación

• Atestación Nativa: La latencia base para la atestación de TDX y cGPU fue de aproximadamente 1.16 segundos.
• Atestación de EnclaveX: Añadir la atestación a nivel de aplicación (módulo de kernel SCONE y runtime) aumentó la latencia total a 1.1758 segundos.
• Sobrecarga: La atestación a nivel de aplicación añade una sobrecarga insignificante de aproximadamente ~1.27% al proceso total de atestación.

Significancia y Reivindicaciones

El artículo afirma que EnclaveX reimagina con éxito el despliegue seguro de IA/ML al unificar la computación de grado HPC con robustas garantías de seguridad. Su importancia radica en:

• Soberanía de Datos: Permite a las organizaciones ejecutar cargas de trabajo de alto valor en nubes públicas manteniendo un control granular sobre el acceso y el cumplimiento, mitigando efectivamente los riesgos de los infiltrados privilegiados.
• Escalabilidad: Proporcionar un marco que soporte aplicaciones de ML sin modificaciones, facilitando la transición de los silos tradicionales on-premise hacia entornos de nube seguros y escalables.
• Garantías de Seguridad: Al imponer una fuerte soberanía de datos mediante una atestación multicapa (VM, GPU y Aplicación), EnclaveX asegura la integridad del código, los datos y los entornos de ejecución antes de liberar material sensible.

Los autores concluyen que, si bien los ataques de canal lateral y los ataques de denegación de servicio están fuera del alcance de este trabajo, el sistema aborda eficazmente las principales amenazas de exfiltración de datos y envenenamiento de modelos por parte de administradores privilegiados en entornos de nube multi-inquilino.