Resumo Técnico: EnclaveX – IA Confidencial End-to-End com TEEs de CPU/GPU

Declaração do Problema

A rápida proliferação de Grandes Modelos de Linguagem (LLMs) tem impulsionado a adoção generalizada de aplicações de IA, mas a maioria das implementações depende de infraestruturas de nuvem centralizadas (ex: Azure, AWS, Google Cloud). Essa dependência exige que os usuários compartilhem dados sensíveis, código de treinamento e parâmetros de ajuste fino (fine-tuning) com provedores de nuvem, criando riscos significativos de segurança e privacidade. Os paradigmas de criptografia tradicionais protegem os dados em repouso e em trânsito, mas deixam os "dados em uso" expostos a insiders privilegiados, administradores maliciosos e vulnerabilidades na cadeia de suprimentos.

Embora Ambientes de Execução Confiáveis (TEEs), como Intel SGX/TDX, AMD SEV-SNP e ARM CCA, tenham sido introduzidos para mitigar esses riscos, e a NVIDIA tenha desenvolvido recentemente TEEs de GPU (ex: H100/H200), avaliações abrangentes de fluxos de trabalho end-to-end integrando tanto CPU quanto GPU TEEs permanecem limitadas. Lacunas críticas incluem:

1. Limites de Confiança Incompletos: Abordagens de ponta frequentemente falham em remover toda a pilha de gerenciamento do Provedor de Serviços de Nuvem (CSP) da Base de Computação Confiável (TCB). Especificamente, administradores de Kubernetes (K8s) retêm privilégios totais de API e podem executar comandos (ex: kubectl exec) para entrar em uma Máquina Virtual Confidencial (CVM), atuando efetivamente como usuários root dentro do enclave seguro.
2. Falta de Proteção ao Nível de Aplicação: Soluções existentes muitas vezes dependem de isolamento ao nível de VM, mas carecem de mecanismos para proteger segredos ao nível de aplicação (ex: chaves de criptografia) de administradores que comprometeram o SO da VM.
3. Dados de Desempenho Insuficientes: Há uma falta de dados empíricos quantificando o overhead de desempenho ao executar inferência de LLM em GPUs confidenciais (cGPUs) dentro de CVMs, particularmente em relação à integração de TEEs baseados em processo dentro de CVMs.

Metodologia

O artigo apresenta o EnclaveX, uma plataforma abrangente de Computação Confidencial End-to-End projetada para proteger cargas de trabalho de IA/ML integrando CPU e GPU TEEs com proteção ao nível de aplicação.

Arquitetura do Sistema

O EnclaveX combina três componentes principais:

1. Hardware TEEs: Utiliza Intel TDX para isolamento de memória baseado em CPU e GPUs NVIDIA H200 para aceleração de IA confidencial. Essas extensões de hardware estabelecem uma raiz de confiança no hardware do fornecedor, em vez do software do CSP.
2. Runtime SCONE: Um framework de execução blindado que permite que aplicações não modificadas rodem dentro de enclaves TEE. O SCONE fornece isolamento ao nível de processo, criptografando dados e código em uso, e protegendo-os do SO host e do hypervisor.
3. Módulo de Kernel Customizado: Um módulo implantado dentro do Guest OS da CVM que realiza medições dinâmicas de cargas de trabalho de ML em execução. Este módulo desabilita recursos de despejo de memória (memory-dumping) no kernel do Guest para evitar que administradores extraiam a memória da aplicação.

Fluxo de Trabalho e Atestação

O sistema emprega uma estratégia de atestação remota de múltiplas camadas baseada na Arquitetura de Procedimentos de Atestação Remota (RATS):

1. Atestação da CVM: A CVM (Intel TDX/AMD SEV-SNP) atesta seu estado de boot e integridade de hardware para um Serviço de Configuração e Atestação (CAS).
2. Atestação da GPU: A GPU confidencial (cGPU) gera um relatório de atestação assinado por uma Chave de Atestação (AK) derivada de medições de hardware. O CAS verifica o estado da GPU, o driver e o VBIOS contra Manifestos de Integridade de Referência (RIM).
3. Atestação da Aplicação: Uma vez que a CVM e a GPU são verificadas, o CAS provisiona uma chave de assinatura para o módulo de kernel do SCONE. O módulo mede a aplicação de ML em execução, gera um hash criptográfico e o assina para produzir um quote.
4. Provisionamento de Segredos: Somente após a verificação bem-sucedida da integridade da CVM, da GPU e da aplicação, o CAS libera os dados de configuração e segredos (ex: chaves de descriptografia) para a aplicação.

Este design garante que, mesmo se um administrador de K8s ganhar acesso à CVM, ele não poderá acessar as chaves de criptografia da aplicação ou realizar o despejo de sua memória, pois as chaves só são liberadas pós-atestação e o despejo de memória é desabilitado.

Principais Contribuições

1. Fluxo de Trabalho de IA Confidencial End-to-End: O EnclaveX é apresentado como o primeiro sistema a integrar TEEs baseados em processo (via SCONE) dentro de CVMs com suporte a GPU confidencial, estendendo as garantias de segurança através das fronteiras CPU-GPU.
2. Proteção ao Nível de Aplicação Contra Administradores: O artigo propõe e implementa mecanismos para proteger segredos de aplicação de administradores de K8s que possuem acesso à CVM, abordando uma lacuna crítica nas soluções atuais de apenas CVM.
3. Avaliação de Desempenho Abrangente: Os autores forneem os primeiros benchmarks de inferência de LLM confidencial em uma cGPU NVIDIA H200 que incluem medições completas de atestação remota.
4. Módulo de Kernel Open-Source: A implementação inclui um módulo de kernel customizado para atestação (o módulo de kernel SCONE), que foi projetado para ser open-source para suportar diversas arquiteturas (Intel TDX, AMD SEV-SNP, ARM CCA) sem modificar o código da aplicação.

Resultados

Os autores avaliaram o EnclaveX usando benchmarks da indústria em um servidor Supermicro SYS-322GA-NR equipado com processadores duplos Intel Xeon 6900-series e uma GPU NVIDIA H200.

Desempenho de Inferência de LLM

• EnclaveX vs. CVM Nativa: A integração do runtime SCONE na CVM impõe um overhead de desempenho desprezível. Métricas para Tokens Por Segundo (TPS), Latência Inter-Token (TBT) e Tempo para o Primeiro Token (TTFT) não mostraram diferença significativa em comparação com uma implantação de CVM nativa. Isso é alcançado executando o runtime SCONE no modo "SIM", que depende da proteção de memória da CVM sem criptografia adicional de memória.
• Computação Confidencial (CVM + cGPU) vs. Nativa: Rodar em modo confidencial (CVM + cGPU) introduz overhead em comparação com a execução nativa não confidencial.
  • Overhead de TPS: Variou de 62,8% a 35,0%, diminuindo conforme o tamanho do lote (batch size) aumentava.
  • Overhead de TBT: Variou de 73,9% a 35,2%, diminuindo conforme o tamanho do lote aumentava.
  • Overhead de TTFT: Variou de 38,3% a 11,2%, diminuindo conforme o tamanho do token de entrada aumentava.
  • Análise: O overhead é atribuído principalmente à criptografia de I/O entre a CVM e a cGPU via buffers de salto (bounce buffers). À medida que o tempo de computação aumenta (lotes/tokens maiores), o impacto relativo do overhead de I/O diminui.

Overhead de Atestação

• Atestação Nativa: A latência baseline para atestação de TDX e cGPU foi de aproximadamente 1,16 segundos.
• Atestação EnclaveX: Adicionar a atestação ao nível de aplicação (módulo de kernel SCONE e runtime) aumentou a latência total para 1,1758 segundos.
• Overhead: A atestação ao nível de aplicação adiciona um overhead desprezível de ~1,27% ao processo total de atestação.

Significância e Alegações

O artigo afirma que o EnclaveX consegue reimaginar a implantação segura de IA/ML, unificando computação de classe HPC com robustas garantias de segurança. Sua significância reside em:

• Soberania de Dados: Permitir que organizações executem cargas de trabalho de alto valor em nuvens públicas mantendo controle granular sobre acesso e conformidade, mitigando efetivamente os riscos de insiders privilegiados.
• Escalabilidade: Fornecer um framework que suporta aplicações de ML não modificadas, facilitando a transição de silos tradicionais on-premise para ambientes de nuvem seguros e escaláveis.
• Garantias de Segurança: Ao impor uma forte soberania de dados através de atestação em múltiplas camadas (VM, GPU e Aplicação), o EnclaveX garante a integridade do código, dos dados e dos ambientes de execução antes de liberar material sensível.

Os autores concluem que, embora ataques de canal lateral (side-channel) e ataques de negação de serviço estejam fora do escopo deste trabalho, o sistema aborda efetivamente as principais ameaças de exfiltração de dados e envenenamento de modelos por administradores privilegiados em ambientes de nuvem multi-tenant.