AgenTEE: Confidential LLM Agent Execution on Edge Devices

Resumo Técnico: AgenTEE – Execução Confidencial de Agentes LLM em Dispositivos de Borda

Declaração do Problema
Agentes de Modelos de Linguagem (LLM) introduzem uma superfície de ataque significativamente mais ampla do que aplicações tradicionais devido à sua integração estreita com modelos não determinísticos e serviços de terceiros. Embora implantações em dispositivos de borda ofereçam privacidade aprimorada ao manter os dados do usuário locais, elas enfrentam desafios críticos de segurança. As implantações atuais em borda dependem de mecanismos de isolamento baseados apenas em software (por exemplo, multiprocessamento, seccomp), que são insuficientes para proteger ativos proprietários (como prompts de sistema, lógica de agente e pesos do modelo) e estados de execução sensíveis (como caches de Chave-Valor) de software privilegiado, incluindo um sistema operacional (SO) ou hipervisor comprometido. Além disso, cenários envolvendo partes interessadas mutuamente desconfiadas (por exemplo, provedores separados para o modelo, o código do agente e ferramentas de terceiros) exigem um ambiente de execução capaz de hospedar esses componentes enquanto impede que eles inspecionem ou adulterem os dados uns dos outros.

Metodologia: O Framework AgenTEE
Para abordar esses desafios, os autores apresentam o AgenTEE, um sistema projetado para implantar pipelines de agentes confidenciais em dispositivos de borda usando a Arquitetura de Computação Confidencial Arm (CCA).

• Arquitetura: O AgenTEE particiona o pipeline do agente em três componentes distintos: o tempo de execução do agente, o motor de inferência LLM e aplicações de terceiros. Cada componente é implantado em uma Máquina Virtual Confidencial (cVM) atestada independentemente, denominada "realm".
• Isolamento de Hardware: Aproveitando a CCA da Arm, esses realms executam em memória isolada por hardware (o "mundo realm"), que é inacessível ao SO do mundo normal, hipervisor e outro software privilegiado. O Monitor de Gerenciamento de Realm (RMM) media o acesso a recursos, reduzindo significativamente a Base de Computação Confiável (TCB) em comparação com TEEs tradicionais como o TrustZone.
• Comunicação Segura: Para permitir a interação entre esses componentes isolados sem expor dados ao host, o AgenTEE utiliza Memória Compartilhada Confidencial (CSM) através do design CAEC. Isso permite que realms pares troquem dados através de regiões de memória inacessíveis ao mundo normal.
• Atestação e Provisionamento: Ao iniciar, cada realm gera um token de atestação criptograficamente assinado (assinado pelo RMM). As partes interessadas (provedores de modelo, provedores de agente, provedores de aplicativo) verificam a identidade e a integridade do realm antes de transmitir ativos proprietários (por exemplo, pesos do modelo, código do agente, chaves de API) para a memória protegida.
• Implementação: O sistema foi implementado usando OpenCCA, um protótipo de código aberto da CCA da Arm executando em hardware Radxa Rock 5B. A pilha de software inclui Trusted Firmware-A, um RMM de referência, Linux-CCA como SO host/guest e kvmtool-cca como VMM. Um módulo Python leve foi desenvolvido para abstrair o uso de CSM para componentes de espaço de usuário, particionando a memória compartilhada em canais lógicos half-duplex.

Principais Contribuições

1. Análise de Requisitos: O artigo identifica os requisitos de segurança específicos para agentes LLM em dispositivos de borda, enfatizando a necessidade de proteger prompts de sistema, lógica de agente, pesos do modelo e o cache KV tanto da plataforma host quanto de aplicações co-residentes.
2. Design do Sistema: Os autores projetaram o AgenTEE, um framework que executa tempos de execução de agentes e aplicações de terceiros dentro de cVMs mutuamente atestadas e isoladas por hardware, permitindo a composição segura de componentes desconfiados em um único dispositivo.
3. Implementação e Avaliação: O sistema foi implementado e avaliado em protótipos de hardware CCA da Arm. A avaliação demonstra que agentes LLM confidenciais em dispositivos de borda são práticos e escaláveis, incorrendo em sobrecarga de desempenho mínima.

Resultados
Os autores avaliaram o AgenTEE usando dois agentes representativos (um Chatbot e um Planejador de Itinerário) e dois modelos (GPT2-Medium e Llama-3.2-1B) em três cenários de isolamento:

1. AgenTEE: cVMs comunicando-se via CSM (SO/Hipervisor não confiável).
2. NW VM: VMs comunicando-se via memória compartilhada (Hipervisor confiável).
3. NW Process: Processos comunicando-se via memória compartilhada (SO/Hipervisor confiável).

Os resultados indicam que o AgenTEE alcança desempenho quase nativo:

• Comparado a implantações padrão de multiprocessamento de SO (a base de isolamento mais fraca), o AgenTEE incorreu em uma sobrecarga de tempo de execução de menos de 5,15%.
• Comparado a implantações NW VM, a sobrecarga foi de menos de 2,53% em todas as configurações testadas.
• A sobrecarga permaneceu consistente independentemente do tamanho do modelo ou complexidade do agente, sugerindo que o mecanismo de isolamento não cria um gargalo significativo no pipeline de inferência ou comunicação.

Significância
O artigo argumenta que sistemas agênticos seguros em dispositivos de borda que lidam com ativos proprietários exigem fundamentalmente execução confidencial apoiada por hardware. Ao confinar ativos sensíveis e estados de execução em memória protegida por hardware, o AgenTEE permite a composição segura de componentes mutuamente desconfiados em um único dispositivo. Os autores concluem que essa abordagem fornece garantias fortes de isolamento com penalidades de desempenho negligenciáveis, tornando-se uma solução viável para implantar agentes LLM complexos e que preservam a privacidade em hardware de borda moderno. O trabalho destaca que a CCA da Arm é uma base adequada para computação confidencial de propósito geral, superando as limitações de TEEs de função fixa como o TrustZone.