AgenTEE: Confidential LLM Agent Execution on Edge Devices

Resumen Técnico: AgenTEE – Ejecución Confidencial de Agentes LLM en Dispositivos de Borde

Enunciado del Problema
Los agentes de Modelos de Lenguaje Grande (LLM) introducen una superficie de ataque significativamente más amplia que las aplicaciones tradicionales debido a su integración estrecha con modelos no deterministas y servicios de terceros. Si bien las implementaciones en dispositivos de borde ofrecen una mayor privacidad al mantener los datos del usuario locales, enfrentan desafíos críticos de seguridad. Las implementaciones actuales en el borde dependen de mecanismos de aislamiento basados únicamente en software (por ejemplo, multiproceso, seccomp), que son insuficientes para proteger activos propietarios (como prompts del sistema, lógica del agente y pesos del modelo) y el estado de ejecución sensible (como las cachés de clave-valor) del software privilegiado, incluido un sistema operativo anfitrión o hipervisor comprometido. Además, los escenarios que involucran a partes interesadas que se desconfían mutuamente (por ejemplo, proveedores separados para el modelo, el código del agente y herramientas de terceros) requieren un entorno de ejecución que pueda alojar estos componentes mientras evita que inspeccionen o manipulen los datos de los demás.

Metodología: El Marco de Trabajo AgenTEE
Para abordar estos desafíos, los autores presentan AgenTEE, un sistema diseñado para desplegar pipelines de agentes confidenciales en dispositivos de borde utilizando la Arquitectura de Computación Confidencial de Arm (CCA).

• Arquitectura: AgenTEE divide el pipeline del agente en tres componentes distintos: el tiempo de ejecución del agente, el motor de inferencia LLM y las aplicaciones de terceros. Cada componente se despliega en una Máquina Virtual Confidencial (cVM) atestada de forma independiente, denominada "reino".
• Aislamiento de Hardware: Aprovechando la CCA de Arm, estos reinos se ejecutan en memoria aislada por hardware (el "mundo de reino"), a la cual el sistema operativo del mundo normal, el hipervisor y otro software privilegiado no tienen acceso. El Monitor de Gestión de Reinos (RMM) media el acceso a los recursos, reduciendo significativamente la Base de Computación de Confianza (TCB) en comparación con los TEE tradicionales como TrustZone.
• Comunicación Segura: Para permitir la interacción entre estos componentes aislados sin exponer datos al anfitrión, AgenTEE utiliza Memoria Compartida Confidencial (CSM) a través del diseño CAEC. Esto permite que los reinos pares intercambien datos a través de regiones de memoria inaccesibles para el mundo normal.
• Atestación y Aprovisionamiento: Al iniciarse, cada reino genera un token de atestación firmado criptográficamente (firmado por el RMM). Las partes interesadas (proveedores de modelos, proveedores de agentes, proveedores de aplicaciones) verifican la identidad y la integridad del reino antes de transmitir activos propietarios (por ejemplo, pesos del modelo, código del agente, claves API) a la memoria protegida.
• Implementación: El sistema se implementó utilizando OpenCCA, un prototipo de código abierto de la CCA de Arm que se ejecuta en hardware Radxa Rock 5B. La pila de software incluye Trusted Firmware-A, un RMM de referencia, Linux-CCA como sistema operativo anfitrión/invitado y kvmtool-cca como VMM. Se desarrolló un módulo ligero de Python para abstraer el uso de CSM para componentes del espacio de usuario, dividiendo la memoria compartida en canales lógicos de media dúplex.

Contribuciones Clave

1. Análisis de Requisitos: El artículo identifica los requisitos de seguridad específicos para agentes LLM en dispositivos de borde, enfatizando la necesidad de proteger los prompts del sistema, la lógica del agente, los pesos del modelo y la caché KV tanto de la plataforma anfitriona como de las aplicaciones co-residentes.
2. Diseño del Sistema: Los autores diseñaron AgenTEE, un marco que ejecuta tiempos de ejecución de agentes y aplicaciones de terceros dentro de cVMs aisladas por hardware y atestadas mutuamente, permitiendo la composición segura de componentes que se desconfían mutuamente en un solo dispositivo.
3. Implementación y Evaluación: El sistema se implementó y evaluó en prototipos de hardware CCA de Arm. La evaluación demuestra que los agentes LLM confidenciales en dispositivos de borde son prácticos y escalables, incurriendo en una sobrecarga de rendimiento mínima.

Resultados
Los autores evaluaron AgenTEE utilizando dos agentes representativos (un Chatbot y un Planificador de Itinerarios) y dos modelos (GPT2-Medium y Llama-3.2-1B) en tres escenarios de aislamiento:

1. AgenTEE: cVMs comunicándose a través de CSM (sistema operativo/hipervisor no confiable).
2. VM NW: VMs comunicándose a través de memoria compartida (hipervisor confiable).
3. Proceso NW: Procesos comunicándose a través de memoria compartida (sistema operativo/hipervisor confiable).

Los resultados indican que AgenTEE logra un rendimiento casi nativo:

• En comparación con las implementaciones estándar de multiproceso del sistema operativo (la línea base de aislamiento más débil), AgenTEE incurrió en una sobrecarga de tiempo de ejecución de menos del 5,15%.
• En comparación con las implementaciones de VM NW, la sobrecarga fue de menos del 2,53% en todas las configuraciones probadas.
• La sobrecarga se mantuvo constante independientemente del tamaño del modelo o la complejidad del agente, lo que sugiere que el mecanismo de aislamiento no genera cuellos de botella significativos en la inferencia o el pipeline de comunicación.

Significado
El artículo argumenta que los sistemas agénticos seguros en dispositivos de borde que manejan activos propietarios requieren fundamentalmente una ejecución confidencial respaldada por hardware. Al confinar activos sensibles y estados de ejecución a memoria protegida por hardware, AgenTEE permite la composición segura de componentes que se desconfían mutuamente en un solo dispositivo. Los autores concluyen que este enfoque proporciona garantías de aislamiento sólidas con penalizaciones de rendimiento neglijibles, convirtiéndolo en una solución viable para desplegar agentes LLM complejos y que preservan la privacidad en hardware de borde moderno. El trabajo destaca que la CCA de Arm es una base adecuada para la computación confidencial de propósito general, superando las limitaciones de los TEE de función fija como TrustZone.