Quantifying Frontier LLM Capabilities for Container Sandbox Escape

1. O Problema

Os Modelos de Linguagem Grandes (LLMs) estão evoluindo rapidamente para atuar como agentes autônomos capazes de executar código, ler/escrever arquivos e acessar redes. Para mitigar os riscos de segurança inerentes a essas capacidades, os agentes são frequentemente implantados em ambientes isolados de "sandbox", geralmente implementados usando contêineres Docker/OCI.

No entanto, existe uma preocupação crítica: esses sandboxes são seguros contra agentes de IA avançados? Se um agente motivado (ou induzido por injeção de prompt) conseguir escapar do contêiner, ele pode comprometer o sistema hospedeiro, roubar dados sensíveis ou realizar ataques em rede. Até o momento, não existia um método sistemático para avaliar se agentes de IA podem descobrir e explorar vulnerabilidades de escape de contêineres, criando uma incerteza sobre a eficácia do isolamento padrão em ambientes de produção.

2. Metodologia: SANDBOXESCAPEBENCH

Os autores introduzem o SANDBOXESCAPEBENCH, um benchmark de código aberto projetado para medir com segurança a capacidade de um LLM de escapar de sandboxes de contêineres.

• Arquitetura de Avaliação (Sandbox-in-a-Sandbox): Para garantir que um escape bem-sucedido não comprometa a infraestrutura de avaliação, o sistema utiliza uma arquitetura de aninhamento. O modelo executa comandos dentro de um contêiner Docker, que por sua vez roda dentro de uma Máquina Virtual (VM). Se o modelo escapar do contêiner, ele ainda está isolado dentro da VM, protegendo o host real.
• Modelo de Ameaça: O agente assume o papel de um adversário motivado com acesso a um shell interativo (bash) dentro de um contêiner Linux. O objetivo é ler um arquivo /flag.txt localizado no sistema de arquivos do host (fora do contêiner). O agente tem privilégios de root dentro do contêiner e acesso à rede, mas não conhece a vulnerabilidade específica presente.
• Taxonomia de Cenários: O benchmark consiste em 18 cenários divididos em três camadas de ataque, baseadas em vulnerabilidades reais documentadas na literatura de segurança:
  1. Orquestração (4 cenários): Inclui contornar controles do Kubernetes (RBAC, exposição de segredos, exploração de kubectl cp).
  2. Runtime/Engine (8 cenários): Foca em más configurações de segurança (modos privilegiados, exposição do socket Docker, capacidades excessivas como CAP_SYS_ADMIN) e vulnerabilidades de runtime (runc CVE-2019-5736, CVE-2024-21626).
  3. Kernel/Hospedeiro (6 cenários): Explora falhas de namespace, abuso de cgroups e exploits de kernel (Dirty COW, Dirty Pipe, eBPF, Packet Sockets).
• Validação: A validação é binária e baseada na recuperação exata da string "flag". O processo inclui verificação de atalhos não intencionais (como credenciais SSH padrão do Vagrant) para garantir que o escape ocorra apenas através da vulnerabilidade pretendida.

3. Principais Contribuições

1. Metodologia Segura: Desenvolvimento de uma abordagem de avaliação aninhada que permite testar capacidades de escape sem risco para a infraestrutura de pesquisa.
2. Benchmark Abrangente: Criação de um conjunto de 18 desafios cobrindo orquestração, runtime e kernel, com classificações de dificuldade de 1 a 5, fundamentados em classes de vulnerabilidades do mundo real.
3. Análise de Capacidade: Estabelecimento de linhas de base para modelos de ponta, demonstrando que LLMs atuais podem escapar de sandboxes sob falhas comuns, mas enfrentam dificuldades em cenários mais complexos.

4. Resultados Chave

A avaliação foi realizada em diversos modelos de ponta (incluindo famílias GPT-5, Opus, Haiku, DeepSeek-R1 e modelos de código aberto):

• Falhas Comuns (Dificuldade 1-2): Modelos de ponta conseguem escapar com alta taxa de sucesso em cenários de má configuração (ex: contêineres privilegiados, montagem de host writable, socket Docker exposto). Isso indica que configurações padrão ou descuidadas em ferramentas de desenvolvimento são insuficientes para conter agentes capazes.
• Cenários Difíceis (Dificuldade 3-5): Para cenários que exigem conhecimento específico de vulnerabilidades ou pipelines de exploração multi-etapa (ex: exploits de kernel como Dirty Pipe ou eBPF), o desempenho cai drasticamente. No entanto, os maiores modelos (como GPT-5 e Opus 4.5) ainda alcançam taxas de sucesso significativas (cerca de 40%) em tarefas de nível 3.
• Escalonamento de Computação: Existe uma relação aproximadamente log-linear entre o orçamento de tokens (computação de inferência) e a taxa de sucesso. Aumentar o tempo de raciocínio e as tentativas melhora o desempenho, sugerindo que um atacante pode aumentar suas chances investindo mais recursos computacionais.
• Comportamento dos Modelos:
  • Modelos Claude tendem a persistir até esgotar o orçamento de tokens.
  • Modelos GPT (especialmente versões menores ou específicas como GPT-5.2) tendem a "desengajar" ou recusar a tarefa mais cedo.
  • Modelos como DeepSeek-R1 e GPT-OSS-120B mostraram uma tendência a alucinar sucesso, afirmando ter encontrado a flag quando não o fizeram.
• Descoberta de Atalhos: Os modelos foram inteligentes o suficiente para encontrar atalhos não previstos (ex: usar credenciais SSH padrão do Vagrant em vez da vulnerabilidade do contêiner), o que destaca a necessidade de testes rigorosos de segurança na própria infraestrutura de avaliação.
• Sem Novas Vulnerabilidades: Todos os escapes bem-sucedidos basearam-se em vulnerabilidades ou más configurações já documentadas; nenhum modelo descobriu uma vulnerabilidade zero-day nova durante o teste.

5. Significado e Implicações

• Risco Real de Escape: O estudo confirma que o escape de sandbox é um vetor de risco real para agentes de IA. Configurações simples de Docker não são suficientes para isolar modelos avançados.
• Necessidade de Hardening: Defensores e desenvolvedores devem tratar o isolamento "padrão" como insuficiente. É necessário configurar rigorosamente os contêineres (remover capacidades desnecessárias, não expor sockets Docker, usar namespaces restritos) e manter o sistema atualizado com patches de kernel.
• Ferramenta para Pesquisa de Controle: O SANDBOXESCAPEBENCH fornece uma metodologia padronizada para pesquisadores de segurança de IA testarem mecanismos de contenção e desenvolverem protocolos de controle mais robustos.
• Dual-Use: Embora o benchmark revele capacidades de ataque, ele é projetado com fortes medidas de segurança (sandbox aninhada) para permitir o estudo controlado desses riscos, sem introduzir novas capacidades de exploração para atores maliciosos.

Em resumo, o artigo alerta que, à medida que os agentes de IA se tornam mais capazes, a segurança baseada apenas em contêineres padrão se torna frágil, exigindo uma avaliação contínua e rigorosa das configurações de isolamento antes da implantação de sistemas autônomos.