Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

O artigo avalia a evolução de modelos de IA autônomos em cenários de ciberataques multi-etapa, revelando que o desempenho escala log-linearmente com o poder de computação e melhora significativamente entre gerações de modelos, permitindo que os mais recentes completem uma fração substancial de ataques complexos que antes exigiriam horas de um especialista humano.

O essencial

Imagine que você tem um grupo de robôs superinteligentes (as IAs) e quer saber o quão perigosos eles podem ser se deixados sozinhos para tentar invadir um sistema de computador complexo. É exatamente isso que este estudo fez.

Em vez de dar aos robôs um quebra-cabeça simples de 5 peças (como os testes antigos de hacking), os pesquisadores construíram dois "parques de diversões digitais" (chamados de cyber ranges) extremamente complexos, onde os robôs tinham que resolver uma série de problemas interligados, um após o outro, para chegar ao objetivo final.

Aqui está o resumo do que aconteceu, usando analogias do dia a dia:

1. Os Dois Cenários de Teste

Os pesquisadores criaram dois cenários diferentes para testar os robôs:

• O Cenário "Os Últimos" (A Empresa): Imagine um prédio de escritórios gigante com 32 salas fechadas. O objetivo do robô é entrar, pegar chaves de cada sala, abrir portas, roubar um cofre no porão e sair com os dados. É como um jogo de "pista e pegada" muito longo.
• O Cenário "Torre de Resfriamento" (A Usina): Imagine uma usina de energia real. O objetivo é mais difícil: o robô precisa entrar no sistema de controle para desligar as máquinas e causar uma pane física. É como tentar hackear um trem-bala enquanto ele está em movimento.

2. O Que Eles Descobriram? (As Duas Grandes Tendências)

Os pesquisadores testaram 7 modelos de IA diferentes, lançados ao longo de 18 meses (de agosto de 2024 a fevereiro de 2026). Eles descobriram duas coisas principais:

A. "Mais dinheiro na conta = Mais sucesso" (Escala Log-Linear)

Pense em cada IA como um detetive. Se você der a esse detetive apenas 10 minutos para investigar, ele pode achar apenas uma pista. Mas, se você der a ele 100 horas para pensar, ler documentos e tentar várias estratégias, ele consegue resolver muito mais do que apenas 10 vezes mais problemas.

• A descoberta: Quanto mais "tempo de processamento" (chamado de tokens) a IA gasta tentando resolver o problema, mais longe ela consegue chegar. Não há um "teto" onde ela para de melhorar; se você aumentar o orçamento de tempo, ela continua ficando melhor.
• O perigo: Isso significa que qualquer pessoa, mesmo sem ser um hacker genial, pode simplesmente "comprar" mais poder de computação para fazer a IA tentar milhares de vezes até conseguir invadir.

B. "Cada nova geração é mais esperta"

Comparando os robôs mais antigos com os mais novos (como comparar um carro de 2024 com um de 2026):

• No Cenário da Empresa: Os robôs mais novos estão voando. O modelo mais antigo (GPT-4o) conseguiu completar em média apenas 1,7 dos 32 passos. O modelo mais novo (Opus 4.6) completou em média 9,8 passos apenas com o orçamento padrão.
• O recorde: A melhor tentativa do robô mais novo conseguiu completar 22 dos 32 passos. Isso é como se um humano expert levasse 14 horas para fazer o trabalho, e o robô fizesse o equivalente a 6 horas de trabalho humano, mas sozinho.
• No Cenário da Usina: Aqui, os robôs ainda estão tropeçando. Eles conseguem dar apenas 1 ou 2 passos de 7. É muito difícil para eles entenderem como controlar máquinas físicas complexas.

3. Onde Eles Travam? (Os Obstáculos)

Mesmo os robôs mais inteligentes têm pontos fracos. No cenário da empresa, eles conseguiam entrar e explorar, mas travavam em "portas de vidro blindado" que exigiam conhecimentos muito específicos:

• Decifrar códigos complexos: Como quebrar um cofre que usa criptografia avançada.
• Engenharia Reversa: Como entender o funcionamento interno de um programa sem ter o manual.
• Criação de Malware: Como criar um vírus novo para se esconder.

Quando chegavam nesses pontos, eles muitas vezes ficavam confusos ou desistiam.

4. O Que Isso Significa para o Futuro?

• Não é um filme de Hollywood (ainda): As IAs ainda não conseguem invadir sistemas do zero até o fim sozinhas em todos os cenários. Elas ainda precisam de ajuda humana para os passos mais difíceis.
• Mas o perigo é real: A barreira de entrada está caindo. Antes, só um hacker muito esperto conseguia invadir uma rede corporativa. Agora, um "hacker de nível médio" pode usar uma IA moderna, dar a ela muito tempo de processamento, e ela consegue fazer grande parte do trabalho sujo sozinha.
• Aceleração: A velocidade com que essas IAs estão melhorando é assustadora. Em apenas dois meses, entre dois modelos lançados, a capacidade de invadir aumentou em mais de 40%.

Resumo em uma frase:

As IAs estão ficando incrivelmente boas em invadir redes de computadores passo a passo, especialmente se tivermos tempo e dinheiro para deixá-las pensar bastante, mas elas ainda têm dificuldade com tarefas que exigem criatividade humana profunda e controle de sistemas físicos complexos.

A lição principal: A segurança cibernética precisa evoluir rápido, porque a "ferramenta" que os criminosos podem usar para invadir está ficando mais poderosa a cada mês, e não precisa de um gênio para operá-la.

Resumo técnico

1. O Problema

À medida que os sistemas de IA tornam-se mais capazes, surge uma preocupação crítica para a segurança cibernética e a governança de IA: a capacidade de agentes autônomos executarem cadeias de ataque complexas e de múltiplas etapas com intervenção humana mínima.

• Limitação das Avaliações Atuais: A maioria das avaliações existentes baseia-se em desafios isolados de "Capture the Flag" (CTF) ou benchmarks de perguntas e respostas. Embora úteis para habilidades específicas, eles não capturam a necessidade de raciocínio autônomo de longo prazo, rastreamento de estado e recuperação de erros em ambientes de rede em grande escala.
• O Lacuna: Não está claro até que ponto os modelos de IA de ponta (frontier models) podem navegar autonomamente em ambientes de rede complexos para realizar operações ofensivas completas, nem quão rápido essa capacidade está evoluindo.

2. Metodologia

Os autores desenvolveram e utilizaram dois ambientes de teste cibernético (cyber ranges) simulados, projetados especificamente para exigir a encadeamento de capacidades heterogêneas em sequências de ação estendidas.

Ambientes de Teste

1. "The Last Ones" (Ataque a Rede Corporativa):
   • Objetivo: Exfiltrar dados sensíveis de um banco de dados interno protegido.
   • Estrutura: 32 etapas sequenciais agrupadas em 9 marcos (reconhecimento, movimento lateral, exfiltração, etc.).
   • Complexidade: Requer descoberta de vulnerabilidades, exploração web, engenharia reversa, criptografia e desenvolvimento de malware.
   • Estimativa Humana: Um especialista humano levaria cerca de 14 horas para completar.
2. "Cooling Tower" (Ataque a Sistema de Controle Industrial - ICS):
   • Objetivo: Interromper processos físicos em uma usina de energia simulada.
   • Estrutura: 7 etapas, mas com unidades de trabalho substancialmente maiores e dependências complexas.
   • Complexidade: Envolve comprometer interfaces homem-máquina (HMI), engenharia reversa de bibliotecas criptográficas e interação direta com controladores lógicos programáveis (PLCs).
   • Estimativa Humana: Um especialista levaria cerca de 15 horas.

Configuração Experimental

• Modelos Avaliados: Sete modelos lançados entre agosto de 2024 e fevereiro de 2026 (incluindo GPT-4o, Claude Sonnet 3.7/4.5, Opus 4.5/4.6, GPT 5.1/5.3 Codex).
• Orçamento de Inferência: Testes realizados com orçamentos de tokens de 10 milhões e 100 milhões.
• Design do Agente: Agentes padrão rodando em Kali Linux, seguindo o paradigma ReAct (Raciocinar + Agir). Podem executar comandos Bash, Python e usar o framework de comando e controle (C2) Mythic.
• Técnica de Compacting de Contexto: Para permitir execuções que excedem a janela de contexto única, o histórico de conversão é resumido periodicamente pelo próprio modelo, permitindo que o agente continue de onde parou.
• Métrica de Desempenho: Número de etapas concluídas autonomamente até o objetivo. Não há defesa ativa nos ambientes (sem bloqueio de alertas).

3. Principais Contribuições

1. Avaliação de Longo Prazo: Fornece uma visão longitudinal da evolução da capacidade ofensiva cibernética autônoma ao longo de 18 meses.
2. Novos Benchmarks: Introduz ambientes de teste que simulam operações ofensivas reais (cadeias de ataque) em vez de tarefas isoladas.
3. Análise de Escalabilidade: Demonstra como o aumento do poder computacional (tokens) e a evolução de gerações de modelos impactam diretamente a capacidade de ataque.

4. Resultados Chave

Tendência 1: Escalonamento Log-Linear com Computação de Inferência

• O desempenho dos modelos escala de forma log-linear com o número de tokens gastos.
• Aumento de Tokens: Aumentar o orçamento de 10M para 100M tokens resultou em ganhos de até 59% nas etapas completadas.
• Acessibilidade: Não é necessária sofisticação técnica do operador para obter esses ganhos; basta aumentar o orçamento de tokens.
• Sem Platô: Não foi observado um platô de desempenho até 100M tokens; os modelos continuaram a fazer progresso ativo ao atingir o limite de tokens.

Tendência 2: Melhoria Geracional Consistente

• Cada nova geração de modelo superou consistentemente seus predecessores em orçamentos de tokens fixos.
• Exemplo em "The Last Ones" (10M tokens):
  • GPT-4o (Agosto 2024): Média de 1,7 etapas.
  • Opus 4.6 (Fevereiro 2026): Média de 9,8 etapas.
• Melhor Execução Única: A melhor execução do Opus 4.6 completou 22 de 32 etapas. Isso corresponde a aproximadamente 6 horas de trabalho de um especialista humano (estimado em 14 horas totais). O tempo de parede para essa execução foi de cerca de 10 horas.
• Custo: Uma tentativa de 100M tokens com o Opus 4.6 custaria aproximadamente $80 USD (considerando preços padrão e cache de tokens).

Desempenho em Ambientes Diferentes

• Rede Corporativa ("The Last Ones"): Progresso significativo. O Opus 4.6 foi o primeiro modelo a superar consistentemente gargalos que exigem conhecimento especializado (engenharia reversa, criptografia), alcançando o marco 6.
• Sistema Industrial ("Cooling Tower"): O desempenho permanece limitado.
  • A maioria dos modelos completou 0 etapas em média com 10M tokens.
  • Com 100M tokens, o Opus 4.6 fez uma média de apenas 1,4 etapas (máximo de 2). O melhor resultado único foi de 3 etapas.
  • Observação Importante: Os modelos mostraram uma tendência a "pular" a sequência de ataque projetada (ex: explorando bugs não intencionais ou analisando tráfego de rede diretamente) em vez de seguir o caminho lógico de exploração web e engenharia reversa, demonstrando comportamentos não previstos pelos designers do teste.

Gargalos Identificados

Os principais gargalos onde os modelos falharam ou tiveram dificuldade incluem:

1. Ataques de retransmissão NTLM (requerem coordenação de processos em tempo real).
2. Engenharia reversa de binários Windows com credenciais criptografadas.
3. Cadeias longas de ataques em pipelines de CI/CD.

5. Significado e Implicações

• Redução da Barreira de Habilidade: A capacidade de escalar o desempenho apenas aumentando o orçamento de tokens (sem necessidade de prompting complexo ou ferramentas personalizadas) significa que atores não especializados podem potencialmente realizar ataques complexos.
• Aceleração de Operações: Embora a conclusão total (end-to-end) ainda não seja alcançada, os modelos podem acelerar significativamente partes do ciclo de ataque. Um agente de IA pode realizar o equivalente a 6 horas de trabalho de um especialista em cerca de 10 horas de tempo de máquina.
• Risco de Proliferação: A melhoria rápida (de 1,7 para 9,8 etapas em 18 meses) sugere que a capacidade de ataques autônomos está evoluindo rapidamente, exigindo monitoramento contínuo.
• Limitações Atuais: A falha em ambientes industriais complexos e a dependência de grandes orçamentos de tokens indicam que, embora a ameaça seja real e crescente, a autonomia total em cenários de alta complexidade ainda não foi alcançada.
• Defesa: Os modelos atuais ainda não são "furtivos"; modelos que avançaram mais dispararam mais alertas de segurança, indicando que a detecção ainda é eficaz contra essas tentativas autônomas.

Conclusão

O estudo conclui que os modelos de IA de ponta estão demonstrando uma melhoria substancial e escalável na capacidade de executar ataques cibernéticos autônomos de múltiplas etapas. A combinação de orçamentos de computação maiores e novas gerações de modelos está reduzindo rapidamente a lacuna entre a capacidade humana e a artificial em tarefas ofensivas, embora desafios significativos permaneçam em ambientes industriais críticos e em cenários com defesas ativas.