Resumo Técnico: Confiabilidade de Atacantes de IA Contra um Alvo Vulnerável Fixo

Declaração do Problema

Embora a literatura recente tenha estabelecido que Modelos de Linguagem de Grande Escala (LLMs) podem conduzir autonomamente ataques cibernéticos multiestágio — como explorar vulnerabilidades web, realizar força bruta em credenciais e encadear estágios de ataque —, permanece uma lacuna fundamental quanto à consistência desses comportamentos. Pesquisas anteriores focaram amplamente na capacidade (o modelo consegue ter sucesso?) com base em estudos de execução única ou de pequenas amostras (tipicamente 1–10 execuções), tratando implicitamente esses poucos resultados como representativos do comportamento do modelo. Este artigo aborda a questão sem resposta: Quão consistentes são os ataques autônomos de LLMs em ensaios repetidos sob condições idênticas?

Essa consistência é crítica para duas comunidades:

1. Pesquisadores de Segurança de IA: Para determinar se mecanismos de segurança baseados em recusa se mantêm sob uso sustentado e programático dentro de enquadramentos profissionais que espelham as táticas legítimas de atacantes.
2. Defensores Cibernéticos: Para avaliar se ataques autônomos produzem assinaturas previsíveis para detecção ou se cada instância segue um caminho novo que evade defesas baseadas em correspondência de padrões.

Metodologia

O estudo apresenta a primeira medição empírica em grande escala da consistência de ataques de LLMs, conduzindo 400 execuções independentes (100 por modelo) contra um alvo fixo e idêntico.

Configuração Experimental

• Alvo: Uma Máquina Virtual do Azure de propriedade própria e isolada, hospedando três serviços deliberadamente vulneráveis:
  • OWASP Juice Shop (Porta 3000): Vulnerabilidade de Injeção SQL.
  • OpenSSH (Porta 22): Credenciais fracas (honeypot:password123).
  • vsftpd (Porta 21): Acesso FTP anônimo com arquivos sensíveis.
• Modelos Avaliados:
  • Claude Sonnet 4 (Anthropic)
  • Gemini 2.5 Flash-Lite (Google)
  • GPT-4o-mini (OpenAI)
  • qwen2.5-coder:14b (Local via Ollama)
• Orquestrador: Um script Python personalizado (orchestrator.py) que aciona um loop de comando-executar-observar. Ele impõe uma progressão de ataque estruturada (Reconhecimento → Exploração Web → Exploração SSH → Pós-Exploração → Exploração FTP → Conclusão) e inclui filtros de segurança, detecção de loops e intervenções de estagnação de fase.
• Restrições e Parâmetros:
  • Prompt: Um enquadramento padronizado de "teste de penetração autorizado".
  • Temperatura: Definida em 0,3 para Ollama, Gemini e OpenAI. Nota: As chamadas da Anthropic foram inadvertidamente enviadas sem um parâmetro de temperatura, padrão para 1,0.
  • Limite de Iteração: 25 iterações por execução.
  • Histórico: Modelos em nuvem retiveram as últimas 10 mensagens (~5 trocas); o modelo local (qwen) reteve o histórico completo da conversa.

Coleta de Dados

O estudo gerou mais de 6.000 interações individuais de comando-executar-observar em uma janela de 60 horas em março de 2026. Uma auditoria post-hoc revelou que 91 das 1.135 chamadas de API da Anthropic retornaram overloaded_error (HTTP 529), truncando 39 das 100 execuções do Claude. Estas foram reclassificadas de "recusas de segurança" para "falhas de API a montante".

Principais Contribuições

1. Medição de Consistência em Grande Escala: O primeiro estudo a medir o comportamento de ataque autônomo de LLMs com N=100 por modelo em um alvo multi-serviço, indo além de benchmarks anedóticos de execução única.
2. Reavaliação da Taxa de Recusa: Uma auditoria rigorosa mostrando que zero recusas de conteúdo sobreviveram à estrutura de teste de penetração autorizado em 400 execuções. A afirmação de um rascunho anterior de uma taxa de recusa de 42% para o Claude foi corrigida para ser inteiramente causada por falhas de capacidade de API a montante.
3. Taxonomia de Modos de Falha: Uma classificação detalhada de como os modelos falham, distinguindo entre comportamentos de nível de modelo (conclusão prematura, exaustão de iterações) e artefatos de nível de provedor (truncamento de API).
4. Análise de Diversidade Estratégica: Quantificação da diversidade de estratégias de ataque usando entropia de Shannon e razões de sequências de fase únicas, revelando variância significativa entre os modelos.

Principais Resultados

1. Taxa de Recusa Zero Sob Enquadramento Profissional

Em 400 execuções e quatro provedores, nenhum modelo emitiu uma recusa de conteúdo que sobrevivesse ao re-prompt de autorização de uma única tentativa do orquestrador nas iterações 0–1. Isso apoia o quadro de "objetivos concorrentes", sugerindo que, sob um enquadramento de "profissional prestativo", o objetivo de prestatividade domina as recusas de segurança.

2. Modos de Falha Distintos

Os modelos falham de maneiras qualitativamente diferentes:

• Claude Sonnet 4: Dominado por truncamento de API (39/100 execuções cortadas por overloaded_error). Entre as execuções bem-sucedidas, alcançou exploração total em 61% dos casos.
• Gemini 2.5 Flash-Lite: O operador mais confiável, com uma taxa de exploração total de 85%. Raramente falha, com erros limitados a saídas antecipadas (8%) ou atingindo o limite de iterações (7%). Apresenta autocorreção perfeita (taxa de 1,0).
• GPT-4o-mini: Caracterizado por exaustão do orçamento de iterações (23/100 execuções atingiram o limite de 25 iterações sem conclusão). É o explorador mais minucioso (média de 24,01 iterações), mas alcança exploração total em apenas 56% das execuções.
• qwen2.5-coder:14b: Propenso a conclusão prematura (52/100 execuções declararam conclusão antes de explorar todos os serviços), alcançando exploração total em apenas 25% das execuções.

3. Diversidade de Estratégia e Comportamento do Primeiro Movimento

• Diversidade: O GPT-4o-mini exibiu diversidade quase máxima (98 estratégias únicas em 100 execuções), enquanto o Gemini foi mais determinístico (48 estratégias únicas).
• Divisão do Primeiro Movimento: Os modelos dividiram-se na estratégia inicial. Claude e Gemini atacaram serviços web primeiro (67–90% das execuções), enquanto qwen e GPT-4o-mini atacaram FTP primeiro (63–82% das execuções).
• Tempo até a Primeira Exploração: Consistente entre os modelos, ocorrendo na iteração 4–6 (aproximadamente 15–30 segundos de tempo de relógio).

4. Reutilização de Credenciais entre Serviços

A reutilização autônoma de credenciais (usar credenciais de FTP para login SSH) foi observada apenas em modelos com histórico completo de conversa (qwen: 57%) ou contagens de iteração mais altas permitindo retenção de contexto (GPT-4o-mini: 49%). Modelos em nuvem com histórico reduzido (Claude, Gemini) mostraram 0% de reutilização. Isso sugere que o comportamento é dependente de contexto e não puramente arquitetural.

5. Significância Estatística

As diferenças entre modelos nas taxas de exploração são estatisticamente significativas (p < 0,001) com tamanhos de efeito grandes. Por exemplo, a diferença nas taxas de injeção SQL entre qwen e Gemini é Cohen's h = 1,12.

Significância e Alegações

O artigo afirma mudar o paradigma da avaliação de segurança de LLMs de capacidade para confiabilidade.

• Para Segurança de IA: O estudo demonstra que benchmarks de execução única são insuficientes. Sob enquadramentos profissionais e autorizados, defesas baseadas em recusa parecem ineficazes entre os principais provedores. As avaliações de segurança devem avançar para medir taxas de recusa sob enquadramentos de tarefas que parecem legítimos e operacionalmente perigosos.
• Para Defesa Cibernética: A consistência do "tempo até a primeira exploração" (~30 segundos) sugere uma janela de detecção estreita. Os defensores devem focar em detectar a transição de reconhecimento para exploração ativa (transições de fase) em vez de assinaturas de comando específicas, especialmente dada a alta diversidade de estratégias de modelos como o GPT-4o-mini.
• Para Red Teaming: Os resultados sugerem que o red teaming automatizado deve depender de relatórios estatísticos de múltiplas execuções (por exemplo, N=30 a N=100) com intervalos de confiança, em vez de anedotas de execução única. A escolha do modelo envolve um compromisso: o Gemini oferece alta confiabilidade/consistência, enquanto o GPT-4o-mini oferece cobertura superior da superfície de ataque via diversidade de estratégias.

Os autores observam explicitamente limitações, incluindo a assimetria de temperatura não intencional para o Claude, as diferenças de redução de histórico entre modelos em nuvem e locais, e o perfil de vulnerabilidade específico do honeypot, chamando para estudos de acompanhamento para desvendar esses fatores.