Resumo Técnico: Rumo à SuperInteligência em Cibersegurança (CSI)

1. Declaração do Problema

Os sistemas de IA em cibersegurança estão atualmente convergindo para uma única estrutura de execução por agente: um loop iterativo de shell impulsionado por um Modelo de Linguagem de Grande Escala (LLM). Embora frameworks como PentestGPT e Cybersecurity AI (CAI) tenham demonstrado resultados no nível de praticantes, eles operam sob a premissa de que uma única estrutura otimizada de ponta a ponta é a abordagem superior para todos os desafios.

O artigo identifica uma lacuna crítica: as estruturas não são wrappers intercambiáveis. Elas diferem fundamentalmente na forma como se comprometem com ações (one-shot vs. iterativo), gerenciam registros de ferramentas (shell livre vs. API restrita), lidam com contexto e impõem limites de custo/turno. Essas diferenças estruturais direcionam o LLM através de regiões distintas do espaço de soluções. A questão central de pesquisa é: Qual é o melhor sistema de controle para IA em cibersegurança? Especificamente, diferentes estruturas falham e têm sucesso nos mesmos itens, ou são complementares? Se for o último caso, o sistema de controle ideal pode não ser uma única estrutura, mas uma combinação de estruturas estruturalmente heterogêneas.

2. Metodologia

Para investigar isso, os autores introduziram a SuperInteligência em Cibersegurança (CSI), uma meta-estrutura projetada para unificar sistemas de controle de agentes heterogêneos sob uma camada comum de orquestração.

2.1 A Arquitetura CSI

A CSI atua como uma interface de linha de comando que envolve várias estruturas de agente LLM atrás de um único executável e um proxy de roteamento local.

• Orquestração Unificada: Envolve backends diversos (Claude Code, Codex CLI, Mistral Vibe, uma estrutura generativa e o framework CAI) atrás de um sistema de controle de referência uniforme.
• Proxy de Roteamento: Cada solicitação de qualquer backend passa por um proxy local que realiza tradução de protocolo de fio, impõe supressão de telemetria e mantém um registro JSONL unificado para contabilidade de custos.
• Mecanismo de Quadro Negro: A arquitetura suporta um substrato simbólico compartilhado (um quadro negro) onde os agentes podem trocar descobertas tipadas, permitindo comunicação entre estruturas sem modificar o código da estrutura individual.

2.2 Estruturas sob Comparação

O estudo avaliou cinco estruturas distintas, todas executando o mesmo modelo fixo (alias2-mini) para isolar o impacto da estrutura do sistema de controle:

1. CSI::Claude: Envolve a CLI do Claude Code com um loop de ferramentas iterativo e acesso livre ao shell.
2. CSI::Codex: Envolve a CLI do OpenAI Codex com um loop iterativo similar, mas com gerenciamento de contexto e protocolos de fio diferentes.
3. CSI::CAI: Envolve o framework CAI com um registro de ferramentas Python restrito e limites rígidos de custo/turno.
4. CSI::GCAI (Generative Cybersecurity AI): Uma estrutura minimalista, independente, de ~1.400 linhas em TypeScript. Usa um regime de raciocínio one-shot com re-prompting iterativo e um prompt de sistema rigoroso, gerado via um loop de auto-pesquisa.
5. CSI::Mistral: Envolve o Mistral Vibe, um agente CLI minimalista usando protocolos nativos de chamada de função.

2.3 Benchmark e Avaliação

A avaliação foi conduzida em um subconjunto de 33 desafios do cybench, abrangendo cinco níveis de dificuldade (Muito Fácil a Muito Difícil) e quatro categorias (criptografia, engenharia reversa, exploração web, diversos).

• Restrições: Todas as estruturas foram executadas em contêineres Docker isolados com os mesmos tempos limite de relógio de parede e medidas anti-trapaça (limpeza de flags).
• Métricas: O estudo mediu taxas de resolução, tempo de relógio de parede, custo total, contagem de comandos e uso de tokens.
• Modos Experimentais:
  • Execuções Independentes: Cada estrutura foi executada sozinha para estabelecer o desempenho de base.
  • Teto de União: A cobertura máxima teórica se todas as estruturas fossem executadas sequencialmente.
  • Corrida Paralela: Todas as estruturas foram executadas simultaneamente contra instâncias isoladas do mesmo desafio; a primeira a resolver terminou as outras.
  • Quadro Negro (Escrita Cruzada): Estruturas foram executadas em paralelo contra o mesmo alvo, compartilhando um diretório montado para trocar descobertas intermediárias.

3. Contribuições Principais

1. Complementaridade Empírica: O estudo demonstra que nenhuma estrutura única domina. Embora as melhores estruturas individuais (CSI::Claude e CSI::Codex) tenham resolvido 15/33 desafios (45,5%), sua união resolveu 17/33 (51,5%). Crucialmente, cada uma das quatro estruturas principais contribuiu com pelo menos uma resolução exclusiva que as outras perderam.
2. Estrutura Generativa Minimalista (GCAI): Os autores apresentam a CSI::GCAI, uma estrutura leve e auditável que alcança 10/33 resoluções (30,3%). Apesar de sua simplicidade, ela iguala o desempenho de frameworks mais complexos como o Mistral Vibe e supera seu antecessor CAI, provando que estruturas leves podem competir com frameworks de nível de produção.
3. Arquitetura Multi-Agente de Quadro Negro: O artigo valida uma arquitetura de corrida paralela com um quadro negro compartilhado. Essa configuração permitiu que as estruturas trocassem descobertas, excedendo o "teto de união" teórico de execuções independentes.
4. Definição do "Melhor Sistema de Controle": O artigo conclui que o melhor sistema de controle para IA em cibersegurança não é uma única estrutura, mas a combinação de estruturas estruturalmente heterogêneas sob um protocolo multi-agente.

4. Resultados

4.1 Desempenho Individual

• CSI::Claude & CSI::Codex: Empate pela maior taxa de resolução individual em 15/33 (45,5%).
• CSI::GCAI: Resolveu 10/33 (30,3%). Foi a mais rápida e mais eficiente em custo em desafios dentro de seu envelope de capacidade, mas sofreu com alta latência de cauda devido a tentativas exaustivas no momento do benchmark em desafios insolúveis.
• CSI::CAI: Resolveu 7/33 (21,2%) mas foi a mais eficiente em custo ($104 por resolução) e mais rápida em tempo de relógio de parede.
• CSI::Mistral: Resolveu 10/33 (30,3%) e contribuiu com uma resolução exclusiva (crushing) não encontrada pelas outras quatro.

4.2 Complementaridade e União

• Teto de União: A união das quatro estruturas principais resolveu 17/33 desafios (51,5%).
• Resoluções Exclusivas:
  • CSI::Claude: were pickle phreaks revenge
  • CSI::Codex: noisier crc
  • CSI::CAI: back to the past
  • CSI::Mistral: crushing
  • CSI::GCAI não contribuiu com resoluções exclusivas, mas foi essencial para a abrangência do conjunto.

4.3 Desempenho em Nível de Arquitetura

• Corrida Paralela (Sem Comunicação): Resolveu 17/33 (igualando o teto de união) em 24,0 horas, uma compressão de 3,8x no tempo de relógio de parede em comparação com a execução sequencial (91,5 horas).
• Quadro Negro (Escrita Cruzada): Ao permitir que as estruturas compartilhassem descobertas intermediárias, o sistema resolveu 19/33 desafios (57,6%).
  • Isso representa um ganho relativo de 27% sobre a melhor estrutura individual (15/33).
  • Foi 25% mais rápido (20,2 horas) que a melhor estrutura individual (26,8 horas) e alcançou isso com um custo comparável ($5.480 vs. $5.122).
  • O quadro negro ganhou dois desafios (failproof, just another pickle jail) que não foram resolvidos pelo teto de união, demonstrando que o compartilhamento de informações cria sinergia além da simples paralelização.

5. Significado e Alegações

O artigo alega que a heterogeneidade de estruturas é uma alavanca estrutural rumo à superinteligência em cibersegurança, em vez de uma ineficiência de engenharia a ser otimizada.

• Além da Otimização de Agente Único: Os resultados desafiam a premissa de design predominante de que uma única estrutura otimizada de ponta a ponta é suficiente. Em vez disso, a interseção de diferentes modelos mentais (representados por diferentes estruturas) produz maior cobertura.
• Postura Bio-Inspirada: Estendendo o trabalho do G-CTR (que injetou heurísticas de teoria dos jogos em um único agente), este trabalho move a injeção de heurísticas para o nível da população de agentes. Postula que, assim como equipes de segurança humanas se beneficiam de expertise diversa (engenheiros reversos, criptoanalistas, etc.), sistemas de IA se beneficiam de estruturas estruturalmente diversas.
• Limite Inferior de Capacidade: A taxa de sucesso de 57,6% com um único modelo (alias2-mini) via uma arquitetura heterogênea de quadro negro é apresentada como um limite inferior. Os autores sugerem que combinar essa heterogeneidade de estruturas com heterogeneidade de modelos (usando múltiplos LLMs) e agendamento avançado poderia aumentar ainda mais a cobertura.

O artigo conclui que o "melhor sistema de controle" não é a otimização de um único agente, mas a orquestração de estruturas estruturalmente heterogêneas sob um protocolo multi-agente cuidadosamente projetado.