Resumo Técnico: Conjunto de Dados CAI

Declaração do Problema

O artigo identifica um gargalo crítico na aplicação de Modelos de Linguagem de Grande Escala (LLMs) à cibersegurança: embora as capacidades dos modelos base tenham avançado, o desempenho dos LLMs em testes de penetração do mundo real e operações de segurança é limitado pela ausência de trajetórias de operadores especialistas. Pesquisas anteriores (PentestGPT) estabeleceram que o "harness" (o framework de agente que guia o modelo) e os fluxos de trabalho específicos de múltiplas interações e aumentados por ferramentas dos operadores humanos são determinantes mais significativos para o sucesso do que o modelo base fundamental isoladamente.

Os conjuntos de dados públicos existentes falham em abordar essa lacuna porque tipicamente satisfazem no máximo duas das três propriedades necessárias para um Ajuste Fino Supervisionado (SFT) eficaz:

1. Escala: A maioria dos corpora de cibersegurança é ordens de magnitude menor do que misturas de SFT de propósito geral (por exemplo, T¨ULU 3, OpenHermes).
2. Fidelidade Distribucional: Conjuntos de dados sintéticos ou baseados em instruções (por exemplo, CySecBench, SecKnowledge) frequentemente exibem uma compensação entre segurança/desempenho e falham em capturar os comportamentos iterativos, de recuperação de erros e de interpretação de saída de ferramentas dos operadores reais.
3. Estrutura de Múltiplas Interações Fundamentada em Ferramentas: Benchmarks como CyberMetric ou SecQA testam a recordação factual, mas carecem dos loops "agir–observar–revisar" e dos esquemas de chamada de ferramentas necessários para fluxos de trabalho de agentes.

Além disso, a tendência da indústria em direção a modelos de fronteira otimizados por RL e com acesso restrito (por exemplo, GPT-5.5-Cyber) cria uma dependência de APIs remotas opacas. Isso concentra o contexto sensível de operadores ofensivos e defensivos (credenciais ao vivo, nomes de hosts de produção, tokens de portador) dentro de um punhado de provedores de API, criando uma superfície única de falha que representa riscos sistêmicos.

Metodologia

Os autores apresentam o Conjunto de Dados CAI, um corpus projetado através do framework de agente de código aberto CAI (Cybersecurity AI). O framework foi arquitetado primariamente como um coletor de dados, com telemetria como um subsistema de primeira classe.

• Coleta de Dados: Ao longo de um período de 14 meses (março de 2025 – maio de 2026), o framework CAI capturou 230.935 registros de sessão e 26.027.742 prompts de usuários de 16.768 endereços IP de origem distintos em 123 países.
• Abordagem Comportamental: A coleta é estritamente comportamental; nenhum prompt foi injetado e nenhum dado sintético foi gerado. O conjunto de dados registra operadores reais usando seus próprios prompts contra seus próprios alvos, incluindo etapas falhas, saídas de ferramentas e replanejamento.
• Esquema e Ofuscação: Os dados são armazenados como registros de sessão JSONL preservando o array completo messages[], incluindo chamadas de ferramentas e respostas de provedores. Para abordar privacidade e segurança, uma receita de ofuscação do lado do consumidor é aplicada para remover credenciais (chaves de API, tokens) e identificadores de infraestrutura (nomes de hosts, buckets S3) antes da liberação.
• Modelo de Acesso: O conjunto de dados é lançado como uma série baseada no tamanho do público (Conjunto de Dados CAI10, Conjunto de Dados CAI1k, Conjunto de Dados CAI200k) para organizações parceiras e clientes selecionados, em vez de como um download público, para mitigar riscos de uso duplo enquanto permite a pesquisa.

Contribuições Principais

1. Escala e Escopo: O Conjunto de Dados CAI é o maior corpus descrito de trajetórias de cibersegurança impulsionadas por LLMs, contendo ~26 milhões de prompts de usuários e 18,07 TB de armazenamento durável. É aproximadamente 65 vezes maior que o próximo maior conjunto de dados de treinamento de cibersegurança (SecKnowledge) e três a quatro ordens de magnitude maior que corpora existentes de trajetórias de agentes.
2. Realismo Operacional: O corpus captura o espectro completo do comportamento do operador, incluindo:
   • Mistura de Funções: 36,4% ofensivos, 20,1% com intenção de ataque, 27,5% comerciais/integração e 4,4% prompts defensivos.
   • Uso de Ferramentas: Uso intensivo de ferramentas de rede (nc, nmap, curl) e scanners web (nikto, burp).
   • Complexidade do Fluxo de Trabalho: Evidência de cadeias de morte multietapas (reconhecimento a persistência) executadas dentro de sessões únicas, frequentemente envolvendo comandos falhos e reparo iterativo.
   • Diversidade de Alvos: Referências a 23.147 domínios únicos, incluindo alvos de bancos, telecomunicações, governo e IoT/robótica em produção, não apenas ambientes CTF sintéticos.
3. Diversidade de Modelos: O conjunto de dados exercita 4.187 identificadores únicos de LLM, refletindo o teste A/B rotineiro de operadores de modelos de fronteira (por exemplo, GPT-5.x, Claude Opus 4, Gemini 3.1, Qwen3, DeepSeek) juntamente com variantes locais e quantizadas.
4. Análise da Superfície de Vazamento: O artigo quantifica empiricamente a "superfície de vazamento", encontrando que 0,46% das sessões contêm credenciais coladas e 0,76% contêm identificadores de infraestrutura de produção. Isso destaca a compensação que os operadores fazem entre produtividade e confidencialidade ao usar APIs remotas.

Resultados e Observações

• Crescimento e Cadência: O corpus cresceu a uma taxa média de ~540 registros de sessão e 60 mil prompts por dia. Os dados sugerem que uma cadência de retreinamento semanal é ótima para pipelines de SFT para capturar deslocamentos distribucionais, já que o incremento diário representa ~0,23% do corpus.
• Evolução do Prompt: Os comprimentos dos prompts mudaram de diretivas curtas de loop de shell (~150 caracteres) para resumos complexos de planejamento de múltiplas etapas (400–1.300+ caracteres), impulsionados pela sofisticação dos andaimes de agentes.
• Armaização de CVE: A análise das menções a CVEs revela uma dominância de "cauda longa" de vulnerabilidades legadas (por exemplo, CVE-2019-11248, CVE-2017-10271) sobre zero-days, embora divulgações recentes (2025–2026) sejam armaizadas rapidamente.
• Distribuição Geográfica: 85,7% dos contribuintes distintos estão na Europa, com clusters significativos na Ásia e na América do Norte. Um notável 11,4% do tráfego origina-se de provedores de nuvem/hospedagem públicos, indicando reconhecimento scriptado.
• Capacidade de Uso Duplo: O conjunto de dados contém exemplos verificáveis de cadeias de morte completas de atacantes (reconhecimento, exploração, escalonamento de privilégios, exfiltração, persistência) executadas em menos de duas horas, demonstrando o "aumento de capacidade criminal observável" fornecido por agentes aumentados por LLM.

Significado e Alegações

O artigo argumenta que o Conjunto de Dados CAI fornece o "substrato faltante" necessário para o treinamento de LLMs especializados em cibersegurança. Seu significado reside em três áreas:

1. Habilitando SFT Robusto: O conjunto de dados permite o treinamento de modelos que entendem a natureza iterativa e fundamentada em ferramentas do trabalho de segurança, abordando as limitações das abordagens atuais apenas de RL ou apenas de instruções. Ele suporta receitas para pré-treinamento contínuo, SFT, DPO e RLVR.
2. Inteligência de Ameaças: O corpus serve como um feed passivo de inteligência de ameaças, permitindo estudos sobre latência de CVE para armaização, uso de infraestrutura por adversários e a evolução da tática de ataque no mundo real.
3. Risco Sistêmico e Arquitetura: O artigo postula que a dependência atual de modelos de fronteira remotos e com acesso restrito concentra o contexto ofensivo e defensivo do mundo em poucos provedores de API, criando um único ponto de falha. Os autores afirmam que a única configuração que preserva tanto a produtividade quanto a confidencialidade é um LLM especializado em cibersegurança hospedado localmente e de propriedade privada. O Conjunto de Dados CAI é moldado especificamente para tornar o treinamento de tais modelos prático, oferecendo um caminho para resolver a tensão entre eficiência do operador e soberania de dados.

Os autores concluem que o conjunto de dados não é meramente um recurso de treinamento, mas um registro da automação de cibersegurança em andamento, destacando a necessidade urgente de modelos especializados e hospedados localmente para mitigar os riscos sistêmicos do contexto centralizado do operador.