An Agentic Multi-Agent Architecture for Cybersecurity Risk Management

1. O Problema

A avaliação de riscos de cibersegurança para pequenas e médias organizações (PMEs) enfrenta barreiras significativas:

• Custo e Tempo: Consultorias alinhadas ao NIST CSF custam entre US$ 15.000 e US$ 50.000 e levam semanas para serem concluídas.
• Escassez de Talentos: Há uma falta crítica de profissionais qualificados para realizar essas avaliações.
• Falha na Abordagem Atual: A maioria das pequenas empresas ignora a avaliação de riscos devido ao custo, apesar de serem alvo de ataques quase quatro vezes mais frequentemente do que grandes organizações.
• Limitações dos Modelos Únicos (LLMs): Tentativas iniciais de usar um único modelo de linguagem (LLM) para realizar toda a avaliação resultaram em incoerências. O modelo conseguia gerar seções individuais razoáveis, mas falhava em manter a coerência global (ex: contradizer controles mencionados anteriormente ou ignorar restrições orçamentárias), devido à incapacidade de reter todas as "peças móveis" em uma única janela de geração.

2. Metodologia

Os autores desenvolveram uma arquitetura de Sistema Multi-Agente (Multi-Agent System) baseada em seis agentes especializados, coordenados por um contexto persistente compartilhado.

Arquitetura dos Agentes

O fluxo de trabalho é decomposto em seis etapas analíticas distintas, cada uma atribuída a um agente:

1. Agente de Entrada de Risco (Risk Intake): Coleta dados iniciais (indústria, tamanho, escopo regulatório) e identifica ambiguidades em vez de adivinhar.
2. Agente de Modelagem de Ameaças (Threat Modeling): Cria um modelo de ameaças plausível e específico para a organização, evitando catálogos genéricos.
3. Agente de Avaliação de Controles (Control Assessment): Analisa se os controles existentes são eficazes contra as ameaças identificadas, indo além de listas de verificação superficiais.
4. Agente de Pontuação de Risco (Risk Scoring): Conecta a modelagem de ameaças e a avaliação de controles para gerar um registro de riscos com probabilidades e impactos, garantindo consistência.
5. Agente de Recomendação de Mitigação (Mitigation Recommendation): Gera um roteiro de remediação prático, re-lembrando o perfil da organização para garantir que as recomendações sejam viáveis (ex: não sugerir contratar uma equipe de segurança para uma empresa de 15 pessoas).
6. Agente de Síntese de Relatório (Report Synthesis): Unifica todas as seções em um relatório coeso, normalizando o tom e verificando contradições.

Mecanismo de Coordenação

Diferente de pipelines sequenciais tradicionais (onde o agente 5 só vê a saída do agente 4), este sistema utiliza um contexto persistente compartilhado. Todos os agentes têm acesso de leitura e escrita a este contexto. Isso permite que o agente de recomendação, por exemplo, acesse o perfil original da organização e as descobertas de todas as etapas anteriores, resolvendo o problema de coerência observado em modelos únicos.

Implementação Técnica

• Modelos: Utilização de modelos locais via Ollama para garantir privacidade dos dados (nenhum dado sai da máquina da organização).
• Base de Conhecimento: Uso de Chroma para recuperação aumentada (RAG) de frameworks (NIST, CIS) para evitar alucinações de citações.
• Validação: O sistema foi testado em um caso real e em um estudo ablativo cruzando setores.

3. Principais Contribuições

1. Decomposição Multi-Agente: Uma arquitetura de seis agentes coordenada por contexto compartilhado que supera as falhas de coerência de modelos únicos e pipelines sequenciais.
2. Implementação Local e Privada: O sistema roda inteiramente localmente, permitindo que organizações compartilhem detalhes sensíveis de infraestrutura sem expor dados a APIs externas.
3. Validação com Especialistas: Estudo de caso validado contra três praticantes certificados CISSP.
4. Estudo de Especificidade de Domínio: Demonstração de que o fine-tuning (ajuste fino) do modelo é crucial para identificar ameaças específicas do setor, algo que modelos genéricos falham em fazer.

4. Resultados

Estudo de Caso Principal (Empresa de Saúde HIPAA)

• Cenário: Empresa de 15 funcionários, sem equipe de segurança dedicada.
• Comparação: Saída do sistema vs. 3 avaliações independentes de CISSP.
• Desempenho:
  • Concordância: 85% de concordância na classificação de severidade (18 de 21 pares).
  • Cobertura: O sistema identificou 92% dos riscos encontrados pelos humanos (12 de 13). A única falha foi um risco físico (acesso à sala de servidores) que exigiria uma visita presencial.
  • Tempo: A avaliação completa foi concluída em 14 minutos e 38 segundos, comparado a ~16 horas-homem por consultor.
  • Qualidade: Os especialistas avaliaram o relatório com média de 4.2/5 em clareza e 4.0/5 em acionabilidade.

Estudo de Generalização (5 Setores, 30 Execuções)

• Comparação de Modelos: Mistral-7B (genérico) vs. CybersecurityRiskAnalyst (ajustado para cibersegurança).
• Especificidade:
  • O modelo genérico produziu ameaças idênticas e vagas para todos os setores (ex: "Acesso Não Autorizado", "Violação de Dados").
  • O modelo ajustado identificou ameaças contextualizadas:
    • Saúde: Exposição de PHI (Informação de Saúde Protegida), integrações FHIR não corrigidas.
    • Manufatura: Vulnerabilidades em sensores OT/IIoT.
    • Varejo: Riscos específicos de plataformas como Shopify e AWS.
• Variabilidade: O modelo ajustado apresentou maior variabilidade nas saídas (6-9 títulos únicos vs. 3-4 do genérico), indicando uma resposta mais rica ao contexto, embora exija múltiplas execuções para estabilidade.

Limitações de Infraestrutura

• Em hardware com janela de contexto limitada (Tesla T4 com 4.096 tokens), o pipeline multi-agente falhou em 0% das 30 execuções devido ao esgotamento da capacidade de contexto (o JSON compartilhado crescia além do limite).
• O pipeline funcionou perfeitamente em hardware robusto (RTX 4090 com 128K de contexto), destacando que o tamanho da janela de contexto é uma restrição crítica para arquiteturas multi-agente.

5. Significado e Conclusão

O trabalho demonstra que uma arquitetura multi-agente com contexto compartilhado pode democratizar a avaliação de riscos de cibersegurança para pequenas organizações.

• Viabilidade: Oferece um ponto de partida "crédito" e específico do setor em minutos, por uma fração do custo humano.
• Qualidade vs. Custo: Embora não substitua um auditor humano experiente (especialmente em testes físicos e verificação de dados falsos), o sistema supera a alternativa atual de "não fazer nada".
• Desafio Futuro: A principal barreira técnica para adoção em larga escala não é a qualidade do modelo, mas a infraestrutura necessária (janelas de contexto grandes e VRAM) para suportar pipelines multi-agente complexos sem falhas.

O sistema representa um avanço significativo na aplicação de IA para segurança cibernética, transformando frameworks normativos (como NIST CSF) em ferramentas operacionais acessíveis.