SHIELDS: Automating OS Hardening with Iterative Multi-Agent Remediation

Resumo Técnico: SHIELDS – Automatizando o Endurecimento de SO com Remediação Iterativa de Multiagentes

Definição do Problema
Configurações incorretas de sistemas operacionais (SO) permanecem como um vetor primário para violações de segurança cibernética, sendo que erros humanos e falhas de configuração respondem por uma parcela significativa das violações de dados. Embora frameworks como os Guia de Implementação Técnica de Segurança (STIGs) da Defense Information Systems Agency (DISA) forneçam bases padronizadas de endurecimento (hardening), manter a conformidade é um processo que exige muito esforço. A remediação manual requer aproximadamente 16 horas por servidor anualmente, necessitando de recursos dedicados de engenharia. Ferramentas de automação existentes (ex: OpenSCAP, ComplianceAsCode) dependem de scripts de remediação estáticos e pré-escritos. Essas ferramentas falham quando não existe uma correção predefinida, quando uma correção falha devido a variáveis específicas do contexto, ou quando as diretrizes de STIG são atualizadas, pois carecem da capacidade de se adaptar, raciocinar sobre falhas ou refinar soluções iterativamente sem intervenção humana.

Metodologia
Os autores introduzem o SHIELDS (Security Hardening with Intelligent Expert Language Driven Systems), uma arquitetura multiagente projetada para tratar o endurecimento de SO como um loop de feedback e de natureza iterativa, em vez de uma tarefa de execução estática. O sistema opera em um paradigma "escanear-analisar-corrigir-verificar" utilizando Grandes Modelos de Linguagem (LLMs) e agentes especializados:

1. Arquitetura Multiagente: O sistema decompõe o fluxo de trabalho em quatro agentes especializados para reduzir a complexidade dos prompts e mitigar alucinações:
   • Agente de Triagem (Triage Agent): Filtra os achados, descartando aqueles inseguros para automação (ex: regras de partição ou sistema de arquivos) e sinalizando outros para remediação.
   • Agente de Remediação (Remedy Agent): O motor de execução central. Ele possui ferramentas para executar comandos, ler arquivos e escrever arquivos. Ele propõe correções e tem permissão para até três tentativas iterativas por achado.
   • Agente de Revisão (Review Agent): Avalia o impacto de segurança e a otimalidade da correção proposta, atribuindo uma pontuação (1–10) e sinalizando preocupações.
   • Agente de QA (QA Agent): Avalia a segurança em nível de sistema, considerando impactos operacionais como interrupção de serviços ou mudanças de dependência.
2. Loop de Remediação: Após um achado, o Agente de Remediação propõe uma correção. Os agentes de Revisão e QA atuam como um portão de aprovação duplo. Se aprovada, a correção é executada, e um escaneamento OpenSCAP de achado único valida o resultado. Se o escaneamento falhar ou os agentes rejeitarem o plano, o feedback (logs de erro, razões de rejeição) é anexado ao contexto, e o Agente de Remediação tenta uma nova correção.
3. Configuração Experimental: O sistema foi avaliado em três configurações de máquinas virtuais Rocky Linux 9 (Pequena: ~25 achados, Média: ~80, Grande: ~250) contra perfis de STIG idênticos. Seis LLMs variando de 20B a 400B de parâmetros foram testados, incluindo modelos de pesos abertos (Trinity Large, Gemma 4, Nemotron 3, variantes gpt-oss) e o modelo de pesos fechados Inception Mercury 2.

Principais Contribuições

1. Sistema SHIELDS: Um sistema multiagente licenciado sob MIT que integra escaneamento, raciocínio, remediação, revisão de segurança e validação para conformidade autônoma de STIG.
2. Fluxo de Trabalho Baseado em Feedback: Uma abordagem inovadora que adapta iterativamente as ações corretivas com base nos resultados de execução de comandos do SO em tempo real e na validação do escaneador, indo além da dependência de bibliotecas de correção estáticas e predefinidas.
3. Avaliação Empírica: Um benchmark abrangente analisando a relação entre as características do modelo (tamanho, arquitetura) e o desempenho de remediação através de diferentes tamanhos de carga de trabalho.

Resultos

• Sucesso de Remediação: O SHIELDS remediou com sucesso até 73% dos achados de escaneamento nas configurações de melhor desempenho.
• Desempenho do Modelo vs. Tamanho: Contrário à suposição de que modelos maiores performam melhor, o estudo descobriu que a contagem de parâmetros não correlaciona estritamente com o sucesso. O gpt-oss-120b e o Inception Mercury 2 (ambos com ~120B de parâmetros) superaram consistentemente o Trinity Large (398B parâmetros), que foi inferior ao gpt-oss-20b em dois de três casos de teste.
• Fatores Críticos de Sucesso: Os autores hipotetizam que o sucesso é impulsionado mais pela proficiência do modelo em uso de ferramentas e coleta de informações (recuperação de contexto) do que pelo conhecimento bruto pré-treinado ou escala.
• Eficiência de Iteração: A maioria das remediações ocorreu na primeira passagem. Embora as passagens adicionais tenham gerado algumas correções, observou-se retornos decrescentes após a terceira tentativa, sugerindo que três passagens são um trade-off ideal entre velocidade e cobertura.
• Correlação de Carga de Trabalho: Uma correlação positiva foi observada entre o tamanho da VM e a porcentagem de achados corrigidos para os modelos de melhor desempenho, provavelmente porque VMs maiores continham mais achados mecânicos e facilmente resolvíveis (ex: permissões de arquivos) junto com fraquezas centrais.

Significância e Alegações
O artigo afirma que o SHIELDS demonstra um caminho prático para reduzir o ônus operacional da conformidade de segurança, particularmente em ambientes onde os recursos computacionais são limitados ou onde a implantação de modelos locais é necessária para privacidade. Os autores sustentam que a automação de conformidade eficaz não requer necessariamente modelos de escala de fronteira; em vez disso, depende de arquiteturas agênticas que utilizam efetivamente o uso de ferramentas e o feedback iterativo. Ao tratar a conformidade como um processo de loop fechado capaz de se adaptar ao feedback real do sistema, o SHIELDS oferece uma alternativa viável aos frameworks tradicionais baseados em regras, permitindo que sistemas autônomos resolvam achados que ferramentas estáticas não conseguem abordar. O trabalho destaca que o futuro do endurecimento de segurança autônomo reside em papéis de agentes especializados e raciocínio adaptativo, e não simplesmente na escala de parâmetros dos modelos.