An Open-Agent Framework for Intelligent Compliance Analysis in Infrastructure as Code Using Large Language Models

No mundo digital moderno, a infraestrutura que sustenta nossas aplicações, armazena nossos dados e executa nossos serviços não reside mais em uma sala de servidores física com fileiras de luzes piscantes. Em vez disso, ela vive na nuvem, uma vasta rede de computadores remotos gerenciados por gigantescas empresas de tecnologia. Para as organizações que utilizam esses serviços, a responsabilidade pela segurança mudou. Enquanto os provedores de nuvem garantem que o hardware funcione, os clientes devem garantir que suas configurações digitais estejam configuradas corretamente. Um único erro na forma como um balde de armazenamento é aberto ou como uma permissão de rede é concedida pode expor informações sensíveis a toda a internet. Para gerenciar essa complexidade, engenheiros utilizam um método chamado "Infraestrutura como Código". Essa abordagem trata a configuração de recursos digitais como um programa de software, escrevendo as regras em arquivos de texto que podem ser lidos por máquinas. Isso permite consistência e velocidade, mas também significa que um único erro no código pode ser copiado instantaneamente para centenas de sistemas, criando uma vulnerabilidade generalizada antes que alguém perceba.

Para capturar esses erros, as equipes de segurança dependem de ferramentas automatizadas que escaneiam o código em busca de falhas conhecidas, de forma muito semelhante a um corretor ortográfico que encontra erros de digitação. No entanto, essas ferramentas tradicionais são frequentemente rígidas; elas podem dizer que uma regra foi quebrada, mas têm dificuldade em explicar por que isso importa ou como corrigi-la de uma forma que faça sentido para um auditor humano. Por outro lado, uma tecnologia mais recente conhecida como modelos de linguagem de grande escala pode ler código e gerar explicações em linguagem natural, mas são propensas a inventar coisas ou fornecer resultados inconsistentes quando usadas sozinhas. O desafio para os pesquisadores tem sido combinar a confiabilidade estrita dos scanners automatizados com o poder explicativo dos modelos de linguagem inteligentes para criar um sistema que seja ao mesmo tempo preciso e compreensível.

Uma equipe de pesquisadores da Princess Sumaya University for Technology construiu um novo framework que funde com sucesso essas duas abordagens. Eles criaram um sistema que primeiro utiliza um motor de regras estrito para escanear o código de infraestrutura em busca de violações de padrões de segurança específicos e, em seguida, passa essas violações confirmadas para um modelo de linguagem inteligente para gerar relatórios claros, legíveis por humanos e sugestões de correções. Os pesquisadores testaram este sistema em uma grande coleção de 231 arquivos de configuração do mundo real. Eles descobriram que o sistema híbrido foi notavelmente preciso, identificando corretamente falhas de segurança em quase 97 por cento dos casos em que levantou um alerta, enquanto também capturou mais de 90 por cento dos problemas reais presentes nos arquivos. Este desempenho foi significativamente superior ao das ferramentas industriais existentes, que tendem a sinalizar muitos problemas inofensivos, causando trabalho desnecessário para os engenheiros.

O núcleo deste novo framework é um processo de cinco etapas que transforma o código bruto em um relatório de auditoria polido. Primeiro, o sistema pega os arquivos de configuração brutos e os traduz para um formato que o motor de escaneamento possa entender. Em seguida, um motor de política determinístico, que opera como um árbitro rigoroso, verifica o código contra um conjunto específico de 16 regras de segurança. Essas regras são baseadas no padrão NIST SP 800-53, um catálogo de controles de segurança amplamente reconhecido, utilizado por governos e empresas. O motor procura por padrões específicos, como uma unidade de armazenamento que carece de criptografia ou uma porta de rede que está aberta ao público. Como este motor segue regras fixas, ele nunca adivinha; ele apenas reporta o que pode provar ser uma violação.

Assim que o motor identifica uma violação, o sistema não para por aí. Ele envia os detalhes do erro para um modelo de linguagem de grande escala, que atua como um agente de raciocínio contextual. Este modelo tem a tarefa de realizar três funções específicas: explicar o risco em linguagem clara, mapear o erro para o padrão de segurança oficial que ele viola e gerar um trecho de código corrigido para resolver o problema. Para garantir que o modelo não cometa erros nas partes fatuais do relatório, os pesquisadores implementaram um mecanismo de segurança. O modelo não tem permissão para adivinhar o nome do padrão de segurança; em vez disso, o sistema busca o nome correto em uma lista verificada e o insere automaticamente. O modelo está livre apenas para gerar a explicação e a correção do código. Além disso, os pesquisadores adicionaram instruções estritas ao prompt do modelo para garantir que o código escrito seja sintaticamente correto e livre de textos desnecessários, um passo que se mostrou essencial para a confiabilidade.

Os resultados do estudo demonstram o poder desta abordagem combinada. Quando testado contra os 231 arquivos de configuração, o sistema alcançou uma precisão de 96,9 por cento, o que significa que, quando sinalizava um arquivo com um problema, estava quase sempre correto. Também alcançou um recall de 90,5 por cento, encontrando a grande maioria dos erros reais escondidos no código. Em comparação, uma ferramenta industrial líder chamada Checkov, amplamente utilizada no setor, encontrou todos os erros no conjunto de testes, mas também sinalizou quase metade dos arquivos limpos como problemáticos. Esta alta taxa de alarmes falsos forçaria as equipes de segurança a perder tempo investigando problemas que não existem. O novo framework, por outro lado, forneceu um sinal muito mais claro, reduzindo o ruído enquanto mantinha altas taxas de detecção.

Uma análise detalhada dos dados revelou um padrão claro nos tipos de erros encontrados. A violação mais comum envolveu a falta de criptografia para dados em repouso, o que representou mais de 64 por cento de todos os problemas detectados. Este achado está alinhado com pesquisas anteriores que sugerem que esquecer de criptografar dados armazenados é a falha de segurança mais frequente em ambientes de nuvem. O sistema também identificou com sucesso problemas relacionados a controles de acesso e registros de auditoria, cobrindo um amplo espectro de requisitos de segurança. Os pesquisadores observaram que a capacidade do sistema de gerar relatórios precisos e prontos para auditoria era uma vantagem fundamental, pois preenche a lacuna entre a detecção técnica e a documentação necessária para conformidade.

O estudo também destacou a importância das salvaguardas integradas ao sistema. Quando os pesquisadores testaram o modelo de linguagem pela primeira vez sem restrições estritas, ele produziu correções de código que eram frequentemente inválidas sintaticamente ou repletas de prosa desnecessária. Ao aplicar regras de formatação rigorosas e usar uma tabela de consulta verificada para dados factuais, o sistema alcançou uma taxa de sucesso de 100 por cento na geração de trechos de código válidos e mapeamentos de controle precisos. Isso sugere que a confiabilidade de tais sistemas não vem apenas da inteligência do modelo, mas do design cuidadoso do fluxo de trabalho que o envolve.

Embora o sistema tenha mostrado resultados sólidos, os pesquisadores foram cuidadosos ao notar suas limitações. O framework foca atualmente em um conjunto específico de controles de segurança e recursos de nuvem, e opera no código antes de sua implantação, o que significa que não pode detectar problemas que surjam de mudanças feitas no sistema em execução após a implantação. Além disso, a verdade fundamental usada para testar o sistema foi derivada de uma combinação de heurísticas automatizadas e inserção manual, o que pode não capturar perfeitamente todas as nuances de um ambiente do mundo real. Apesar desses limites, o estudo fornece uma prova de conceito convincente. Ele mostra que, ao combinar a precisão implacável dos motores baseados em regras com o raciocínio flexível dos modelos de linguagem, é possível criar uma ferramenta de análise de conformidade que seja altamente precisa e genuinamente útil para operadores humanos. O trabalho sugere um caminho a seguir onde as ferramentas de segurança automatizadas não apenas encontram problemas, mas ajudam as equipes a entendê-los e resolvê-los com confiança.