Security-First Evaluation of Text-to-Terraform: Benchmarking LLMs and SLMs for Secure IaC Generation
Este artigo avalia o desempenho de sete modelos de linguagem grandes e pequenos na geração de código Terraform para AWS seguro, revelando que a validade sintática e a conformidade de segurança são propriedades amplamente ortogonais e que a varredura automatizada com múltiplas ferramentas permanece essencial, independentemente do desempenho do modelo ou das estratégias de engenharia de prompt.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está construindo uma cidade invisente e massiva no céu, feita inteiramente de tijolos digitais. No mundo real, se você construir uma casa com uma fundação instável ou deixar a porta da frente escancarada, o resultado é um desastre. No mundo digital, essa "cidade" é chamada de Nuvem (Cloud), e os projetos usados para construí-la são escritos em uma linguagem especial chamada Infraestrutura como Código (IaC). Pense na IaC como uma receita superprecisa que diz aos computadores exatamente como configurar servidores, armazenamento e trincos de segurança. Por muito tempo, os humanos escreveram essas receitas, mas frequentemente cometiam erros, deixando portas digitais destrancadas e permitindo que vilões entrassem sorrateiramente.
Recentemente, um novo tipo de ajudante chegou: a Inteligência Artificial. Especificamente, Modelos de Linguagem de Grande Escala (LLMs) e seus primos menores e mais rápidos, os Modelos de Linguagem Pequenos (SLMs). Estes são como robôs superinteligentes que podem ler milhões de receitas e tentar escrever novas para você em segundos. A grande questão na mente de todos era: esses robôs de IA conseguem escrever receitas que não sejam apenas corretas (para que o edifício não desabe), mas também seguras (para que ninguém invada)? É um pouco como perguntar se um chef robô consegue assar um bolo que tenha um sabor bom e que não contenha acidentalmente uma bomba escondida. Se a IA acertar a sintaxe, mas esquecer as trancas, toda a cidade estará em perigo. Este é exatamente o enigma que uma equipe de pesquisadores do Brasil se propôs a resolver.
A Grande Competição dos Chefs de IA
Os pesquisadores decidiraram colocar sete chefs de IA diferentes à prova em uma cozinha gigante chamada "Nuvem". Eles não pediram apenas que os robôs escrevessem uma receita; eles pediram que escrevessem 17 tipos diferentes de receitas para construir estruturas digitais seguras usando uma ferramenta chamada Terraform. Eles testaram três modelos de "Cérebro Grande" (os modelos fechados e caros, como Claude Opus 4, GPT-5.4 e Gemini 2.5 Pro) e quatro modelos de "Cérebro de Bolso" (os modelos de código aberto e menores, como WizardCoder e CodeLlama).
Para ver se as receitas eram boas, a equipe não as olhou apenas com os olhos. Eles construíram uma linha de inspeção automatizada super rigorosa. Primeiro, verificaram se a receita era gramaticalmente correta (Validade Sintática). Se a receita tivesse erros de digitação, o edifício nem sequer começaria. Mas o teste real veio a seguir: eles rodaram dois scanners de segurança diferentes, Checkov e Trivy, que atuam como guardas de segurança digitais procurando por janelas abertas, portas destrancadas e armadilhas ocultas. Eles também testaram se os robôs conseguiam corrigir seus próprios erros quando informados com: "Ei, você deixou uma porta aberta", e se dar instruções mais detalhadas sobre segurança realmente ajudava.
Os Resultados Chocantes: Boa Gramática, Trancas Ruins
Aqui está a reviravolta que os pesquisadores encontraram, e é um pouco de um plot twist: Escrever uma receita perfeita e escrever uma receita segura são duas habilidades completamente diferentes.
Eles descobriram que o fato de uma IA conseguir escrever uma receita de Terraform gramaticalmente perfeita e que roda sem travar, não significa que a receita seja segura. Na verdade, as duas habilidades são quase não relacionadas. Um dos modelos menores, WizardCoder-33B, era um campeão da gramática. Ele escreveu receitas válidas 77,8% das vezes! Mas quando os guardas de segurança verificaram essas mesmas receitas, o modelo falhou em todos os testes de segurança. Foi como um chef que fez um bolo lindo e perfeitamente moldado, mas esqueceu de colocar a tampa no pote de veneno dentro dele.
Por outro lado, os modelos de "Cérebro Grande" tiveram um desempenho muito melhor, mas ainda precisavam de muita ajuda. O melhor executor, Claude Opus 4, conseguiu escrever uma receita totalmente segura apenas cerca de 23% das vezes quando recebeu instruções básicas. No entanto, quando os pesquisadores deram a ele um checklist de segurança muito específico e detalhado (dizendo exatamente quais trincas instalar e quais alarmes configurar), seu desempenho saltou para 92,5% para um tipo de scanner de segurança. Isso provou que, embora os grandes cérebros sejam capazes, eles não farão a coisa certa a menos que você diga a eles exatamente o que fazer.
Os "Cérebros de Bolso" Bateram de Frente com uma Parede
Os modelos menores (SLMs) bateram em uma parede dura. Não importava o quanto os pesquisadores tentassem dar instruções de segurança detalhadas, os modelos pequenos simplesmente não consegravam seguir o processo. Eles ou escreviam uma receita que estava quebrada, ou escreviam uma válida que era completamente insegura. Os pesquisadores descobriram que, para esses modelos menores, o problema não eram as instruções; era que os modelos simplesmente não tinham o "poder cerebral" para entender regras de segurança complexas. Eles são ótimos em copiar padrões, mas têm dificuldade em inventar soluções seguras por conta própria.
Eles Conseguem Corrigir Seus Próprios Erros?
A equipe também testou se os robôs podiam aprender com seus erros. Eles deixaram os robôs escreverem uma receita, escanearam e depois mostraram ao robô a lista de erros (como "Você esqueceu de criptografar este arquivo") e pediram para ele tentar novamente.
- A Boa Notícia: Os robôs foram surpreendentemente bons em corrigir erros simples e específicos encontrados pelo scanner Trivy (como uma tranca faltando em uma porta específica). Muitos modelos melhoraram suas pontuações significativamente após verem a lista de erros.
- A Má Notícia: Eles foram terríveis em corrigir os grandes problemas estruturais encontrados pelo scanner Checkov. Estes eram problemas como "Você precisa construir um sistema de segurança inteiramente novo para este edifício". Os robôs não conseguiam reestruturar seu próprio trabalho de uma só vez. Eles podiam apertar um parafuso frouxo, mas não conseguiam redesenhar a fundação.
O Veredito Final
A lição mais importante deste estudo é um aviso para quem pensa em deixar a IA construir suas cidades digitais: Você não pode confiar na IA para ser o guarda de segurança.
Os pesquisadores descobriram que, entre 2024 e 2026, os modelos de IA ficaram muito melhores em escrever códigos que parecem corretos, mas não ficaram melhores em escrever códigos que são seguros. Na verdade, o abismo entre "parece bom" e "é seguro" tornou-se ainda maior.
O estudo conclui que você não pode apenas pedir a uma IA para "torná-la segura" e esperar pelo melhor. Mesmo os modelos de IA mais inteligentes precisam de um humano (ou de um sistema automatizado muito rigoroso) para conferir seu trabalho. Você deve rodar múltiplos scanners de segurança em cada pedaço de código que a IA gera, não importa o quão bom seja o modelo ou o quão detalhadas tenham sido suas instruções. A IA é uma assistente poderosa, mas no mundo da segurança em nuvem, ela ainda não é um substituto para um inspetor de segurança. Se você pular a inspeção, pode acabar com uma cidade digital linda e perfeitamente construída, mas sem trancas nas portas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.