IntelliSA: An Intelligent Static Analyzer for IaC Security Smell Detection Using Symbolic Rules and Neural Inference

Resumo Técnico: IntelliSA

Definição do Problema
A Infraestrutura como Código (IaC) permite o provisionamento automatizado de ambientes de grande escala, mas introduz riscos de segurança significativos quando ocorrem configurações incorretas. Embora analisadores estáticos baseados em regras simbólicas (como SLIC, SLAC e o estado da arte Glitch) tenham sido desenvolvidos para detectar "cheiros de segurança" (security smells — padrões de codificação ruins que sugerem vulnerabilidades), eles sofrem de uma limitação fundamental: a sobre-aproximação. Essas ferramentas baseadas em regras geram alta revocação (recall), mas produzem excesso de falsos positivos, sobrecarregando os engenheiros de segurança com tarefas de inspeção manual. Por outro lado, embora os Grandes Modelos de Linguagem (LLMs) possam reduzir os falsos positivos por meio da compreensão contextual, depender deles diretamente via APIs introduz altos custos, latência, preocupações com governança de dados e problemas de reprodutibilidade. Além disso, LLMs isolados frequentemente sofrem de sub-aproximação, perdendo verdadeiros positivos que as ferramentas baseadas em regras conseguem capturar.

Metodologia: Estrutura IntelliSA
Os autores propõem o IntelliSA, um analisador estático inteligente que integra o correspondência de regras simbólicas com inferência neural para abordar o dilema dos falsos positivos. A estrutura opera em três estágios primários:

1. Sobre-aproximação Simbólica: O sistema primeiro emprega um analisador estático (especificamente o Glitch) para escanear scripts de IaC (Puppet, Ansible, Chef) usando regras simbólicas. Isso garante ampla cobertura e alta revocação, sinalizando todos os potenciais cheiros de segurança, incluindo muitos falsos positivos.
2. Destilação de Conhecimento para Filtragem de Falsos Positivos: Para filtrar os falsos positivos sem depender de APIs de LLM caras durante a inferência, os autores empregam uma abordagem de destilação de conhecimento professor-aluno (teacher-student):
   • Professor: Um LLM de grande porte (Claude-4) atua como o modelo professor. Ele é alimentado com as linhas de código sinalizadas, a regra de detecção específica e o contexto para determinar se um aviso é um Verdadeiro Positivo (TP) ou um Falso Positivo (FP). Esses rótulos gerados pelo LLM servem como pseudo-rótulos.
   • Aluno: Um modelo neural compacto (CodeT5p-220M, ~220M de parâmetros) é treinado usando esses pseudo-rótulos. O modelo aluno aprende a classificar os avisos do analisador estático como TP ou FP. O modelo aluno é mais de 500 vezes menor que o professor, permitindo uma implantação eficiente e offline.
3. Inferência de Ponta a Ponta: Na etapa final do pipeline, o analisador estático gera avisos, que são então passados pelo modelo aluno treinado. Apenas os avisos previstos como Verdadeiros Positivos são reportados ao usuário.

Principais Contribuições

1. Estrutura IntelliSA: O primeiro analisador estático inteligente para IaC que combina regras simbólicas para cobertura com inferência neural destilada para precisão, visando especificamente a redução de falsos positivos na detecção de cheiros de segurança.
2. Destilação de Baixo Custo: A demonstração de que um modelo aluno compacto pode aprender efetivamente com os pseudo-rótulos de um professor LLM para filtrar avisos de análise estática, alcançando alta precisão sem o custo de execução ou os riscos de privacidade de dados do uso direto de APIs de LLM.
3. Validação Empírica: Uma avaliação abrangente contra analisadores estáticos existentes (SLIC, SLAC, Glitch) e baselines de zero-shot LLM (Claude-4, Grok-4, GPT-5) em três principais tecnologias de IaC.

Resultos Experimentais
O sistema foi avaliado em um conjunto de dados rotulado por humanos contendo 241 scripts de IaC (11.814 linhas de código) cobrindo 213 instâncias de cheiros de segurança em Puppet, Ansible e Chef.

• Acurácia (RQ1): O IntelliSA alcançou o maior escore Macro-F1 de 83%, superando o analisador estático de estado da arte Glitch (69%) e os baselines de LLM (até 76%). Especificamente, ele melhorou os escores F1 em 27% no Puppet, 4% no Ansible e 11% no Chef em comparação ao Glitch, impulsionado principalmente por ganhos significativos em precisão (ex: +43% no Puppet) com apenas reduções modestas na revocação.
• Custo-Efetividade (RQ2): O IntelliSA demonstrou eficiência superior na localização de cheiros. Alcançou o menor Esforço@60% de Revocação (a porcentagem de linhas de código que um engenheiro deve inspecionar para encontrar 60% dos cheiros), exigindo apenas 1,14% (Puppet), 0,74% (Ansible) e 1,66% (Chef) do código-fonte. Também alcançou o maior F1@1%LOC (qualidade de detecção dentro do top 1% das linhas inspecionadas), atingindo 85% no Ansible.
• Escolhas de Design (RQ3):
  • Modelo Professor: O Claude-4 forneceu o melhor equilíbrio para pseudo-rotulagem (F1 89%), superando o GPT-5 e o Grok-4.
  • Modelo Aluno: O CodeT5p-220M provou ser a arquitetura mais eficaz (Macro-F1 79%).
  • Escala: O modelo de 220 milhões de parâmetros apresentou desempenho comparável à variante de 770 milhões, mas sendo 71% menor, validando o design orientado à eficiência.

Significado e Alegações
O artigo afirma que o IntelliSA oferece uma solução prática para o gargalo de "falsos positivos" na análise de segurança de IaC. Ao alavancar a destilação de conhecimento, ele alcança a alta precisão dos LLMs enquanto mantém a implantabilidade offline de baixo custo dos analisadores estáticos tradicionais. Os autores afirmam que o IntelliSA é a abordagem mais precisa e custo-efetiva disponível atualmente para detectar cheiros de segurança em IaC, permitindo que engenheiros de segurança identifiquem a maioria das vulnerabilidades com o mínimo de esforço de inspeção manual. O trabalho é lançado como código aberto para apoiar a reprodutibilidade e a pesquisa adicional.