Resumo Técnico: Análise de Segurança Transversal de Código Gerado por LLM via Teste Metamórfico e Mineração de Regras de Associação

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) frequentemente geram código contendo vulnerabilidades de segurança. Embora pesquisas anteriores tenham estabelecido que o código gerado por LLMs é frequentemente inseguro, as avaliações existentes tipicamente tratam vulnerabilidades como defeitos isolados (por exemplo, analisando SQL injection separadamente de buffer overflows). Essa abordagem ignora a natureza transversal da segurança de software, onde falhas em autenticação, gerenciamento de credenciais, validação de entrada e segurança de memória frequentemente coocorrem dentro do mesmo artefato. Consequentemente, os métodos atuais falham em diagnosticar como essas vulnerabilidades se agrupam ou em identificar quais características de prompt impulsionam riscos de segurança sistêmicos e mais amplos.

Metodologia

Os autores propõem um framework de quatro fases que integra Testes Metamórficos (MT) com mineração de Regras de Associação (AR) para detectar, diagnosticar e explicar falhas de segurança em código gerado por LLM.

1. Geração de Dados (Fase A): O estudo utiliza o benchmark LLMSecEval, composto por 148 prompts de linguagem natural únicos cobrindo 18 categorias de Common Weakness Enumeration (CWE). Esses prompts foram executados em cinco modelos de código aberto (Qwen3-Coder, Qwen2.5-Coder, DeepSeek-Coder, CodeGemma e Gemma4:e4b) com cinco execuções cada, gerando 3.700 trechos de código (Python e C).
2. Julgamento Metamórfico (Fase B): Os autores definem um catálogo de nove Relações Metamórficas (MRs) orientadas à segurança cobrindo as principais categorias CWE, incluindo SQL injection (CWE-89), XSS (CWE-79), command injection (CWE-78), path traversal (CWE-22), bypass de autenticação (CWE-862), credenciais codificadas (hard-coded credentials) (CWE-798), criptografia fraca (CWE-327), buffer overflow (CWE-120) e integer overflow (CWE-190).
   • Um juiz baseado em LLM (Claude Sonnet 4.6) avalia cada trecho contra estas MRs.
   • Para cada MR, o juiz determina a aplicabilidade, fornece um veredito (violado/passou/N/A) e oferece evidências.
   • Este processo constrói uma matriz de violação binária onde as linhas representam os trechos e as colunas representam as MRs.
3. Mineração de Regras de Associação (Fase C): A matriz de violação é processada usando o algoritmo Apriori para descobrir padrões frequentes de co-violação. As regras são avaliadas com base em suporte, confiança e lift (onde lift > 1 indica associação positiva além da independência estatística). Esta etapa identifica clusters de vulnerabilidades "transversais".
4. Análise de Risco ao Nível do Prompt (Fase D): Os autores correlacionam os padrões de violação identificados com características de prompt, incluindo métricas estruturais, palavras-chave de tópicos (ex: banco de dados, autenticação, memória), frases de consciência de segurança e complexidade de múltiplos tópicos. Eles também medem a consistência entre modelos para determinar se as vulnerabilidades são inerentes ao prompt ou dependentes do modelo.

Baselines: A abordagem é comparada com quatro ferramentas de análise estática (CodeQL, Bandit, Flawfinder, Semgrep) e os exemplos de código seguro fornecidos no benchmark LLMSecEval.

Principais Contribuições

1. Catálogo de MR Orientado à Segurança: Definição e aplicação de nove relações metamórficas abrangendo as principais categorias CWE especificamente adaptadas para a verificação de código gerado por LLM.
2. Diagnóstico Estrutural Transversal: A integração da mineração de AR com os resultados de MR para revelar que as falhas de segurança formam clusters estruturados em vez de defeitos isolados.
3. Análise de Risco ao Nível do Prompt: Uma análise inovadora que vincula clusters de co-violação a características específicas de prompt, identificando quais tópicos impulsionam a insegurança ampla.
4. Avaliação Empírica de Larga Escala: Avaliação abrangente em 3.700 trechos de cinco modelos diversos, fornecendo evidências sobre a prevalência e a natureza das vulnerabilidades transversais.

Principais Resultados

Prevalência de Vulnerabilidades

• 68,8% de todos os trechos gerados violaram pelo menos uma MR.
• Credenciais codificadas (MR6) e Command Injection (MR3) foram as falhas mais prevalentes entre os trechos aplicáveis (79,1% e 74,4%, respectivamente).
• SQL Injection (MR1) teve a menor taxa de violação (11,5%), sugerindo que os LLMs internalizaram parcialmente padrões de consultas parametrizadas.
• Desempenho do Modelo: DeepSeek-Coder (6.7B) produziu o código mais vulnerável (taxa de violação de 73,8%), enquanto Gemma4:e4b (4.5B) foi o mais seguro (65,1%). Notavelmente, a escala do modelo não correlacionou linearmente com a segurança; o maior modelo (Qwen3-Coder, 30B) não foi o mais seguro.

Eficácia de Detecção

• A abordagem baseada em MR detectou 68,8% dos trechos vulneráveis.
• Em contraste, a união de quatro ferramentas SAST padrão (CodeQL, Bandit, Semgrep, Flawfinder) detectou apenas 34,2%.
• As ferramentas SAST falharam em detectar violações semânticas como Bypass de Autenticação (0% de detecção) e Credenciais Codificadas (apenas 44 de 651 detectados).

Padrões de Co-Violação Transversais (RQ2)

A mineração de AR identificou 44 regras de associação, revelando dois clusters primários de vulnerabilidade:

1. Cluster de Autenticação–Credencial–Criptografia: Um grupo fortemente acoplado envolvendo Bypass de Autenticação (MR5), Credenciais Codificas (MR6) e Criptografia Fraca (MR7).
   • Achado Principal: A regra XSS ∧ WeakCrypto ⇒ HardCred tem uma confiança de 82,5% e um lift de 3,23.
   • Credenciais codificadas e falta de verificações de autorização foram o par de co-violação mais frequente (226 trechos).
2. Cluster de Manipulação de Entrada–Segurança de Memória: Vinculando XSS, Path Traversal e Buffer Overflow.
   • Achado Principal: XSS ∧ PathTrav ⇒ BuffOvf (Conf: 63,0%, Lift: 2.04).

• Ponte Inter-Cluster: A regra AuthByp ∧ BuffOvf ⇒ XSS (Conf: 33,3%) faz a ponte entre os dois clusters, indicando que alguns prompts disparam falhas que abrangem tanto os domínios de autenticação quanto os de segurança de memória simultaneamente.

Drivers ao Nível do Prompt (RQ3)

• Preditores: Prompts relacionados a bancos de dados foram o preditor mais forte de insegurança geral (r = 0,52), seguidos por tópicos de autenticação (r = 0,43).
• Especificidade de Cluster: Palavras-chave de banco de dados e autenticação predisseram fortemente o Cluster 1, mas não o Cluster 2. Inversamente, palavras-chave de File I/O foram o único preditor para o Cluster 2 (r = 0,31), uma relação perdida pela análise de contagem total.
• Consciência de Segurança: Solicitar explicitamente código seguro (ex: usando palavras-chave como "seguro", "sanitizar") mostrou nenhuma correlação com saída mais segura (r = -0,04).
• Consistência entre Modelos: Em 65,5% dos prompts, todos os cinco modelos concordaram sobre o status de violação. Prompts de alto risco (aqueles que disparavam ambos os clusters) eram 14,2 vezes mais propensos a conter palavras-chave de banco de dados e 6,8 vezes mais propensos a conter palavras-chave de autenticação do que os prompts de baixo risco.

Significância e Alegações

O artigo argumenta que a geração de código inseguro por LLMs não é meramente uma coleção de defeitos independentes, mas um fenômeno estruturado e condicionado pelo prompt.

• Falha de Segurança Holística: A descoberta de fortes clusters de co-violação (ex: o trio de bypass de autenticação, credenciais codificadas e criptografia fraca) sugere que os LLMs carecem de um modelo holístico de segurança. Eles podem aprender a parametrizar consultas SQL (baixa taxa de SQLi) enquanto simultaneamente falham em evitar a codificação de credenciais necessárias para essas consultas (alta taxa de HardCred).
• Risco Impulsionado pelo Prompt: A alta consistência entre modelos (65,5% de concordância) indica que a vulnerabilidade é predominantemente impulsionada pelo conteúdo do prompt e não pela arquitetura específica do modelo. Isso implica que estratégias de mitigação focadas em engenharia de prompt ou dados de treinamento podem ser mais eficazes do que simplesmente trocar entre modelos de tamanhos comparáveis.
• Implicações Práticas:
  • Verificação Consciente de Clusters: Desenvolvedores devem adotar uma estratégia de revisão "baseada em clusters"; detectar uma vulnerabilidade (ex: credenciais codificadas) deve disparar verificações imediatas para vulnerabilidades associadas no mesmo cluster (ex: criptografia fraca).
  • Intervenção Direcionada: Ferramentas automatizadas podem sinalizar prompts com base em palavras-chave de tópicos específicos (ex: banco de dados + file I/O) para prever clusters de vulnerabilidade específicos, em vez de apenas estimar o risco total.
  • Limitações de Instruções de Superfície: A falta de correlação entre frases de consciência de segurança e saídas seguras reforça que os LLMs atuais não respondem a instruções de segurança de nível superficial, tornando a verificação pós-geração essencial.

Os autores concluem que seu framework permite uma mudança da simples detecção para o diagnóstico estrutural e explicação ao nível do prompt, fornecendo uma base para programação assistida por LLM mais segura através de insights baseados em dados sobre a natureza transversal das falhas de segurança.