On Fixing Insecure AI-Generated Code through Model Fine-Tuning and Prompting Strategies

Título: Sobre a Correção de Código Gerado por IA Inseguro Através de Ajuste Fino de Modelos e Estratégias de Prompting

Declaração do Problema
A integração generalizada de Modelos de Linguagem de Grande Escala (LLMs) nos fluxos de trabalho de desenvolvimento de software acelerou significativamente a síntese de código. No entanto, uma barreira crítica para a adoção de código gerado por IA é a sua segurança. Apesar do forte desempenho em benchmarks funcionais, os LLMs frequentemente geram código contendo bugs e fraquezas de segurança, refletindo muitas vezes padrões inseguros presentes em seus dados de treinamento. Estudos anteriores indicam que uma parcela substancial do código gerado por ferramentas como o GitHub Copilot contém vulnerabilidades, com algumas estimativas sugerindo que mais de 40% das sugestões são inseguras. Embora estratégias de mitigação, como engenharia de prompts e ajuste fino, tenham sido propostas, sua eficácia varia amplamente entre diferentes modelos, linguagens de programação e tipos específicos de vulnerabilidade. Além disso, há uma falta de estudos comparativos abrangentes que avaliem se essas estratégias reduzem efetivamente as Enumerações de Fraquezas Comuns (CWEs) ou inadvertidamente introduzem novas vulnerabilidades como efeitos colaterais.

Metodologia
Este estudo apresenta uma investigação sistemática de estratégias para fortalecer o código gerado por IA contra uma lista de 10 cenários derivados das 25 Fraquezas de Software Mais Perigosas do MITRE CWE. O desenho experimental envolveu os seguintes componentes:

• Modelos e Linguagens: Cinco LLMs distintos foram avaliados: três modelos de propósito geral (GPT-4.1, Gemini 2.0 Flash, GPT-5) e dois modelos de raciocínio (DeepSeek-R1-32B, o4-mini). A geração de código foi testada em quatro linguagens de programação representando diferentes sistemas de tipagem e paradigmas: Python, JavaScript, Java e Go.
• Geração de Linha de Base: Para cada um dos 10 cenários CWE, 10 amostras de código foram geradas por cada modelo, resultando em uma linha de base de saídas "brutas".
• Estratégias de Refinamento: Quatro técnicas de refinamento de saída foram aplicadas para guiar os modelos em direção a código seguro:
  1. Prompting com Exemplos Negativos (NEP): Fornecer ao modelo amostras de código inseguro para evitar.
  2. Prompting de Cadeia de Pensamento (CoT): Guiar o modelo através de raciocínio explícito, passo a passo, para identificar e mitigar riscos de segurança.
  3. Meta Prompting (MP): Instruir o modelo a primeiro gerar um prompt abrangente e focado em segurança para si mesmo antes de gerar o código.
  4. Ajuste Fino (FT): Adaptar os pesos do modelo usando Adaptação de Baixa Riqueza (LoRA) em um conjunto de dados de amostras de código seguro criadas manualmente e verificadas por análise estática.
• Avaliação: Todas as amostras de código geradas (brutas e refinadas) foram analisadas usando a ferramenta de análise estática CodeQL para detectar e classificar CWEs. Uma métrica baseada em severidade foi utilizada para calcular a porcentagem de melhoria na segurança, levando em conta tanto a frequência quanto a severidade das vulnerabilidades.

Principais Contribuições e Resultados
O estudo gerou e analisou 9.300 amostras de código, produzindo as seguintes descobertas principais:

1. Prevalência de Fraquezas (RQ1): Nenhum LLM produziu código totalmente seguro em todos os cenários e linguagens. Amostras vulneráveis frequentemente continham múltiplas CWEs. O JavaScript exibiu a maior proporção de fraquezas, enquanto o Go apresentou a menor. As fraquezas mais frequentes em todos os modelos foram CWE-20 (Validação de Entrada Imprópria), CWE-798 (Credenciais Codificadas) e CWE-22 (Travessia de Caminho).
2. Eficácia das Estratégias de Refinamento (RQ2):
   • Ajuste Fino foi a estratégia mais eficaz, superando consistentemente as técnicas de prompting. Reduziu a severidade geral de CWEs em aproximadamente 80% em média entre modelos e linguagens.
   • Meta Prompting foi a técnica baseada em prompting mais forte, frequentemente alcançando melhorias comparáveis ao ajuste fino (por exemplo, ~69% de redução de severidade para GPT-4.1), embora com mais variabilidade.
   • Cadeia de Pensamento proporcionou melhorias moderadas (~40-50% de redução), enquanto Prompting com Exemplos Negativos foi geralmente o menos eficaz, às vezes aumentando o número de fraquezas.
   • O desempenho variou por linguagem; fragmentos de Python e Go beneficiaram-se mais do refinamento, enquanto JavaScript e Java mostraram reduções mais moderadas.
3. Consequências Não Intencionais (RQ3): Esforços de remediação às vezes introduziram novas fraquezas. Embora o Ajuste Fino tenha introduzido o menor número de novas CWEs, estratégias de prompting (particularmente CoT) frequentemente introduziram novas vulnerabilidades ao tentar corrigir as existentes. Um padrão notável foi a introdução de CWE-20 (Validação de Entrada Imprópria) e CWE-1333 (Complexidade Ineficiente de Expressões Regulares) como efeitos colaterais da adição de lógica de sanitização. No entanto, na maioria dos casos, as fraquezas recém-introduzidas eram de menor severidade do que as vulnerabilidades originais.

Significância e Alegações
Os autores afirmam que não existe uma solução "à prova de balas" universalmente eficaz para garantir a segurança do código gerado por IA. O estudo destaca que as melhorias de segurança dependem altamente do modelo específico, da linguagem de programação e da estratégia de mitigação escolhida.

O artigo alega que, embora o ajuste fino ofereça o caminho mais confiável para código seguro, ele vem com custos computacionais significativos. Estratégias de prompting, particularmente o Meta Prompting, oferecem uma alternativa custo-efetiva que pode produzir melhorias substanciais de segurança, embora sejam menos consistentes e propensas a introduzir novas vulnerabilidades, embora frequentemente menos severas.

Os autores enfatizam que o código gerado por IA não deve ser assumido como inerentemente seguro, mesmo quando funcionalmente correto. Eles concluem que fluxos de trabalho de desenvolvimento de software seguro envolvendo LLMs devem integrar análise de segurança rigorosa (estática ou dinâmica) e que os criadores de modelos devem priorizar dados de treinamento alinhados à segurança e métodos de ajuste fino. O estudo sublinha a necessidade de os desenvolvedores permanecerem vigilantes, pois os LLMs atuais continuam a reproduzir padrões de codificação inseguros, apesar dos avanços na capacidade dos modelos.