Resumo Técnico: WildCode Revisited

Declaração do Problema

A rápida adoção de Modelos de Linguagem de Grande Escala (LLMs) para a geração de código superou a avaliação da segurança e da qualidade do código resultante. Estudos anteriores levantaram alarmes sobre vulnerabilidades em código gerado por LLMs, mas eles dependem predominantemente de prompts sintéticos ou benchmarks controlados. Esses cenários artificiais podem não refletir com precisão as interações reais de desenvolvedores, as intenções dos usuários ou a postura de segurança real do código produzido em ambientes de produção. Além disso, há uma falta de dados empíricos sobre se os usuários solicitam ativamente código seguro ou se permanecem inconscientes dos riscos de segurança ao interagir com LLMs.

Metodologia

Este estudo apresenta a primeira análise empírica em larga escala de código gerado pelo ChatGPT baseado em interações reais de usuários. A pesquisa utiliza o conjunto de dados WildChat, um repositório público de mais de um milhão de conversas anonimizadas com o ChatGPT coletadas entre abril de 2023 e maio de 2024.

A metodologia envolveu as seguintes etapas principais:

1. Construção do Conjunto de Dados: De 837.989 conversas, os autores extraíram 82.843 contendo código gerado pelo modelo. Eles filtraram conversas em língua inglesa (34.478) para facilitar a verificação manual e o processamento de linguagem natural, criando o conjunto de dados WildCode_EN. Os trechos de código foram classificados por linguagem de programação usando um modelo de identificação dedicado e validados via verificadores de sintaxe específicos de linguagem (ex: py_compile, eslint, javac).
2. Análise de Segurança: Os autores empregaram o OpenGrep, uma ferramenta de análise estática de código aberto com um conjunto de regras customizado de 648 regras mapeadas para categorias de Common Weakness Enumeration (CWE). Eles analisaram o código em busca de vulnerabilidades específicas, incluindo funções de hash criptográfico fracas, injeção de SQL, geração de números aleatórios fracos, ataques de desserialização, problemas de segurança de memória (especificamente em C/C++) e Regular Expression Denial of Service (ReDoS).
3. Detecção de Alucinações e Segredos:
   • Alucinações: Um pipeline foi desenvolvido para detectar "alucinações de pacotes" (importações de bibliotecas inexistentes) em Python e JavaScript, cruzando as importações com os repositórios oficiais do PyPI e NPM.
   • Segredos: Uma combinação de filtragem por regex e um classificador LightGBM foi usada para distinguir entre segredos de preenchimento (placeholders) e chaves de API reais expostas nos prompts dos usuários.
4. Experimento de Re-prompting: Para avaliar a eficácia da engenharia de prompt, 1.126 prompts originais do conjunto de dados WildChat foram reenviados para cinco LLMs diferentes (OpenAI, Cohere e Alibaba Cloud) sob quatro condições: Original, Act_as_security_researcher, Be_aware_of_security_issues e Opengrep_log (fornecendo feedback de análise estática).
5. Análise de Intenção do Usuário: Usando classificação zero-shot (BART-large-mnli), os autores categorizaram consultas de usuários (iniciais e de acompanhamento) para entender as intenções dos usuários, tais como correção de bugs, geração de código ou codificação segura.
6. Análise Estatística: O estudo utilizou Pontuações de Risco de Segurança Normalizadas (NSRS), divergência de Kullback–Leibler (KL) para análise de distribuição, testes de Qui-quadrado e testes de Kruskal–Wallis para determinar a significância estatística dos efeitos da engenharia de prompt.

Principais Contribuições

• Conjunto de Dados Empírico do Mundo Real: A criação e o lançamento do WildCode, um conjunto de dados curado de conversas anotadas e trechos de código de interações reais de usuários, abordando a ameaça de validade dos benchmarks sintéticos.
• Auditoria de Segurança Abrangente: Uma análise de larga escala de vulnerabilidades de segurança em múltiplas linguagens de programação (Python, Java, C/C++, JavaScript, PHP, C#) usando análise estática em dados autênticos.
• Caracterização da Intenção do Usuário: Uma investigação sobre o comportamento do usuário, revelando que a segurança raramente é uma preocupação primária nas consultas dos usuários, mesmo ao interagir com código com bugs.
• Avaliação de Engenharia de Prompt: Uma avaliação experimental de como as estratégias comuns de engenharia de prompt (role-playing, avisos explícitos e loops de feedback) impactam a segurança do código gerado em diferentes arquiteturas de modelos.
• Análise de Recusa: Uma categorização dos comportamentos de recusa do modelo e uma investigação sobre a "circunvenção de recusa", onde usuários conseguem contornar restrições de segurança para gerar código após uma recusa inicial.

Principais Resultados

Vulnerabilidades de Segurança

• Descobertas Gerais: O código gerado por LLMs frequentemente contém vulnerabilidades de segurança. O estudo apoia as descobertas anteriores de que a correção funcional não implica segurança.
• Vulnerabilidades Específicas:
  • Funções de Hash: 20,61% das conversas envolvendo funções de hash dispararam regras para algoritmos fracos (ex: MD5, SHA1).
  • Injeção de SQL: Observou-se uma taxa de vulnerabilidade de 3,93%, sendo Python (SQLAlchemy) e PHP contribuintes notáveis.
  • Desserialização: 100% das instâncias de desserialização Java detectadas foram encontradas como vulneráveis devido à falta de verificações de segurança.
  • Segurança de Memória: 14,85% dos trechos de C/C++ continham funções inseguras (ex: scanf, strcpy, gets).
  • ReDoS: Aproximadamente 29,4% das expressões regulares no conjunto de dados foram sinalizadas como suscetíveis a ataques de ReDoS por ferramentas de detecção.
• Alucinações: O estudo identificou 14,4% de módulos Python alucinados e 3,5% de pacotes JavaScript alucinados em modelos mais antigos. Modelos mais novos mostraram taxas de alucinação reduzidas, mas ainda geraram pacotes fictícios.
• Segredos: Chaves de API e credenciais reais foram encontradas em prompts de usuários, mesmo após a filtragem de placeholders.

Eficácia da Engenharia de Prompt

• Feedback de Análise Estática: O prompt Opengrep_log (fornecendo ao modelo os resultados prévios da análise estática) consistiu consistentemente nas menores Pontuações de Risco de Segurança Normalizadas (NSRS) na maioria dos modelos, indicando que loops de feedback reduzem significativamente a severidade das vulnerabilidades.
• Role-Playing: O prompt Act_as_security_researcher não melhorou consistentemente os resultados de segurança e, em alguns casos, resultou em pontuações de risco mais altas em comparação com o baseline.
• Significância Estatística: Testes estatísticos confirmaram que as estratégias de prompt influenciam significativamente tanto a distribuição das categorias de vulnerabilidade quanto seus níveis de severidade, embora o tamanho do efeito (Cramér's V) seja modesto.

Intenção e Comportamento do Usuário

• Lacuna de Consciência de Segurança: Os usuários raramente priorizam a segurança. "Codificação Segura" foi uma categoria extremamente rara tanto em consultas iniciais quanto de acompanhamento.
• Reação a Bugs: Quando os usuários encontravam código com bugs, eles focavam predominantemente em corrigir o bug ou explicar o código, em vez de abordar as implicações de segurança subjacentes.
• Padrões de Linguagem: Quando os usuários não especificavam uma linguagem, o ChatGPT optava pesadamente pelo Python.
• Circunvenção de Recusa: Embora os modelos recusem a geração de código malicioso (ex: malware, atividades ilegais) em muitos casos, eles frequentemente geram código vulnerável. Usuários contornaram com sucesso as recusas de segurança em um subconjunto de casos (ex: 40 de 152 casos de recusa por "ilegalidade" resultaram em geração de código).

Significância e Alegações

O artigo afirma fornecer a primeira evidência empírica em larga escala de que o código gerado por LLMs é frequentemente insuficiente em termos de segurança quando derivado de padrões de uso do mundo real. Os autores afirmam que suas descobertas validam preocupações levantadas anteriormente por estudos usando dados sintéticos, confirmando que os riscos estão presentes em interações autênticas de desenvolvedores.

Crucialmente, o estudo destaca um desconect entre a intenção do usuário e a segurança: os usuários não fazem muitas perguntas sobre as características de segurança do código que solicitam, e raramente dão seguimento a questões de segurança quando confrontados com código com bugs. Isso sugere que confiar nos prompts dos usuários para impor segurança é ineficaz.

Os autores concluem que há uma necessidade urgente de LLMs conscientes de segurança e salvaguardas proativas dentro das ferramentas de codificação generativa, pois as estratégias atuais de engenharia de prompt (como role-playing) são insuficientes por si só. Eles enfatizam que, embora a engenharia de prompt (especificamente loops de feedback) possa mitigar a severidade, ela não elimina fundamentalmente o comportamento de vulnerabilidade dos LLMs. O estudo serve como um chamado à ação para integrar verificações de segurança diretamente no pipeline de geração, em vez de depender da verificação post-hoc do usuário.