Resumo Técnico: Perturbações Mínimas em Prompts Levam a Vulnerabilidades de Código

Declaração do Problema

Enquanto assistentes de codificação baseados em Modelos de Linguagem de Grande Escala (LLMs) são rapidamente adotados para aumentar a produtividade dos desenvolvedores, a segurança do código que eles geram permanece uma preocupação crítica. Pesquisas anteriores estabeleceram que pequenas perturbações em prompts (por exemplo, erros de digitação, paráfrases) podem degradar a correção funcional do código gerado. No entanto, as consequências de segurança de tais perturbações permanecem não estudadas. Uma suposição natural no desenvolvimento é que variações de superfície nos prompts não devem alterar a postura de segurança da saída. Este artigo investiga se mutações mínimas e benignas em prompts podem inverter o código gerado por LLMs de seguro para vulnerável, e se essas vulnerabilidades estão codificadas nas representações internas do modelo antes que a geração de código comece.

Metodologia

Benchmark e Modelos

O estudo utiliza o benchmark CWEval (Peng et al., 2025), que é distinto de benchmarks de segurança anteriores (por exemplo, CyberSecEval, SecurityEval) porque avalia funcionalidade e segurança simultaneamente por meio de oráculos de teste orientados a resultados. O benchmark cobre 31 tipos de Enumeração de Fraquezas Comuns (CWE) em cinco linguagens de programação (C, C++, Go, JavaScript, Python).

Os experimentos empregam três LLMs de código aberto especializados em código:

• CodeLlama (70B)
• DeepSeek-Coder (33B)
• Qwen3-Coder (30B)

Os experimentos foram conduzidos com uma temperatura de $T=0$ para garantir avaliação estável, com análises de sensibilidade realizadas em $T=0.8$.

Estratégia de Perturbação

Os autores aplicaram mutações sistemáticas aos prompts, categorizadas por aumento de interrupção semântica:

1. Mudanças de um único caractere: Substituição de um caractere por uma letra ASCII aleatória.
2. Mudanças de três caracteres: Troca de três caracteres aleatórios dentro de um único token.
3. Substituições de token inteiro: Substituição de um token por um token aleatório similar com base na similaridade de cosseno de incorporação (embedding).

Sondagem de Estado Oculto

Para determinar se sinais de vulnerabilidade existem antes da geração, os autores treinaram classificadores lineares (regressão logística regularizada L2) e não lineares rasos (MLP de duas camadas) no estado oculto do último token do prompt. Essas sondas preveem se uma instância específica (modelo, linguagem, CWE, mutação) resultará em:

1. Código funcional.
2. Código que é tanto funcional quanto seguro.

As sondas foram treinadas por célula (modelo, linguagem, CWE, alvo) usando uma divisão de 80/20 para treino/teste com validação cruzada de 5 dobras para ajuste de hiperparâmetros.

Contribuições Principais

1. Demonstração de Fragilidade do Prompt: O estudo mostra que mutações tão pequenas quanto um único caractere podem inverter o código gerado de seguro para vulnerável (e vice-versa), afetando tanto a funcionalidade quanto a segurança simultaneamente.
2. Decomposição dos Drivers de Mutação: A pesquisa identifica que, para algumas perturbações, a posição da mutação no prompt é decisiva (por exemplo, mutações na parte central do prompt são mais prejudiciais), enquanto para outras, a substituição de caractere específica determina o resultado.
3. Variação Sistemática no Desempenho das Sondas: O artigo demonstra que a previsibilidade das vulnerabilidades a partir de estados ocultos varia sistematicamente por categoria CWE. Vulnerabilidades que exigem alterações estruturais (tratamento de entrada) são mais previsíveis do que aquelas que dependem de escolhas locais únicas (padrões seguros).

Resultados

Impacto das Mutações

• Prevalência: Mutações afetam uma grande fração de CWEs em todos os modelos e linguagens.
• Direcionalidade: Mutações geralmente causam mais dano do que benefício. Para CodeLlama (70B) e DeepSeek-Coder (33B), a taxa de deterioração (inverter código seguro para vulnerável) excede significativamente a taxa de melhoria.
• Robustez do Modelo: O Qwen3-Coder (30B) exibiu o desempenho mais robusto, mostrando barras de degradação consistentemente menores em comparação com os outros dois modelos.
• Diferenças de Linguagem: Os padrões divergem por linguagem. Para Python, muitos CWEs são afetados, mas a fração de mutações que alteram o resultado dentro de cada CWE é baixa. Por outro lado, para Go, menos CWEs são afetados, mas aqueles que são afetados respondem fortemente às mutações.

Análise de Sondagem

• Previsibilidade Geral: A média da Área sob a Curva (AUC) para prever resultados funcionais e seguros conjuntos a partir de estados ocultos no final do prompt é de aproximadamente 0,70 entre os modelos.
• Variância Específica por CWE:
  • Grupo I (Tratamento de Entrada): Vulnerabilidades onde entrada não confiável atinge um sumidouro sensível (por exemplo, injeção SQL, travessia de caminho) exigem a adição de lógica de validação. Estas são altamente previsíveis a partir de estados ocultos (Média AUC: 0,753).
  • Grupo D (Padrões Seguros): Vulnerabilidades onde a correção envolve uma única escolha local (por exemplo, selecionar um algoritmo forte, uma flag segura ou tamanho de chave) são menos previsíveis (Média AUC: 0,674).
• Significância Estatística: Um teste U de Mann-Whitney unilateral confirma uma diferença estatisticamente significativa entre os dois grupos ($p = 0,009$).

Interpretação dos Resultados de Sondagem

Os autores postulam que o estado oculto no final do prompt codifica decisões que o modelo assume cedo (alterações estruturais como adicionar uma guarda de validação). Em contraste, decisões adiadas para posições específicas de token durante a geração (como escolher um parâmetro de algoritmo específico) são dominadas pela distribuição do próximo token e, portanto, são menos visíveis na representação final do prompt.

Significância e Alegações

O artigo alega que o modelo de ameaça para codificação assistida por LLM se estende além da injeção de prompts adversariais para incluir variação ordinária de prompts (erros de digitação, paráfrases). As descobertas indicam que:

1. Falhas de tratamento de entrada podem potencialmente ser detectadas e mitigadas antes que a geração comece, analisando representações de prompts.
2. Falhas de padrões seguros são mais difíceis de detectar na fase de prompt e podem exigir intervenção durante o processo de decodificação.

Os autores mantêm uma orientação defensiva, enfatizando que seu trabalho identifica fragilidade sob uso benigno, em vez de fornecer receitas de exploração. Eles notam limitações relacionadas ao custo computacional de sondar modelos fechados de escala de fronteira e à natureza manual do agrupamento de CWEs, sugerindo que trabalhos futuros poderiam sondar representações latentes durante a geração para capturar o sinal de "padrões seguros" perdido no final do prompt.