Resumo Técnico: Detecção de Lotes de Prompts de Geração de Código Contaminados via Funções de Influência

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados para a geração de código, mas permanecem vulneráveis a prompts que induzem implementações inseguras. Os mecanismos de defesa existentes, como analisadores estáticos (ex: Bandit, Semgram), dependem de modelos de ameaças predefinidos ou catálogos de padrões de vulnerabilidade conhecidos. Essas abordagens são cegas para vetores de ataque novos ou variantes fora de seus catálogos específicos. Além disso, embora existam detectores para jailbreaks ou injeções de prompt que visam o comportamento de seguimento de instruções, não existe atualmente um método confiável para detectar prompts que especificamente induzam o desalinhamento na geração de código — definido como a introdução de fraquezas relevantes à segurança (conforme CWE/OWASP) que uma conclusão benigna da mesma tarefa não introduziria. O desafio central é detectar lotes de prompts maliciosos sem conhecimento prévio da classe de vulnerabilidade específica ou do método de ataque.

Metodologia: CodeSIFT

Os autores propõem o CodeSIFT, um método de detecção agnóstico ao modelo de ameaça que utiliza funções de influência para identificar lotes de prompts que induzem um comportamento anômalo no modelo. Em vez de analisar o código gerado em busca de vulnerabilidades específicas, o CodeSIFT mede a "influência no espaço de parâmetros" do código gerado para determinar se um conjunto de candidatos a prompt desvia de uma distribuição de referência benigna.

Mecanismo Central

1. Funções de Influência (IFs): O método quantifica o efeito de um exemplo de treinamento específico (neste caso, uma resposta gerada) nos parâmetros do modelo. Ele estima o quanto os parâmetros do modelo mudariam se um determinado exemplo fosse ponderado de forma maior durante o treinamento.

   • Formalmente, para um prompt $z$ e uma resposta $\hat{z}$, a pontuação de influência mede a magnitude da atualização de parâmetros $\|\hat{\theta} - \hat{r}_{\hat{z}, \text{lin}}(\varepsilon)\|_p$, onde $\hat{\theta}$ são os parâmetros convergidos e $\hat{r}$ é a função de resposta linearizada que aproxima a Função de Resposta de Bregman Proximal (PBRF).
   • A premissa é que as respostas induzidas por prompts maliciosos (desalinhamento) exigirão um deslocamento de parâmetros maior para serem acomodadas do que as respostas de prompts benignos, pois são inconsistentes com a distribuição de treinamento benigna do modelo.

2. Teste Estatístico:

   • O algoritmo computa uma Pontuação de Influência ($IF_{p,\varepsilon}(z)$) para cada prompt em um lote de candidatos ($D$) e um lote de referência benigno conhecido ($D^*$).
   • Ele agrega essas pontuações e realiza um teste t de duas amostras de uma cauda de Welch para comparar a média da influência do lote candidato contra a do lote de referência benigno.
   • Hipótese: $H_0$ (Benigno): O lote candidato exerce a mesma influência média de espaço de parâmetros que a referência benigna. $H_1$ (Malicioso): O lote candidato induz um deslocamento de parâmetros significativamente maior.
   • Se o p-valor estiver abaixo de um limiar de significância $\alpha$, o lote é sinalizado como contaminado.

3. Eficiência Computacional:

   • Para lidar com a intratabilidade de computar a inversa exata da Hessiana para modelos grandes, os autores empregam uma aproximação de Curvatura Fatorada por Kronecker (K-FAC).
   • Eles utilizam uma "simplificação de um lado", mantendo apenas o fator de Kronecker correspondente à dimensão oculta do transformer e descartando o fator maior da dimensão intermediária do MLP.
   • Fatores de curvatura densos são pré-computados em um conjunto de dados de curvatura separado ($D_c$, um subconjeto do The Stack v2) que aproxima a distribuição de pré-treinamento do modelo, evitando a necessidade de acesso aos dados originais de treinamento.

Principais Contribuições

1. Um Novo Framework de Detecção: A proposta do CodeSIFT, um teste estatístico para detecção de prompts de geração de código maliciosos baseados em funções de influência. Diferente de trabalhos anteriores usando IFs para interpretabilidade ou estudos de generalização, este trabalho usa a influência como uma estatística de detecção agregada que não requer suposição sobre o modelo de ameaça.
2. Novos Datasets de Referência: A construção de dois novos conjuntos de dados, AuthSec (segurança de autenticação, autorização e sessão) e InfraCloud (exploração de infraestrutura, nuvem e protocolos), cada um contendo 200 prompts maliciosos e um respectivo conjunto de referência benigno. Estes foram desenhados especificamente para discriminação em nível de lote, em vez de pontuação de vulnerabilidade por amostra individual.
3. Avaliação Abrangente: Uma avaliação do CodeSIFT contra três baselines de análise estática (Bandit, Semgrep e um rastreador de fluxo de dados baseado em AST customizado) através de três LLMs de código de pesos abertos (3B a 7B parâmetros).

Resultados Experimentais

Os autores avaliaram o CodeSIFT em três modelos: Granite-3B, DeepSeek-Coder-6.7B e Qwen2.5-Coder-7B.

• Precisão de Detecção (AUROC):

  • O CodeSIFT demonstrou melhoria monotônica na precisão de detecção conforme a taxa de injeção (porcentagem de prompts maliciosos em um lote) aumentava.
  • No dataset AuthSec, o AUROC atingiu escores próximos da perfeição (aproximando-se de 1.0) com contaminação moderada (40-50%).
  • No dataset mais heterogêneo InfraCloud, o AUROC atingiu o pico entre 0.88 e 0.98, dependendo do modelo.
  • Em contraste, as baselines estáticas mostraram desempenho inconsistente entre os modelos. Embora o Bandit tenha performado bem no DeepSeek-Coder, ele performou próximo ao acaso em outros modelos. Semgrep e o Rastreador de Fluxo de Dados AST frequentemente caíram abaixo de 0.5 AUROC (anticorrelacionado com os rótulos reais) conforme as taxas de injeção aumentavam.

• Controle de Falsos Positivos:

  • O CodeSIFT manteve taxas de falsos positivos (FPR) bem calibradas em todos os modelos e datasets, acompanhando de perto o nível de significância nominal $\alpha$ (variando de 0.01 a 0.09).
  • As baselines estáticas exibiram calibração inconsistente, frequentemente mostrando padrões em degraus devido à sua natureza de sinalização binária por amostra.

Significância e Alegações

O artigo afirma que a detecção baseada em funções de influência oferece uma direção promissora para identificar prompts de geração de código maliciosos sem exigir conhecimento prévio da classe de ataque subjacente.

• Agnosticismo ao Modelo de Ameaça: O método detecta com sucesso o desalinhamento sem precisar catalogar vulnerabilidades antecipadamente, abordando a limitação dos analisadores estáticos que são cegos para ataques novos.
• Transferibilidade: O sinal de detecção (influência no espaço de parâmetros) transfere-se entre diferentes arquiteturas de modelos (3B a 7B parâmetros) e famílias, enquanto o pareamento de padrões de superfície (análise estática) falha em generalizar consistentemente.
• Eficácia em Nível de Lote: A abordagem é especificamente eficaz na identificação de lotes de prompts contaminados, uma capacidade crítica para fluxos de trabalho automatizados de desenvolvedores onde os prompts são processados em grupos.

Os autores mantêm a modéstia quanto ao escopo, observando que a avaliação atual é limitada ao Python e a famílias específicas de vulnerabilidades, e que o método é atualmente projetado como um teste de nível de lote, e não como uma ferramenta para localizar prompts maliciosos individuais dentro de um lote. Eles sugerem que a abordagem deve escalar para modelos maiores (citando trabalhos anteriores de até 52B parâmetros) e pode ser estendida para outras linguagens e superfícies de ataque.