Resumo Técnico: SecureForge

Declaração do Problema

Agentes de codificação baseados em Modelos de Linguagem de Grande Escala (LLM) estão gerando código em uma escala sem precedentes, mas frequentemente introduzem vulnerabilidades de cibersegurança em bases de código sem intervenção humana. Um modo de falha crítico identificado neste trabalho é a geração de código funcionalmente correto, mas inseguro. Mesmo quando modelos de ponta recebem instruções explícitas para escrever código de produção seguro e são fornecidos com contexto sobre fraquezas específicas a evitar, eles ainda produzem vulnerabilidades verificáveis em aproximadamente 23% das vezes, em um corpus de 250 prompts de codificação benignos.

As abordagens existentes para mitigar esses riscos sofrem de lacunas significativas:

1. Modelos de Ameaça Desalinhados: O red-teaming anterior frequentemente depende de prompts adversariais que não refletem interações típicas de usuários com tarefas de codificação benignas.
2. Cobertura Insuficiente: Cenários criados manualmente, visando Enumerações Específicas de Fraquezas Comuns (CWEs) específicas, falham em caracterizar todo o espaço de prompts benignos que podem inadvertidamente produzir código vulnerável.
3. Barreiras de Implantação: Os métodos atuais de endurecimento frequentemente exigem acesso de pesos em modo branco (white-box) para ajuste fino (fine-tuning) ou ajuste de prefixo, o que é inacessível para desenvolvedores que usam modelos de pesos fechados via API. Além disso, o ajuste fino corre o risco de causar deslocamentos de distribuição que degradam as capacidades gerais de codificação.

Falta uma abordagem facilmente implantável, automatizada e em tempo de inferência para medir e prevenir a introdução de fraquezas comuns em código gerado por modelos de ponta, sem exigir atualizações de pesos do modelo.

Metodologia: Pipeline SecureForge

O SecureForge é um pipeline automatizado e leve, projetado para endurecer proativamente agentes de codificação de IA contra fraquezas comuns. Ele requer apenas acesso à API ao modelo sob teste e um analisador estático. O pipeline opera em três estágios distintos:

1. Falsificação de Disparo Único (Descoberta)

O primeiro estágio identifica prompts de semente benignos que elicitem vulnerabilidades verificáveis estaticamente.

• Geração de Prompt: A partir do banco de dados MITRE CWE, o sistema gera tarefas de codificação realistas que utilizam bibliotecas específicas associadas a fraquezas conhecidas (por exemplo, injeção de SQL no Django).
• Filtragem Benigna: Esses prompts são revisados para remover menções explícitas a ataques, vulnerabilidades ou CWEs. O gerador é instruído a usar linguagem de qualidade de produção (por exemplo, "garantir que a entrada seja devidamente sanitizada") para assegurar que os prompts pareçam solicitações de usuário padrão.
• Avaliação: O modelo alvo gera código para esses prompts com uma temperatura de 1,0. As saídas são analisadas usando Semgrep (uma ferramenta de análise estática). Prompts que resultam em código que passa nos testes unitários, mas falha na análise estática (acionando uma vulnerabilidade), são retidos como prompts de semente "falsificados".

2. Descoberta de Distribuição de Falhas (Amplificação)

Para superar a escassez de exemplos de falha iniciais e garantir diversidade, o SecureForge emprega amostragem Markov Chain Monte Carlo (MCMC), utilizando especificamente o critério Metropolis-Hastings (MH).

• Objetivo: Amostragem a partir da distribuição condicional de falha $p(\cdot | F_j)$, onde $F_j$ é um tipo específico de fraqueza.
• Processo: Começando com um prompt de semente, um kernel de exploração (um prompt de reescrita de linguagem) gera variações candidatas. A aceitação de um novo prompt $x'$ é determinada pela razão de sua probabilidade de falha não normalizada $\bar{p}(x')$ em relação à probabilidade do prompt atual, ajustada pelo kernel de transição.
• Estimativa de Probabilidade: A probabilidade de falha $p_{fail}(x)$ é estimada executando o prompt múltiplas vezes e ajustando uma distribuição Beta às contagens de sucesso/falha até que a variância convirja abaixo de um limite.
• Resultado: Este processo amplifica um pequeno conjunto de prompts de semente em um grande corpus sintético diversificado (80.000 prompts) que mantém altas taxas de vulnerabilidade enquanto explora a distribuição de falhas.

3. Endurecimento via Otimização de Prompt

O estágio final otimiza um prompt de sistema para reduzir a probabilidade de gerar código inseguro sem modificar os pesos do modelo.

• Algoritmo de Otimização: O pipeline utiliza GEPA (Genetic-Pareto), um algoritmo genético de ordem zero que emprega autorreflexão.
• Processo: Começando com um prompt de sistema genérico, o GEPA gera iterativamente prompts de sistema candidatos. Cada candidato é avaliado contra todo o corpus sintético de prompts de falha.
• Função de Aptidão: O algoritmo minimiza a probabilidade agregada de falha em todo o corpus, mantendo a correção funcional (passagem nos testes unitários).
• Loop de Feedback: O analisador estático fornece um sinal (pontuação ±1) com base na presença ou ausência de vulnerabilidades no código gerado. O prompt de sistema é mutado e selecionado com base na optimalidade de Pareto, equilibrando segurança e capacidade.

Contribuições Principais

1. Caracterização Empírica de Falhas Benignas: Os autores demonstram que modelos de ponta geram código inseguro mesmo quando explicitamente solicitados a ser seguros e fornecidos com contexto CWE. Eles constataram que 12,7% das saídas são tanto vulneráveis quanto passam nos testes unitários, destacando a invisibilidade dessas falhas.
2. Amplificação Baseada em MCMC: O artigo introduz um método para escalar exemplos individuais de falsificação em um corpus diversificado de cenários de falha usando MCMC. Estudos de ablação mostram que este método descobre novos prompts vulneráveis com até 2 vezes mais sucesso do que simples reescrita.
3. Endurecimento em Tempo de Inferência: O SecureForge fornece uma solução implantável que melhora a segurança apenas via otimização de prompt de sistema. Não requer ajuste fino, acesso de pesos em modo branco ou exposição a distribuições reais de prompts de usuários durante a fase de otimização.
4. Kit de Ferramentas de Código Aberto: Os autores lançam um kit de ferramentas (secureforge) que automatiza todo o pipeline, desde a geração de prompts de falha benignos até a otimização de prompts de sistema via API ou implantação local.

Resultados

A avaliação foi conduzida em uma suíte de modelos de código aberto (Qwen, CodeLlama, Kimi) e modelos fechados de ponta (série GPT-5, Claude Sonnet 4.6).

• Redução de Vulnerabilidades: O SecureForge alcançou uma redução estatisticamente significativa nas taxas de vulnerabilidade, com uma redução máxima de 48% nos modelos testados.
• Melhoria de Pareto: Os prompts de sistema otimizados resultaram em uma melhoria conjunta nas taxas de sucesso dos testes unitários e na segurança da saída. Os modelos moveram-se significativamente em direção ao quadrante "mais seguro" do plano (passagem no teste, segurança) sem degradar a capacidade de codificação.
• Transferência Zero-Shot: Os prompts de sistema otimizados em dados sintéticos transferiram-se efetivamente para prompts de agentes de codificação do mundo real, "selvagens", do conjunto de dados SWE-chat. Essa transferência ocorreu sem qualquer exposição a distribuições reais de prompts de usuários durante a fase de otimização, melhorando a taxa conjunta de passagem no teste e segurança em até 13,5% em tarefas do mundo real.
• Comparação com Linha de Base: Estratégias simples de prompt (pedir código seguro ou listar CWEs) falharam em reduzir as taxas de vulnerabilidade na mesma extensão que o SecureForge, deixando taxas de vulnerabilidade de dois dígitos mesmo em cenários de passagem no teste.

Significado e Alegações

O artigo afirma que o SecureForge aborda uma lacuna crítica na segurança de LLMs, fornecendo um mecanismo automatizado em tempo de inferência para endurecer agentes de codificação contra fraquezas comuns.

• Além do Treinamento de Segurança: Os resultados sugerem que o treinamento de segurança existente em modelos de ponta é insuficiente para prevenir vulnerabilidades decorrentes de solicitações de usuários benignas e não intencionais. Pedir explicitamente segurança ou fornecer listas de CWEs não é suficiente.
• Endurecimento Escalável: Ao depender de análise estática e otimização de prompt em vez de atualizações de pesos, o SecureForge oferece um caminho prático para desenvolvedores garantirem modelos de pesos fechados imediatamente.
• Segurança por Design: Os autores postulam que, se implementado em escala, essa abordagem ajuda os provedores de tecnologia a cumprir compromissos de "segurança por design", identificando e mitigando proativamente modos de falha antes que o código seja lançado.

O trabalho enfatiza que, embora a avaliação atual seja limitada à geração de código Python de turno único, o pipeline fornece um quadro geral para descobrir e reduzir inseguranças de codificação em LLMs de ponta, exigindo apenas análise estática de verdade fundamental e nenhuma anotação humana.