Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

Resumo Técnico: Um Estudo de Replicação Diferenciado sobre LLMs para Reparação Automatizada de Vulnerabilidades

Declaração do Problema
A Reparação Automatizada de Vulnerabilidades (AVR) utilizando Grandes Modelos de Linguagem (LLMs) demonstrou recentemente resultados que superam os métodos tradicionais de reparação de programas baseados em testes. No entanto, os autores argumentam que esses resultados "excepcionais" podem ser impulsionados por três "mãos invisíveis":

1. Vazamento de Código (Code Leakage): Os LLMs podem ter sido treinados nos próprios conjuntos de dados de benchmark usados para avaliação (ex: Vul4J, PrimeVul), permitindo que memorizem correções em vez de generalizar.
2. Design de Prompt (Completamento vs. Patching): Muitos estudos enquadram a reparação como uma tarefa de completamento de código, onde o código vulnerável é substituído por um marcador (placeholder). Se o modelo memorizou a correção, ele simplesmente completa o padrão.
3. Localização de Falhas Perfeita: Estudos frequentemente fornecem o número exato da linha da vulnerabilidade. Combinado com prompts de completamento de código, isso permite que modelos memorizados reproduzam correções sem compreender a lógica subjacente.

A hipótese central é que, se os LLMs estão genuinamente generalizando, a introdução de erros na localização de falhas deve degradar o desempenho. Inversamente, se eles estão apenas "trapaceando" via memorização, eles ignorarão o erro de localização e reproduzirão a correção conhecida, independentemente da precisão do prompt.

Metodologia
Os autores propõem um "estudo de replicação cético" usando um pipeline diferenciado nos benchmarks Vul4J e VJTrans (transformado/refatorado). A metodologia envolve:

• Injeção Controlada de Erros: Ao contrário dos trabalhos anteriores que fornecem localização perfeita, este pipeline desloca deliberadamente a localização da falha no prompt em $n$ linhas (especificamente offsets de 2, 4 e 8 linhas, tanto positivos quanto negativos) em relação à verdade fundamental (ground truth).
• Variações de Prompt: O estudo utiliza quatro templates de prompt (P1–P4) variando a informação fornecida:
  • Informação geral + apenas a função.
  • Função + marcadores de localização ao nível da linha.
  • Função + descrição do tipo de vulnerabilidade.
  • Função + tanto marcadores de nível de linha quanto o tipo de vulnerabilidade.
• Pipeline de LLM de Dois Estágios:
  1. Gerador (Generator): Um LLM inicial gera um patch baseado no (potencialmente errôneo) prompt.
  2. Revisor (Reviewer): Um segundo LLM revisa o patch gerado, emitindo "TRUE" se ele parecer correto ou "FALSE" se falhar.
• Validação: Os patches gerados são validados através de:
  • Teste de Regressão: Garantindo que a funcionalidade seja preservada.
  • Teste de Prova de Vulnerabilidade (PoV): Garantindo que a vulnerabilidade foi realmente corrigida.
  • Auditoria Manual: Uma amostra de patches que passam nos testes automatizados é inspecionada manualmente para classificar se são "Corretos", "Parcialmente Corretos" ou "Errados".
• Análise Estatística: O estudo emprega TOST (Two One-Sided Tests) para provar a equivalência estatística em vez de apenas a falta de uma diferença significativa. Isso é usado para testar se o desempenho permanece estável apesar dos erros de localização (apoiando a hipótese de memorização). O método Agresti-Coull-Wilson é usado para calcular os intervalos de confiança para os resultados da auditoria manual.

Principais Contribuições

1. Replicação Diferenciada: O artigo vai além da simples replicação ao introduzir uma variável controlada (erro de localização) para testar a robustez da reparação de vulnerabilidades baseada em LLM.
2. Isolamento de Memorização: Ao usar VJTrans (vulnerabilidades refatoradas com identificadores renomeados e fluxo de controle alterado), o estudo tenta isolar a generalização do modelo da memorização de dados, já que a correção exata do desenvolvedor não está disponível para esses casos transformados.
3. Estrutura Estatística para Equivalência: Os autores propõem o uso de teste de equivalência (TOST) para validar cientificamente se modelos "trapaceiros" (memorizando) apresentam desempenho idêntico sob condições perturbadas em comparação com condições perfeitas.
4. Análise Crítica das "Mãos Invisíveis": O estudo desafia explicitamente a validade dos atuais benchmarks de AVR ao demonstrar como a localização perfeita e o enquadramento de completamento de código podem inflar artificialmente as taxas de sucesso.

Resultos e Resultados Esperados
Nota: Como este é um plano/proposta para um estudo (indicado pelas seções "Plano de Execução" e "Declaração de Pesquisa"), o artigo não apresenta resultados empíricos finais, mas sim as hipóteses e o desenho experimental para testá-las.

O artigo delineia hipóteses relativas aos resultados esperados:

• Hipótese sobre Memorização: Se os LLMs dependem de memorização, haverá equivalência estatisticamente significativa no desempenho entre prompts com localização perfeita e aqueles com localização deslocada (RQ1ERR). O modelo ignorará o erro e produzirá a correção conhecida.
• Hipótese sobre Generalização: Se os LLMs estão generalizando, o desempenho deve cair significativamente quando a localização é deslocada, pois o modelo tentará corrigir o código errado.
• Comportamento do Revisor: Se a hipótese do "trapaceiro" se confirmar, o segundo LLM (revisor) também dependerá da memorização. Ele deverá reconhecer patches "plausíveis" (memorizados) mesmo quando a localização no prompt estiver errada, enquanto pode falhar em reconhecer patches corretos para vulnerabilidades refatoradas (não vistas).
• Sensibilidade ao Offset: Os autores esperam que não haja diferença significativa de desempenho entre deslocamentos pequenos ($\le 2$) e grandes ($>3$) se o modelo estiver trapaceando, pois o modelo ignora completamente a dica de localização do prompt.

Significância
O artigo afirma sua significância ao abordar a crise de reprodutibilidade em engenharia de software baseada em LLM. Ao demonstrar que as atuais altas taxas de sucesso podem ser artefatos de vazamento de dados e localização perfeita, o estudo visa:

• Fornecer uma base mais rigorosa para avaliar ferramentas de AVR.
• Distinguir entre modelos que realmente compreendem padrões de vulnerabilidade e aqueles que meramente recordam dados de treinamento.
• Estabelecer uma metodologia (injeção de erro + teste de equivalência) que possa ser aplicada a estudos futuros para garantir que as melhorias relatadas na reparação de programas sejam generalizações genuínas e não artefatos de memorização.

Os autores concluem que, sem tais controles, o campo corre o risco de superestimar as capacidades dos LLMs em tarefas críticas de segurança.