Resumo Técnico: EVOREPAIR

Declaração do Problema

A Reparação Automatizada de Vulnerabilidades (AVR) usando Modelos de Linguagem de Grande Escala (LLMs) mostrou-se promissora, mas enfrenta duas limitações críticas que impedem a escalabilidade e a eficácia:

1. Falta de Acúmulo de Experiência Intra-Vulnerabilidade: Os métodos existentes frequentemente tratam cada tentativa de reparo como um processo sem estado. Mesmo quando múltiplas trajetórias de reparo são exploradas para uma única vulnerabilidade, sucessos intermediários, falhas e sinais de diagnóstico raramente são destilados em conhecimento reutilizável. Consequentemente, os LLMs podem repetidamente seguir caminhos improdutivos ou cometer erros semelhantes em várias iterações.
2. Falta de Reutilização de Experiência Inter-Vulnerabilidade: As abordagens atuais de AVR tratam majoritariamente cada vulnerabilidade como uma tarefa isolada. Embora existam métodos aumentados por recuperação, eles tipicamente dependem de patches de referência estáticos e específicos da instância, em vez de conhecimento de reparo dinâmico e generalizável. À medida que o volume de vulnerabilidades relatadas (CVEs) cresce, este modelo de reparo isolado, uma por uma, torna-se cada vez mais não escalável.

O desafio central é como permitir que os sistemas de AVR acumulem, refinem e reutilizem continuamente a experiência de reparo tanto dentro do processo de reparo de uma única vulnerabilidade quanto entre diferentes vulnerabilidades.

Metodologia: EVOREPAIR

Para abordar esses desafios, os autores propõem o EVOREPAIR, o primeiro framework de agente auto-evolutivo baseado em experiência para AVR. O sistema opera em um paradigma cíclico de aprender-e-reparar, consistindo em quatro componentes principais:

1. Definição de Experiência Específica de Domínio

O EVOREPAIR define um esquema padronizado para "experiência" para garantir reutilizabilidade e transferibilidade. Diferentemente de logs brutos de interação, uma entrada de experiência é uma abstração estruturada composta por cinco dimensões:

• Introdução e Análise da Vulnerabilidade: Descrição concisa do tipo, localização, causa raiz e impacto.
• Estratégia de Reparo: A abordagem de remediação escolhida e sua justificativa.
• Análise de Trajetória: Um relato destilado do processo de reparo, destacando ações bem-sucedidas, padrões de falha e comandos/logs principais.
• Resumo da Experiência: Regras compactas e prescritivas (pré-condições, objetivos, orientações) com exemplos mínimos.
• Reflexão e Melhoria: Avaliação do resultado, limitações e sugestões para estratégias futuras.

2. Recuperação e Aquecimento de Experiência

Antes de cada rodada de reparo, o agente consulta um Banco de Experiências.

• Mecanismo de Recuperação: O sistema recupera experiências com base em uma pontuação consolidada combinando similaridade (correspondência CVE/CWE) e qualidade (uma pontuação derivada de um LLM como Juiz avaliando qualidade e generalizabilidade).
• Estratégias de Aquecimento: Para abordar o problema de "início frio" (banco de experiências vazio), o EVOREPAIR emprega uma estratégia de Patch Padrão (usando patches oficiais históricos) ou uma estratégia de Pré-reparo (inicializando com experiências pré-geradas de vulnerabilidades divulgadas anteriormente para evitar vazamento de auto-instância).

3. Reparação de Vulnerabilidade (O Agente Vanilla)

O motor de reparo central é um "agente vanilla" construído sobre um framework de propósito geral (inspirado no Mini-SWE-Agent).

• Injeção de Contexto: Experiências recuperadas são injetadas no contexto do agente para guiar a trajetória de reparo.
• Processo: O agente interage com um ambiente Docker usando um kit de ferramentas Bash mínimo para reproduzir a vulnerabilidade, localizar a falha, gerar um patch e verificá-lo.
• Parada Antecipada: Para garantir eficiência de custos, o sistema calcula uma taxa de rendimento por rodada ($\alpha$), definida como a razão entre o ganho marginal no desempenho de reparo e o aumento marginal no custo. Se $\alpha$ cair abaixo de um limiar, o processo de reparo é encerrado antecipadamente.

4. Construção e Atualização de Experiência

Após uma tentativa de reparo, o sistema constrói novas experiências a partir da trajetória:

• Compressão: As trajetórias são comprimidas no esquema estruturado para evitar inchaço da janela de contexto.
• Pontuação: Um LLM como Juiz pontua a nova experiência com base em Qualidade (acionabilidade) e Generalizabilidade (transferibilidade).
• Atualização: O banco de experiências é atualizado usando uma estratégia que descarta entradas de menor qualidade, retém as de maior qualidade ou "poli" entradas com pontuações idênticas, fundindo detalhes complementares.

Principais Contribuições

1. Nova Dimensão de Pesquisa: O artigo introduz a auto-evolução baseada em experiência como uma nova dimensão para AVR, focando no acúmulo e reutilização contínuos do conhecimento de reparo, em vez de apenas recuperação estática.
2. Framework Inovador (EVOREPAIR): Um framework cíclico que permite tanto a reutilização de experiência inter-vulnerabilidade quanto o acúmulo de experiência intra-vulnerabilidade através de um loop estruturado de aprender-e-reparar.
3. Avaliação Extensa: Experimentos abrangentes em múltiplos conjuntos de dados (PATCHEVAL, SEC-bench, VUL4J) e modelos (GPT-5-mini, Qwen3.5-Plus, DeepSeek-v3.1, variantes Devstral) demonstram a eficácia e transferibilidade do framework.

Resultados Experimentais

Os autores avaliaram o EVOREPAIR contra 12 baselines representativas (incluindo métodos baseados em aprendizado, baseados em LLM e baseados em agente), usando o GPT-5-mini como espinha dorsal principal.

• Desempenho Geral: O EVOREPAIR alcançou o melhor desempenho geral, reparando 93,47% das vulnerabilidades no PATCHEVAL e 87,00% no SEC-bench, resultando em uma taxa geral de 90,46%.
• Comparação com Baselines:
  • Superou a baseline baseada em LLM mais forte, LoopRepair, em 39,56% (PATCHEVAL) e 33,50% (SEC-bench).
  • Superou o IntentFix em 70,86% e 50,50%, respectivamente.
  • Excedeu o agente auto-evolutivo recente Live-SWE-Agent em 6,98% no geral.
• Impacto da Auto-Evolução: Ao longo de 15 rodadas de reparo, o EVOREPAIR consistentemente rompeu o teto de desempenho dos agentes vanilla, mostrando convergência mais rápida e maior eficiência. Por exemplo, no PATCHEVAL com GPT-5-mini, os reparos aumentaram de 194 (vanilla) para 215 (EVOREPAIR).
• Transferibilidade: Experimentos no VUL4J (Java) usando experiências destiladas do PATCHEVAL (JavaScript/Python/Go) mostraram ganhos significativos de desempenho (por exemplo, +9,67% para Qwen3.5-Plus), confirmando a transferibilidade entre linguagens e conjuntos de dados.
• Análise de Custos: Embora a sobrecarga de prompt tenha aumentado para alguns modelos, o custo total permaneceu quase inalterado ou diminuiu para modelos mais fortes (por exemplo, o Qwen3.5-Plus viu uma redução de custo de 41,58%) devido à convergência mais rápida e a menos rodadas redundantes.

Significado e Alegações

O artigo alega que o EVOREPAIR fortalece substancialmente a AVR agêntica ao ir além da recuperação estática e do prompting iterativo simples. Seu significado reside em demonstrar que:

• A experiência é um recurso crítico: Acumular e refinar o conhecimento de reparo permite que os agentes evitem erros repetitivos e generalizem entre vulnerabilidades heterogêneas.
• A auto-evolução é eficaz: O processo cíclico de aprender-e-reparar permite que os agentes melhorem suas próprias capacidades de reparo ao longo do tempo sem intervenção humana.
• Generalizabilidade: As experiências destiladas são robustas o suficiente para transferir entre diferentes linguagens de programação, conjuntos de dados e espinhas dorsais de modelos, sugerindo um caminho para sistemas escaláveis de reparo de vulnerabilidades em grande escala.

Os autores concluem que a auto-evolução baseada em experiência vai além das técnicas auto-evolutivas existentes ao modelar explicitamente o ciclo de vida do conhecimento de reparo, oferecendo uma direção promissora para abordar o volume crescente de vulnerabilidades de segurança de software.