Resumo Técnico: BOOSTAPR

Declaração do Problema

A Correção Automática de Programas (APR) usando Modelos de Linguagem de Grande Escala (LLMs) enfrenta três limitações fundamentais que impedem a aprendizagem por reforço (RL) eficaz:

1. Feedback de Execução Esparsa: Diferentemente da geração de texto, a correção de programas oferece apenas sinais binários (sucesso/fracasso). Um patch que falha em um único teste crítico recebe o mesmo sinal negativo que uma tentativa sintaticamente malformada, não fornecendo orientação para correção parcial.
2. Recompensas de Nível de Sequência Grossas: O RL padrão atribui recompensas a toda a sequência gerada. Quando um patch de várias linhas tem sucesso ou falha, o modelo não recebe informações sobre quais edições específicas foram benéficas ou prejudiciais. Isso cria um problema severo de atribuição de crédito, levando a estimativas de gradiente de alta variância e aprendizagem ineficiente.
3. Mudança de Distribuição: Modelos treinados em conjuntos de dados curados frequentemente lutam para generalizar para os padrões de bugs diversos encontrados em repositórios do mundo real.

Abordagens existentes frequentemente dependem de recompensas de nível de sequência esparsas ou recompensas de nível de token que são ou muito grosseiras ou muito granulares (faltando significado semântico) para modificações de código.

Metodologia: Framework BOOSTAPR

Os autores propõem o BOOSTAPR, um framework de treinamento em três estágios que combina aprendizagem verificada por execução com atribuição de crédito de alta granularidade. O framework é construído sobre a base Qwen2.5-Coder-32B e treinado exclusivamente no SWE-Gym.

Estágio I: Transferência de Raciocínio Verificada por Execução

A política é inicializada via Ajuste Fino Supervisionado (SFT) em demonstrações de alta qualidade. Diferentemente do SFT padrão, este estágio impõe dois critérios rigorosos:

• Rastros de Raciocínio: As demonstrações devem incluir raciocínio diagnóstico explícito (diagnóstico de bug, identificação da causa raiz, justificação da correção) juntamente com o patch.
• Verificação por Execução: Apenas patches que passam em todos os testes no ambiente SWE-Gym são retidos. Isso garante que o modelo aprenda a partir de soluções verificadas, filtrando saídas plausíveis mas incorretas.

Estágio II: Aprendizagem de Recompensa Dual

Dois modelos de recompensa são treinados offline usando resultados de execução da política SFT:

1. Avaliador de Nível de Sequência ($R_{seq}$): Um modelo que prevê a qualidade geral de um patch. Crucialmente, é treinado em entradas apenas de patch (diffs unificados sem contexto do bug) para evitar aprender correlações espúrias com descrições de problemas. Usa um objetivo híbrido combinando regressão (para pontuações absolutas calibradas) e preferência em pares (para classificações relativas corretas).
2. Alocador de Crédito de Nível de Linha ($R_{line}$): Um componente inovador que atribui crédito a faixas específicas de linhas editadas, em vez de toda a sequência ou tokens individuais.
   • Mecanismo: Analisa diffs unificados em faixas contíguas de linhas editadas.
   • Supervisão: Utiliza supervisão baseada em rastros de pilha fundamentada na execução. Para patches que falham, o modelo identifica faixas no caminho da falha (via análise de rastreamento) e atribui crédito negativo, enquanto patches bem-sucedidos tratam todas as faixas editadas como positivas.
   • Objetivo: Aprender quais edições contribuem mais para o sucesso ou fracasso, permitindo a redistribuição de recompensas de nível de sequência para regiões informativas.

Estágio III: PPO Online com Recompensas Duais

O estágio final otimiza a política usando Otimização de Política Próxima (PPO).

• Moldagem de Recompensa de Nível de Token: A pontuação de nível de sequência de $R_{seq}$ é redistribuída entre os tokens usando os pesos aprendidos por $R_{line}$. Tokens dentro de faixas de edição de alta pontuação recebem recompensas mais altas, enquanto tokens não informativos (cabeçalhos, contexto) recebem peso zero.
• Penalidade de Formato: Uma penalidade determinística é aplicada ao token final se a saída não for um diff unificado válido.
• Otimização: A política é atualizada para maximizar a recompensa esperada derivada dessa alocação de crédito estruturada, reduzindo a variância do gradiente em comparação com recompensas uniformes de nível de sequência.

Contribuições Principais

1. Arquitetura de Recompensa Dual: Um mecanismo que combina avaliação de qualidade de nível de sequência com alocação de crédito de faixa de edição de nível de linha, fornecendo uma solução prática para distribuição de recompensa de alta granularidade em tarefas de edição de código.
2. Pipeline de Treinamento em Três Estágios: Uma abordagem integrada combinando SFT verificado por execução, aprendizagem de recompensa offline com um objetivo híbrido de regressão-preferência e otimização de política online.
3. Comparações Controladas: Avaliação rigorosa sob uma base fixa (32B) e dados de treinamento (SWE-Gym), demonstrando que recompensas duplas superam GRPO, RL de amostragem por rejeição e PPO com recompensas de nível de sequência apenas.
4. Insights de Ablação: Evidências de que, embora o PPO com recompensas de nível de sequência impulsione os ganhos primários de precisão, o alocador de nível de linha ($R_{line}$) fornece melhorias complementares na generalização fora da distribuição, eficiência de treinamento e qualidade do gradiente.

Resultados Experimentais

O BOOSTAPR foi avaliado em quatro benchmarks abrangendo reparo em nível de repositório e em nível de função em Python e Java:

• SWE-bench Verified (Python): Alcançou 40,7% de taxa de sucesso, uma melhoria de +22,9 pontos percentuais (pp) sobre o modelo base. Isso é comparável ao SWE-RL (41,0%), mas utiliza uma base menor de 32B.
• Defects4J v2.0 (Java): Alcançou 24,8% de taxa de sucesso, mais do que dobrando o desempenho do modelo base (11,3%) apesar de zero dados de treinamento em Java, demonstrando forte generalização entre linguagens. O componente $R_{line}$ contribuiu com um ganho relativo maior aqui (+5,6pp) em comparação ao SWE-bench.
• HumanEval-Java: Alcançou 84,5%, uma melhoria de +20,5pp.
• QuixBugs: Alcançou 95,0%.

Baselines de RL Controladas: No SWE-bench Verified, o BOOSTAPR superou o GRPO (+4,6pp) e o RL de Amostragem por Rejeição (+3,2pp). O componente $R_{line}$ forneceu um ganho estável de +2,4pp no SWE-bench e um ganho significativo de +5,6pp no Defects4J.

Significado e Alegações

O artigo afirma que o BOOSTAPR aborda o problema de atribuição de crédito no RL para geração de código operando em uma granularidade intermediária (faixas de linhas editadas). Essa granularidade é descrita como um "compromisso prático" que é mais fina que a alocação em nível de bloco (hunk-level), mas mais estável que a análise em nível de token, especialmente para patches malformados ou entre linguagens.

Os autores enfatizam que:

• A aprendizagem fundamentada na execução é o principal motor de desempenho, com o PPO usando recompensas de nível de sequência respondendo pela maioria dos ganhos.
• A alocação de crédito de nível de linha não é um substituto para recompensas de execução, mas um mecanismo complementar que melhora a estabilidade de otimização e a generalização para cenários fora da distribuição (por exemplo, tarefas em Java quando treinado em Python).
• A abordagem avança em direção a sistemas de IA que podem auxiliar desenvolvedores aprendendo diretamente a partir de feedback de execução, em vez de depender exclusivamente de correspondência de padrões superficiais ou conjuntos de dados curados.

O artigo reconhece limitações, observando que a supervisão de $R_{line}$ é parcialmente heurística e que faixas de linhas editadas são uma unidade semântica aproximada. Sugere que trabalhos futuros poderiam combinar isso com localização de falhas mais forte e pipelines de RL em maior escala.