Resumo Técnico: Reconfiguração de Sinais para GRPO em Reparação de Código Agente com Feedback Fraco

Declaração do Problema

O artigo aborda o desafio de treinar agentes de código usando Otimização de Política Relativa em Grupo (GRPO) em ambientes de feedback fraco. Na reparação de código agente (especificamente tarefas de "compilar-corrigir"), o feedback de execução online (por exemplo, sucesso na compilação) é confiável, mas semanticamente incompleto. Um patch pode compilar com sucesso, mas falhar em corrigir o erro semântico pretendido (por exemplo, ao deletar código necessário ou adicionar stubs inseguros), ou pode falhar na compilação devido a instabilidade ambiental em vez de falha da política.

O GRPO padrão depende da comparação de múltiplas trajetórias (rollouts) a partir do mesmo prompt para gerar vantagens. No entanto, em configurações de feedback fraco, três distorções críticas de sinal impedem comparações significativas dentro do grupo:

1. Falha de Semântica do Resultado: Recompensas binárias (sucesso/falha na compilação) confundem atalhos sintáticos com reparos genuínos, fazendo com que o agente otimize para o sucesso superficial em vez da correção semântica.
2. Crédito de Processo Difuso: Trajetórias de longo horizonte recebem uma única recompensa escalar, tornando impossível distinguir etapas de reparo eficazes de repetições não informativas ou repetições.
3. Comparabilidade Dentro do Grupo Quebrada: Problemas de infraestrutura (por exemplo, tempos de limite de contêineres, contenção de fila de compilação) e degeneração da política (por exemplo, repetição catastrófica) misturam-se com falhas genuínas de reparo na binária de recompensa zero, distorcendo o ranking relativo das trajetórias.

Os autores argumentam que a solução não é reescrever o objetivo de RL, mas reconfigurar os sinais de treinamento alimentados no framework GRPO existente para restaurar a validade das comparações dentro do grupo.

Metodologia

A abordagem proposta, Reconfiguração de Sinais, introduz três intervenções mínimas que modificam os sinais de entrada para o GRPO sem alterar seu mecanismo de cálculo de vantagem normalizado por grupo.

1. Recompensas de Resultado em Camadas (Restaurando o Ranking Semântico)

Em vez de uma recompensa binária {0, 1} baseada apenas na compilação, os autores propõem uma estrutura de recompensa de três níveis:

• $R=0$: Falha na compilação.
• $R=0.5$: Sucesso na compilação, mas o patch é semanticamente inconsistente com o reparo mínimo suficiente de verdade fundamental (GT).
• $R=1$: Sucesso na compilação e consistência semântica com o reparo GT.
  A consistência semântica é determinada por um juiz LLM forte (Kimi-K2.5) comparando o patch do agente contra um patch GT refinado. Este nível intermediário ($R=0.5$) preserva o sinal de ordenação durante o treinamento quando reparos semânticos totalmente corretos são esparsos, impedindo o colapso do sinal de ordenação.

2. Pontuações de Processo em Nível de Etapa (Localizando o Crédito)

Para abordar a difusão de crédito em trajetórias longas, o método introduz pontuações de processo em nível de etapa ($s_i \in [0, 1]$).

• Essas pontuações são atribuídas por um juiz a etapas individuais de chamada de ferramenta dentro de uma trajetória que compilou com sucesso.
• Crucialmente, essas pontuações não entram na normalização da recompensa escalar do GRPO. Em vez disso, atuam como pesos de perda em nível de token.
• Etapas com alta pontuação (por exemplo, edições bem-sucedidas, verificações) recebem pesos de gradiente mais altos, enquanto etapas com baixa pontuação (por exemplo, inspeções de arquivo redundantes) são ponderadas para baixo. Isso realoca a força de atualização dentro de uma trajetória sem alterar a vantagem relativa entre diferentes trajetórias.

3. Governança de Trajetória Consciente da Causa de Falha (Garantindo Comparabilidade)

Para garantir que as trajetórias no mesmo grupo sejam comparáveis em termos de execução, o sistema implementa um mecanismo de roteamento baseado na causa da falha:

• Mascaramento de Trajetória Completa: Amostras que falham devido a exceções ambientais não aprendíveis (por exemplo, falha na inicialização do contêiner, estouro de contexto, tempos de limite do sistema) são totalmente mascaradas do objetivo de perda. Elas ainda contribuem para a média/variação do grupo para normalização, mas não geram gradientes.
• Retenção da Última Etapa: Amostras que exibem degeneração da política (por exemplo, repetição catastrófica, chamadas excessivas de ferramentas) são mascaradas até a última etapa, retendo apenas a última etapa como uma amostra de penalidade para alinhar o feedback negativo ao ponto específico de falha.
• Terminação Normal: Trajetórias válidas prosseguem para julgamento semântico.
  Adicionalmente, o sistema desacopla a concorrência para inferência em GPU, I/O de sandbox e compilação para evitar que a contenção de recursos viés a distribuição de amostragem.

Comparação de Fronteira: Destilação em Nível de Token

O artigo também investiga se a destilação privilegiada em nível de token (usando dicas disponíveis durante o treinamento, mas não no tempo de teste) pode substituir o crédito de processo em nível de etapa. Dois métodos, $\pi$-Destilação (KL forward) e OPSD (KL reverso), são testados. Os resultados mostram que o alinhamento em nível de token falha em melhorar a correção do resultado em trajetórias longas, pois o sinal é diluído por tokens não críticos e perturba a dinâmica de otimização em nível de trajetória.

Resultados Principais

Os experimentos foram conduzidos em uma tarefa de compilar-corrigir usando o modelo Qwen3-Coder-30B com um conjunto de dados de reparos mínimos suficientes derivados de logs internos de CI.

• Ganho de Ponta a Ponta: O GRPO totalmente reconfigurado de sinais melhorou a precisão estrita de compilação e semântica do desempenho zero-shot do modelo base de 0,385 para 0,535 (um ganho de +15,0 pontos percentuais).
• Papel das Recompensas em Camadas: A comparação entre uma recompensa binária (apenas compilação) e a recompensa em camadas mostrou que as recompensas binárias causaram um pico precoce na taxa de compilação e depois degradação, falhando em melhorar a correção semântica. A recompensa em camadas (nível $R=0.5$) foi essencial para treinamento estável e controle de trajetória.
• Papel das Pontuações de Processo: Adicionar pontuações de processo em nível de etapa à linha de base de recompensa em camadas melhorou ainda mais a precisão de 0,48 para 0,53 e reduziu o número médio de etapas de avaliação de 23,50 para 17,02. Isso demonstra que o crédito de processo melhora a eficiência e a correção simultaneamente, em vez de trocar exploração por sucesso.
• Falha na Destilação: Os métodos de destilação em nível de token ($\pi$-Destilação e OPSD) tiveram desempenho inferior à linha de base GRPO. A $\pi$-Destilação levou a terminação prematura (aprendendo a enviar cedo), enquanto a OPSD levou a baixa entropia e habilidades de ferramenta degradadas. Isso confirma que o alinhamento local de tokens não pode substituir a semântica do resultado ou o crédito de processo neste cenário.

Significado e Alegações

O artigo afirma que, para tarefas de agentes com feedback fraco, a reconfiguração de sinais é uma estratégia mais eficaz do que modificar o objetivo de RL ou adicionar supervisão incompatível.

1. Reenquadramento do Problema: Os autores postulam que a falha do GRPO em configurações de feedback fraco não se deve ao próprio algoritmo, mas à invalidade da comparação dentro do grupo causada por sinais incompletos.
2. Intervenção Mínima: O método proposto deixa o cálculo de vantagem central do GRPO inalterado. Ele simplesmente garante que as entradas (recompensas, pesos de processo e seleção de amostras) satisfaçam os pré-requisitos para otimização relativa significativa.
3. Incompatibilidade de Granularidade: Os resultados negativos na destilação em nível de token destacam uma incompatibilidade fundamental: em tarefas de agentes de longo horizonte, o sucesso é determinado por alguns pontos de decisão críticos (chamadas de ferramenta, terminação), enquanto a supervisão em nível de token é diluída por tokens não críticos. Portanto, crédito de processo em nível de etapa e semântica do resultado são necessários e não podem ser substituídos por alinhamento denso em nível de token.

O trabalho sugere um princípio de design para RL agente futuro: quando o objetivo está correto, mas o feedback está incompleto, reconfigurar o sinal para recuperar a ordenação semântica, o crédito localizado e a comparabilidade de amostras é mais eficaz do que adicionar supervisão auxiliar que não se alinha com a granularidade da decisão.