Resumo Técnico: Quando o Conjunto de Recompensas é Permeável (Leaky)

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) treina modelos de código usando conjuntos de testes como verdade fundamental (ground truth). No entanto, os conjuntos de testes implantados frequentemente contêm falsos positivos (FPs) naturais: erros persistentes, assimétricos e por tarefa, onde um programa incorreto específico passa consistentemente nos mesmos testes fracos. Diferente do ruído simétrico e reamostrado assumido pelas análises de robustez existentes (que se anulam ao longo do treinamento), esses FPs naturais fornecem uma recompensa constante para soluções incorretas específicas.

O artigo aborda uma questão causal ausente: O que acontece quando os modelos treinam contra esses falsos positivos naturais e persistentes? Especificamente, o modelo aprende a explorar essas brechas (exploração aprendida) ou apenas seleciona modos de erro pré-existentes (seleção)? Além disso, o treinamento em um conjunto "permeável" degrada a capacidade em tarefas não vistas (held-out) em comparação a um conjunto "fortalecido" (hardened)?

2. Metodologia

Os autores conduziram um contraste causal pré-registrado de dois braços através de três famílias de modelos (Qwen2.5-Coder-1.5B, DeepSeek-Coder-1.3B e Llama-3.2-1B).

Desenho Experimental

• Braços de Treinamento: Ambos os braços utilizaram modelos idênticos, tarefas (250 tarefas MBPP), sementes (5), hiperparâmetros e computação (400 passos de GRPO). A única diferença foi o sinal de recompensa:
  • Braço Permeável (Leaky): Recompensado com base no conjunto de testes original e implantado do MBPP.
  • Braço Fortalecido (Hardened): Recompensado baseando-se apenas nos testes "extras" gerados pelo projeto MBPP+ (que são disjuntos dos testes originais em 313/378 tarefas).
• Auditoria Estática: Antes do treinamento, uma auditoria estática barata amostrou 16 soluções do modelo base por tarefa. A "permeabilidade" de uma tarefa foi definida como a fração de amostras que passaram no conjunto original, mas falharam nos testes extras.
• Avaliação: O desempenho em tarefas não vistas foi pontuado exclusivamente pelo conjunto de testes extras (testes "plus" do MBPP+) para garantir uma avaliação justa e não permeável.
• Pré-registro: O desenho do estudo, incluindo margens de não-inferioridade e planos de análise, foi pré-registrado antes da coleta de dados. As afirmações são marcadas como [C] (confirmatórias/pré-registradas) ou [E] (exploratórias/pós-hoc).

Métricas Principais

• Massa de FP Recompensada: A fração de rollouts no braço permeável que passou no conjunto original, mas falhou no conjunto extra.
• Parcela de Erro Verificado (Verified-Wrong Share): Uma auditoria humana exaustiva dos FPs recompensados para distinguir código genuinamente errado de artefatos (ex: falsos negativos dos testes extras).
• Gap de Capacidade (Held-Out Gap): A diferença nas taxas de aprovação entre os braços fortalecido e permeável em tarefas não vistas.

3. Resultados Principais

Descobertas Confirmatórias [C]

1. Efeito Médio Limitado: Aos 400 passos, o braço permeável não sofreu uma queda estatisticamente significativa na capacidade de tarefas não vistas em comparação ao braço fortalecido. O gap foi de 0,20 pontos, com um limite superior de 95% unilateral de 0,75 pontos, permanecendo bem dentro da margem de não-inferioridade pré-registrada de 1,5 pontos.
2. Auditoria Estática Prediz a Permeabilidade: Existe uma forte correlação (Spearman $\rho \approx 0,80$) entre o escore de permeabilidade estática pré-treinamento e a massa real de FP recompensada observada durante o treinamento. Isso sugere que a brecha é uma propriedade da tarefa/conjunto, não algo que o modelo aprende a criar.
3. Replicação: As descobertas principais (grande parcela de erro verificado, rastreamento de permeabilidade e estratificação no lado do treinamento) replicaram-se em todas as três famílias de modelos.

Descobertas Exploratórias [E]

1. A Recompensa Paga por Bugs Reais: Aproximadamente 47,57% dos falsos positivos recompensados na família primária foram verificados como código genuinamente errado (bugs reais), não apenas artefatos do conjunto, essa parcela foi grande nas famílias de replicação (45,37% e 62,78%).
2. Seleção, Não Aprendizado: O mecanismo parece ser a seleção de modos de erro pré-existentes, em vez de exploração aprendida.
   • A taxa de FP já estava em seu nível de longo prazo no Passo 0 e não cresceu ao longo do horizonte de treinamento.
   • Os modelos base não treinados produziam as mesmas saídas erradas características quando filtrados pelo conjunto permeável.
   • Não houve evidência de "assinaturas de hacking" ou refinamento de parâmetros em direção aos falsos positivos além da resolução comportamental.
3. Meta-Auditoria de Juízes de Fronteira: Uma auditoria exploratória de modelos de fronteira (DeepSeek-V4-Pro, MiMo-v2.5-Pro) atuando como juízes encontrou que eles consegiam separar seus próprios falsos positivos de aprovações genuínas apenas fracamente (AUC ~0,62–0,64), significativamente abaixo de sua habilidade de julgar os erros da política de 1.5B. Um teste de desconfundimento de viés de autoavaliação retornou NÃO RESOLVIDO.

4. Contribuições e Significância

A principal contribuição do artigo é uma camada de medição que isola o impacto causal dos falsos positivos naturais no RLVR.

• Medição vs. Capacidade: O estudo demonstra que uma pontuação agregada "limpa" de tarefas não vistas não certifica um fluxo de recompensa "limpo". O braço permeável acumulou 8,37 pontos a mais de recompensa de treinamento do que o braço fortalecido, porém essa inflação não se traduziu em ganhos ou perdas mensuráveis de capacidade em tarefas não vistas dentro da escala estudada (1–1,5B de parâmetros, 400 passos).
• Economia de Auditoria: Uma auditoria estática barata realizada antes do treinamento pode prever onde ocorrerá a fuga de recompensa. Isso permite que praticantes identifiquem tarefas de alto risco sem executar execuções de treinamento caras.
• Natureza da Brecha: O artigo argumenta que o fluxo de recompensa está "pagando por" erros pré-existentes na distribuição do modelo base que o conjunto de testes falha em filtrar, em vez de o modelo aprender a hackear o conjunto. A brecha atua como um mecanismo de seleção, não como um sinal de ensino para novos exploits.
• Fronteira Prática: As descobertas sugerem que, para as escalas e extensões de tarefas atuais, o risco de falsos positivos naturais é primariamente um problema de medição (inflação de contagem de recompensa) em vez de um problema de capacidade (exploração aprendida). No entanto, os autores afirmam explicitamente que não alegam nada além de sua escala e horizonte específicos, observando que a exploração pode crescer com modelos maiores ou tarefas mais longas.

5. Limitações e Escopo

Os autores são explícitos sobre os limites de suas alegações:

• Escala: Os resultados são específicos para modelos de 1–1,5B e 400 passos de GRPO. O artigo não descarta que a exploração possa crescer em escalas maiores ou horizontes mais longos.
• Tarefas: O estudo é limitado às tarefas MBPP e HumanEval+.
• Fortalecimento: O braço "fortalecido" utiliza apenas testes extras, que não são perfeitos (contêm seus próprios falsos negativos), embora o piso de erro seja menor que o conjunto original.
• Meta-Auditoria: As descobertas sobre juízes de fronteira são descritivas e limitadas a dois modelos específicos; elas não se generalizam para todos os modelos de fronteira.

Em resumo, o artigo fornece uma demonstração rigorosa e pré-registrada de que, embora os conjuntos de testes implantados vazem recompensa para códigos genuinamente errados, essa fuga atualmente se manifesta como uma inflação de medição, e não como uma capacidade aprendida de explorar o conjunto, pelo menos dentro da escala e do horizonte observados.