Resumo Técnico: BenchEvolver: Síntese de Tarefas de Fronteira via Evolução Centrada na Solução

Declaração do Problema

O avanço rápido dos Grandes Modelos de Linguagem (LLMs) de fronteira levou à saturação de benchmarks de codificação amplamente utilizados. Em conjuntos de dados como o LiveCodeBench, modelos de última geração alcançam taxas de aprovação quase perfeitas (ex: >99% em divisões fáceis, >90% em média), tornando esses benchmarks ineficazes para diferenciar as capacidades dos modelos ou fornecer gradientes de treinamento significativos. Embora a construção humana de novos conjuntos de dados desafiadores seja possível, ela é cara e difícil de escalar. Os métodos existentes de geração de dados sintéticos geralmente seguem um paradigma assimétrico professor-aluno (onde um modelo mais forte gera dados para modelos mais fracos) ou operam no nível da instrução sem garantir a validade da tarefa executável subjacente (enunciado, solução e testes). Consequentemente, há uma falta de mecanismos para que modelos de fronteira gerem tarefas válidas, verificáveis e difíceis que desafiem o próprio gerador, um pré-requisito para a auto-melhoria de ciclo fechado.

Metodologia: BenchEvolver

Os autores introduzem o BenchEvolver, um framework evolutivo centrado na solução projetado para transformar tarefas de codificação saturadas em variantes mais difíceis e verificáveis. Ao contrário das abordagens tradicionais que geram primeiro um enunciado de problema e depois tentam encontrar uma solução, o BenchEvolver inverte esse pipeline:

1. Evolução Centrada na Solução: O processo começa com a solução de referência ($C$) de uma tarefa semente. Um Propositor (Proposer) muta esta solução em uma nova solução de referência ($C'$), estruturalmente distinta. Esta mutação é guiada pelo objetivo de introduzir um "levantamento algorítmico dominante" — uma mudança substantiva (ex: exigir uma nova estrutura de dados, uma classe de complexidade diferente ou uma reformulação matemática) que torne a solução pai insuficiente.
2. Derivação de Componentes da Tarefa: Uma vez estabelecida $C'$, o framework deriva o enunciado do problema em linguagem natural ($S'$), exemplos públicos e suítes de testes ocultos ($T'$) diretamente da solução evoluída. Isso garante que a tarefa esteja fundamentada em semântica executável.
3. Verificação e Seleção Empírica: Um Avaliador (Evaluator) valida a tarefa candidata ($I' = (S', C', T', E)$) através de verificações de consistência específicas do benchmark (ex: triangulação entre a solução de referência, um solver de força bruta e um oráculo de apenas enunciado para programação competitiva; uso de verificações de fidelidade ao enunciado para codificação científica). Crucialmente, a dificuldade não é atribuída heuristicamente, mas medida empiricamente: um candidato é aceito apenas se resultar em uma taxa de aprovação menor para um painel alvo de modelos em comparação com a semente.
4. Busca Guiada por Memória: O framework emprega módulos de memória local e global. A memória local rastreia a linhagem de uma semente específica (mutações aceitas, razões de falha), enquanto a memória global registra famílias de mutações aceitas em todas as sementes para incentivar a diversidade e evitar exploração redundante. Isso guia o Propositor para evitar falhas repetitivas e explorar direções algorítmicas distintas.

Principais Contribuições

• Framework BenchEvolver: Um novo framework de ciclo fechado que evolui tarefas de codificação saturadas ao mutar soluções de referência primeiro, e então derivar enunciados e testes. Este design garante que as tarefas sejam executáveis e verificáveis sem exigir um modelo "professor" estritamente mais forte.
• Validação Cross-Domain: O framework é demonstrado como funcional em dois domínios de codificação executáveis distintos: programação competitiva (LiveCodeBench) e codificação científica (SciCode), produzindo tarefas válidas, diversas e substancialmente mais difíceis em ambos.
• LIVECODEBENCH-PLUS: Os autores curam um novo benchmark de 91 problemas combinando tarefas evoluídas com problemas originais difíceis do LiveCodeBench-v6. Este benchmark restaura a discriminação clara entre modelos de fronteira, com pontuações Pass@1 variando de 27,5% a 62,6%.
• Sinal de Auto-Melhoria: O artigo fornece evidências de que as tarefas evoluídas servem como sinais de treinamento eficazes para o modelo que as gerou. O Aprendizado por Reforço (RL) em tarefas evoluídas melhora o desempenho de codificação em dados não vistos além do conjunto de sementes original.

Resultados

• Dificuldade e Validade da Tarefa: Aplicado ao LiveCodeBench e SciCode, o BenchEvolver gera com sucesso tarefas evoluídas válidas que reduzem significativamente as taxas de aprovação dos modelos alvo. Por exemplo, no LiveCodeBench Hard seeds, a Pass@1 média entre os modelos caiu de 87,0% para 45,7% nas tarefas evoluídas.
• Diversidade Algorítmica: A avaliação humana por especialistas em programação competitiva revelou que as tarefas evoluídas ampliam a área de superfície algorítmica. Enquanto os problemas semente eram dominados por "Busca/Simulação" (32,7%), as tarefas evoluídas distribuíram a massa em categorias avançadas como HLD/LCT, autómatos AC e métodos polinomiais. O número de categorias algorítmicas distintas aumentou de 19 nas sementes para 30 no conjunto evoluído.
• Ganhos de Desempenho de RL: Usando gpt-oss-20b como tanto o evolver quanto o modelo alvo, o treinamento em uma mistura de tarefas semente e evoluídas rendeu ganhos significativos em benchmarks de teste:
  • LCB v6 Hard: Ganho de +8,7 Pass@1 sobre a linha de base apenas com sementes (um melhoria relativa de 70,7% sobre o ganho da semente).
  • LCB-Pro Easy: Ganho de +8,3 Pass@1 sobre a linha de base apenas com sementes (uma melhoria relativa de 34,8%).
  • Transferência: O treinamento em tarefas evoluídas autogeradas também melhorou o desempenho em um benchmark evoluído de forma independente (gerado pelo Gemini-3-Flash), sugerindo que o sinal se transfere além da distribuição específica do gerador.

Significância e Alegações

O artigo afirma que o BenchEvolver aborda o gargalo da saturação de benchmarks ao converter conjuntos de dados estáticos e saturados em suítes de avaliação de nível de fronteira e sinais de treinamento reutilizáveis. A principal significância reside no design centrado na solução, que fundamenta a geração de tarefas na semântica executável, garantindo que a dificuldade seja uma propriedade da computação e não da complexidade superficial.

Os autores argumentam que esta abordagem permite um mecanismo de auto-melhoria de ciclo fechado: os modelos podem usar computação em tempo de inferência para descobrir suas próprias fraquezas, converter essas falhas em ambientes de treinamento verificados e melhorar através de RL. Isso vai além da visão tradicional de benchmarks como artefatos estáticos que inevitavelmente saturam, propondo, em vez disso, um paradigma de "benchmark vivo" onde a avaliação e os conjuntos de dados de treinamento co-evoluem com as capacidades do modelo. Os resultados sugerem que as tarefas evoluídas não são meramente itens de avaliação mais difíceis, mas fornecem sinais de treinamento acionáveis que ajudam os modelos a melhorar em regimes de codificação difíceis além de sua distribuição original de treinamento.