ClassEval-Pro: A Cross-Domain Benchmark for Class-Level Code Generation

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala (LLMs) tenham alcançado alto sucesso na síntese de código em nível de função (por exemplo, HumanEval, MBPP) e na modificação de código em nível de repositório (por exemplo, SWE-bench), permanece uma lacuna crítica na criação composicional de código. Isso refere-se à capacidade de construir uma classe completa e internamente estruturada a partir de uma especificação, o que exige coordenar múltiplos métodos, gerenciar estado compartilhado e integrar lógica entre domínios.

Os benchmarks existentes falham em abordar isso efetivamente porque:

• Benchmarks em nível de função testam a síntese de lógica isolada.
• Benchmarks em nível de repositório focam na modificação de bases de código existentes.
• Benchmarks anteriores em nível de classe (por exemplo, ClassEval) dependem de curadoria manual, tornando-os difíceis de escalar, caros e cada vez mais suscetíveis a contaminação de dados (treinamento em dados de teste) devido à sua antiguidade (versão de 2023).

2. Metodologia: Construção do ClassEval-Pro

Os autores introduzem o ClassEval-Pro, um benchmark composto por 300 tarefas em nível de classe em 11 domínios. A construção depende de um pipeline totalmente automatizado e resistente à contaminação em três etapas:

A. Coleta e Estruturação de Dados (Etapa 1)

• Fonte: Repositórios Python do GitHub atualizados após janeiro de 2025 para garantir que os dados sejam posteriores aos cortes de treinamento atuais de LLMs.
• Domínios: Abrange 11 domínios (por exemplo, Finanças, Rede, Segurança, Desenvolvimento de Jogos).
• Estratégia de Composição:
  • Intra-Domínio: Mesclagem de classes dentro do mesmo domínio (por exemplo, SinglyLinkedList + Stack).
  • Cross-Domínio: Mesclagem de classes de domínios diferentes (por exemplo, SQLQueryBuilder + PlayerInventory) para forçar gerenciamento complexo de estado e restrições de interface.
• Filtragem: A análise estrita de AST garante que o código seja autocontido (apenas biblioteca padrão), tenha 5+ métodos e 40–800 linhas de código.

B. Geração e Filtragem de Testes (Etapa 2)

• Geração de Esqueleto: Um LLM gera um esqueleto de classe com base no código mesclado.
• Geração de Suíte de Testes: Um LLM gera casos de teste correspondentes ao esqueleto.
• Validação: Um Ensemble de Juízes LLM (três juízes independentes) avalia a compatibilidade entre o esqueleto e a suíte de testes. Apenas pares que recebem pontuação máxima de pelo menos dois juízes prosseguem.

C. Geração e Verificação de Solução (Etapa 3)

• Solução de Referência: Um LLM separado gera o código completo da solução.
• Verificação de Execução: As soluções são executadas em um ambiente isolado. Para ser incluído no benchmark, uma tarefa deve:
  1. Passar em todos os testes.
  2. Alcançar cobertura de linhas >90%.
  3. Concluir dentro de um tempo limite de 60 segundos.
• Saída Final: Um conjunto de dados com esqueletos de classe, suítes de testes e soluções de referência verificadas.

3. Design Experimental

• Modelos Avaliados: Cinco LLMs de ponta (GPT-5.1, Gemini-2.5-Pro, Qwen3-480B, Qwen3-30B, Kimi-K2).
• Estratégias de Geração: Cinco abordagens distintas foram testadas:
  1. Holística: Geração em uma única passagem de toda a classe.
  2. Incremental: Geração iterativa de métodos na ordem de declaração.
  3. Composicional: Geração independente de imports, definições de classe e corpos de métodos, seguida de montagem.
  4. Top-Down: Geração de métodos de alto nível primeiro, depois dependências.
  5. Bottom-Up: Geração de dependências de baixo nível primeiro, depois métodos de alto nível.
• Métricas: A métrica principal é Pass@k (Sucesso Total em Nível de Classe), com análise secundária sobre sucesso em nível de método e Sucesso Parcial.

4. Resultados Principais

A. Dificuldade do Benchmark e Poder Discriminativo

• Dificuldade: As tarefas do ClassEval-Pro são significativamente mais difíceis que benchmarks anteriores, com hierarquias de dependência mais profundas (atingindo 3 camadas versus 1-2 no ClassEval) e maior diversidade semântica.
• Lacuna de Desempenho: O melhor modelo (Qwen3-480B) alcançou apenas 45,6% Pass@1 (Sucesso Total em Nível de Classe). A lacuna entre os modelos mais fortes e mais fracos foi de 17,7 pontos percentuais, confirmando a capacidade do benchmark de discriminar entre modelos de ponta.

B. Interação Estratégia-Modelo

• Abordagens Estruturadas Ajudam Modelos Mais Fracos: Para o GPT-5.1, a estratégia Bottom-Up melhorou o Pass@1 em 9,4 pontos (de 27,9% para 37,3%) em comparação com a abordagem Holística.
• Geração Composicional Falha: A estratégia "Composicional" (gerar partes em isolamento) causou o colapso do desempenho, caindo para tão baixo quanto 1,3% para o Gemini-2.5-Pro. Isso destaca a dificuldade de remontar fragmentos isolados em uma classe coerente.
• Top-Down para Modelos Fortes: Modelos mais fortes como o Gemini-2.5-Pro se beneficiaram ligeiramente do planejamento Top-Down, sugerindo que o planejamento explícito de alto nível auxilia a consistência global.

C. Análise de Erros (Baseada em 500 Falhas Anotadas Manualmente)

• Erros Dominantes:
  • Erros de Lógica (56,2%): Implementações semanticamente incorretas (por exemplo, casos de borda ausentes, tipos de exceção errados).
  • Erros de Dependência (38,0%): Falhas no gerenciamento de estado compartilhado, assinaturas de método ou imports (por exemplo, import os ausente).
  • Erros de Sintaxe: Negligenciáveis (0,6%).
• Gargalo Central: O modo de falha primário não é a formação de código, mas a coordenação cross-method. Os modelos frequentemente geram métodos individualmente corretos que falham em funcionar juntos devido ao gerenciamento inconsistente de estado ou interfaces quebradas.

5. Contribuições Principais

1. Benchmark ClassEval-Pro: Um benchmark escalável e cross-domain de 300 tarefas projetado especificamente para avaliar a criação composicional de código, indo além da síntese de função isolada.
2. Pipeline de Construção Automatizado: Um pipeline inovador e resistente à contaminação que combina mesclagem de código baseada em AST, Ensembles de Juízes LLM e verificação estrita de execução para gerar tarefas de alta qualidade e do mundo real sem curadoria manual.
3. Insights Diagnósticos: Identificação da coordenação cross-method como o principal gargalo na geração em nível de classe. O estudo revela que, embora os modelos possam escrever métodos locais, eles lutam com consistência global da classe, estado compartilhado e gerenciamento de dependências.

6. Significado

• Realismo: Ao usar código do GitHub pós-2025 e composição cross-domain, o ClassEval-Pro oferece uma avaliação mais realista das capacidades de LLMs para tarefas de engenharia de software do que benchmarks sintéticos em nível de função.
• Direções Futuras: As descobertas sugerem que futuras melhorias de LLMs para geração de código devem focar menos na sintaxe e mais no raciocínio arquitetural, gerenciamento de estado e coordenação de dependências.
• Orientação Estratégica: Os resultados indicam que as estratégias de geração devem ser adaptadas às capacidades do modelo; a decomposição estruturada ajuda modelos mais fracos, enquanto abordagens holísticas ou top-down podem se adequar melhor a modelos mais fortes.

Os autores disponibilizaram o código aberto do benchmark, pipeline e scripts de avaliação para facilitar pesquisas adicionais nesta área subatendida de geração de código.