OpenClassGen: A Large-Scale Corpus of Real-World Python Classes for LLM Research

1. Problema e Motivação

O campo de geração de código por Modelos de Linguagem de Grande Escala (LLMs) enfrenta uma lacuna crítica na avaliação e treinamento de geração de código em nível de classe.

• Limitações dos Benchmarks Atuais:
  • Benchmarks Sintéticos (ex: ClassEval): Possuem apenas 100 classes criadas manualmente. Embora bem documentados, carecem de realismo e diversidade, levando a superestimativas de desempenho (84-89% de acerto) que não se traduzem para o código real.
  • Benchmarks de Escala Real (ex: RealClassEval): Oferecem mais realismo (400 classes de repositórios reais), mas o tamanho da amostra é insuficiente para treinamento, fine-tuning ou análises empíricas estatisticamente robustas.
  • Benchmarks de Nível de Repositório: Exigem arquiteturas complexas de agentes para navegar por dependências entre arquivos, o que adiciona ruído e custo à avaliação, obscurecendo a capacidade real do modelo de gerar a estrutura da classe em si.
• Necessidade: Existe uma necessidade urgente de um corpus grande, realista e autossuficiente (sem dependências externas complexas) para permitir o estudo da geração de classes orientadas a objetos, incluindo fine-tuning, modelagem de dificuldade e análise de falhas.

2. Metodologia e Curação do Dataset

Os autores apresentaram o OpenClassGen, um corpus massivo de 324.843 classes Python extraídas de 2.970 projetos de código aberto. O processo de curação envolveu as seguintes etapas:

1. Seleção de Projetos:

   • Utilizaram projetos filtrados previamente (baseados em critérios de "projetos engenhados"), garantindo qualidade, manutenção ativa e licenças adequadas.
   • Filtros aplicados: Licença (excluindo não padrão), Atividade (excluindo repositórios arquivados ou com poucos contribuidores) e Qualidade (excluindo os 25% piores em PRs, issues e linhas de código, além de outliers na relação código/comentário).

2. Análise e Extração:

   • Métricas Estáticas: Para cada classe, foram calculadas 27 métricas de código estático (usando a ferramenta Understand™ da SciTools) cobrindo: tamanho, complexidade (ciclomática, profundidade de aninhamento), acoplamento (fan-in/fan-out) e herança.
   • Extração de Esqueletos (Scaffolding): Utilizando o módulo ast do Python, extraíram a estrutura da classe (assinaturas de classe e métodos, docstrings) substituindo os corpos dos métodos por pass. Isso cria um "esqueleto" que serve como especificação completa para a geração.

3. Pós-Processamento e Filtragem:

   • Remoção de Falhas de AST: Eliminou classes com sintaxe incompatível (ex: Python 2).
   • Remoção de Classes de Teste: Identificadas por heurísticas de nomes e caminhos (ex: Test, unit), pois representam um tipo diferente de tarefa de geração (verificação vs. implementação funcional).
   • Resultado Final: 324.843 classes de produção.

4. Estrutura do Dataset:

   • Cada entrada contém: ID, nome do repositório, caminho do arquivo, nome da classe, implementação humana completa, esqueleto extraído, razão comentário/código, e as 27 métricas estáticas.

3. Contribuições Principais

1. Corpus em Grande Escala: O primeiro corpus de grande escala (324k+ classes) de classes Python reais especificamente curado para pesquisa de geração de código em nível de classe.
2. Pipeline de Curação Rigoroso: Um processo que combina filtragem baseada em engenharia de software, extração baseada em AST e remoção de ruído (testes), resultando em dados de alta qualidade.
3. Metadados Ricos: Inclusão de 27 métricas estáticas por classe, permitindo pesquisas sobre modelagem de dificuldade, análise estrutural e recuperação aumentada (RAG) baseada em estrutura.
4. Avaliação Multidimensional: Uma avaliação demonstrativa que prova a utilidade do dataset para diferenciar capacidades de LLMs em quatro dimensões: sintaxe, semântica, estrutura e correção funcional.
5. Acesso Aberto: Disponibilização pública do dataset e scripts de curadoria no Zenodo e Hugging Face.

4. Resultados da Avaliação

Os autores avaliaram três LLMs (GPT-o4-mini, Claude-4-Sonnet, Qwen-3-Coder) em um subconjunto estratificado de 300 classes (100 por nível de documentação: completo, parcial, ausente).

• Métricas Utilizadas:

  • Sintática: BLEU e ROUGE-L.
  • Semântica: CodeBERTScore-F3.
  • Estrutural: Tree Similarity Edit Distance (TSED).
  • Funcional: Taxa de aprovação (Pass Rate) em testes unitários gerados automaticamente pelo Pynguin (cobertura de ramos média de 58%).

• Principais Achados:

  • Alta Similaridade Semântica e Estrutural: Os modelos demonstraram forte compreensão do significado e da arquitetura das classes (CodeBERTScore-F3 médio: 0.89; TSED médio: 0.83).
  • Variabilidade Sintética: A sobreposição lexical foi moderada (ROUGE-L: 0.65), indicando que os modelos geram implementações válidas, mas com estilos diferentes.
  • Desafio na Correção Funcional: A taxa de aprovação média foi de 0.33 (33%). O Claude-4-Sonnet teve o melhor desempenho (0.36), seguido pelo Qwen-3-Coder (0.35) e GPT-o4-mini (0.29).
  • Diferenciação de Modelos: A variância nos resultados confirma que o OpenClassGen é capaz de distinguir capacidades entre diferentes modelos, algo que benchmarks sintéticos menores muitas vezes não conseguem fazer.

5. Significado e Impacto

O OpenClassGen preenche uma lacuna crítica entre benchmarks sintéticos pequenos e benchmarks de repositório complexos.

• Viabilidade de Fine-tuning: O volume de dados permite o treinamento supervisionado de modelos específicos para geração de classes, algo impossível com datasets anteriores de 100-400 amostras.
• Análise de Falhas e Dificuldade: As 27 métricas permitem correlacionar características estruturais (ex: alta complexidade ciclomática) com taxas de erro dos LLMs, facilitando a criação de estratégias de aprendizado curricular.
• RAG Estrutural: Permite a construção de sistemas de recuperação aumentada que buscam exemplos baseados em complexidade e acoplamento, não apenas em similaridade lexical.
• Realismo: Ao capturar a variabilidade natural da documentação (apenas 20% totalmente documentadas) e a diversidade de domínios (ML, Web, DevOps, etc.), o dataset oferece uma avaliação mais fiel do desempenho em cenários de produção.

Em resumo, o OpenClassGen transforma a pesquisa em geração de código orientada a objetos, fornecendo a infraestrutura necessária para avançar da simples avaliação de "pass/fail" para uma compreensão profunda das capacidades, limitações e padrões de falha dos LLMs em tarefas de engenharia de software complexas.