Resumo Técnico: Reprodgen – Replicando Código de Ciência de Dados com Erros e Corrigido

Declaração do Problema

Reproduzir código de ciência de dados confiável a partir de fontes informais de perguntas e respostas de desenvolvedores (ex: Stack Overflow, GitHub Issues) é um desafio significativo. Embora esses fóruns contenham discussções ricas sobre o diagnóstico e a correção de problemas do mundo real, a informação é frequentemente não estruturada, incompleta e carece de contexto crítico de execução. Especificamente, as postagens frequentemente omitem dependências de bibliotecas, ambientes de execução, requisitos funcionais e conjuntos de dados de exemplo.

Benchmarks existentes para depuração e reparo frequentemente dependem de conjuntos de dados curados, mas construir tais benchmarks diretamente de postagens informais continua sendo difícil. Existe uma lacuna crítica na reconstrução automatizada de pares de código com erro e corrigido que sejam executáveis. As abordagens de estado da arte (SOTA) atuais, como AutoCodeRover e ArchCode, lutam com essa tarefa:

• AutoCodeRover assume um contexto de repositório completo; quando aplicado a postagens do Stack Overflow que carecem de arquivos de origem, ele falha em recuperar o contexto e produz patches não executáveis.
• ArchCode frequentemente interpreta mal a intenção, gerando a solução otimizada diretamente em vez de reproduzir o comportamento problemático original, e falha em sintetizar os dados fictícios necessários.

Sem código com erro executável, é impossível analisar o comportamento em tempo de execução, validar requisitos inferidos ou verificar se um patch gerado realmente resolve o defeito. Este artigo aborda a necessidade de um framework capaz de reconstruir fielmente tanto o comportamento defeituoso quanto a correção correspondente a partir de texto informal.

Metodologia: O Framework Reprodgen

Os autores propõem o Reprodgen, um framework baseado em Large Language Models (LLM) projetado para gerar automaticamente programas Python com erro e corrigidos a partir de postagens de fóruns de Q&A. O framework emprega um fluxo de trabalho Gerador–Revisor, inspirado no estilo de programação em par Driver–Navigator, para refinar iterativamente o código até que ele seja tanto executável quanto semanticamente consistente com a discussão de origem.

Fluxo de Trabalho Principal

1. Parsing de Q&A: O sistema extrai a pergunta, uma resposta selecionada (preferencialmente a aceita) e metadados da postagem do fórum.
2. Geração de Pensamento Estruturado (Orientação): Antes da síntese de código, o Reprodgen gera três artefatos intermediários estruturados para guiar o processo:
   • Intenção do Código (CI): Uma especificação semântica de alto nível da funcionalidade pretendida pelo desenvolvedor, distinguindo entre a "CI com Erro" (o objetivo descrito na pergunta) e a "CI Corrigida" (o objetivo após a correção).
   • Requisitos Funcionais (FR): Especificações estruturadas e orientadas ao usuário descrevendo o comportamento esperado, relações entrada-saída e casos de borda, independentes de detalhes de implementação.
   • Cadeia de Pensamento Estruturada (SCoT): Uma descrição de raciocínio procedural passo a passo de como as entradas são transformadas em saídas, modelando o fluxo de controle tanto para a lógica incorreta quanto para a correta.
   • Nota: Estes artefatos são gerados e revisados iterativamente por um Revisor LLM independente para garantir precisão e completude antes de prosseguir para a geração de código.
3. Geração de Código e Execução:
   • O LLM Gerador sintetiza código executável, inferindo dependências ausentes, sintetizando dados ficticos (mock data) e fixando sementes aleatórias para garantir a reprodutibilidade.
   • Um Executor de Código executa os scripts gerados em contêineres Docker isolados. Ele captura a saída padrão, fluxos de erro e códigos de saída para determinar a executabilidade.
4. Refinamento Iterativo:
   • Se a execução falhar ou o comportamento não corresponder à postagem de origem, o Revisor LLM avalia a saída em relação ao Q&A original e aos artefatos de orientação gerados.
   • O Revisor fornece feedback (rótulos: Correto, Parcialmente Correto, Incorreto, Desconhecido) e justificativas.
   • O Gerador usa esse feedback para refinar o código em iterações subsequentes (limitadas a três loops por subtarefa).

Datasets de Avaliação

Os autores construíram dois benchmarks para avaliar o framework:

• ReprodgenBench-B: Um conjunto de dados de 203 postagens do Stack Overflow (amostradas de um conjunto curado de 427) cobrindo sete bibliotecas de ciência de dados (NumPy, pandas, Matplotlib, scikit-learn, SciPy, DataFrame, PyQt). O ground truth para este dataset foi estabelecido por dois juízes humanos especialistas validando os artefatos sintetizados por LLM.
• ReprodgenBench-GI: Um conjunto de dados de 50 GitHub Issues fechados de cinco bibliotecas, reproduzidos manualmente e validados por um especialista humano para garantir uma base totalmente validada por humanos.

Principais Contribuições

1. Framework Reprodgen: Um novo framework de programação em par que utiliza LLMs para gerar e revisar código executável com erro e corrigido a partir de postagens informais, integrando síntese de dados fictícios, inferência de dependências e validação semântica.
2. Abordagem de Prompting Estruturado: Um método combinando Intenção de Código, Requisitos Funcionais e Cadeia de Pensamento Estruturada (SCoT) com feedback de avaliação iterativa para garantir clareza semântica e correção.
3. ReprodgenBench-V: Um benchmark de 176 programas de ciência de dados do mundo real (incluindo os subconjuntos usados para avaliação) liberado publicamente, curado de Stack Overflow e GitHub Issues, promovendo a reprodutibilidade na pesquisa de depuração automatizada.
4. Leaderboard da Comunidade: Uma plataforma para comparação transparente de modelos baseada em Taxa de Execução, Taxa de Sucesso e similaridade semântica.

Resultados Experimentais

O framework foi avaliado em múltiplos LLMs de código aberto (Qwen 2.5, Gemma 3, Phi-4, DeepSeek-Coder, Code Llama) em ambos os benchmarks.

• Eficácia (RQ1):

  • Qwen 2.5 e Gemma 3 demonstraram o desempenho geral mais forte. No ReprodgenBench-B, o Qwen 2.5 alcançou uma Taxa de Sucesso (SR) de 58,12% para código com erro e 51,72% para código corrigido.
  • Código com Erro vs. Corrigido: A replicação de código com erro foi consistentemente mais confiável do que a replicação de código corrigido. Isso é atribuído ao fato de que o comportamento com erro é frequentemente descrito explicitamente ou implícito nas postagens, enquanto a geração de patch requer inferir a correção correta e corresponder ao comportamento esperado pós-correção.
  • Diferenças de Dataset: Os GitHub Issues (ReprodgenBench-GI) mostraram taxas de executabilidade mais altas do que as postagens do Stack Overflow, provavelmente devido a templates de reporte de bugs mais estruturados que fornecem um contexto mais claro.

• Confiabilidade dos Revisores (RQ2):

  • Gemma 3 e Qwen 3 foram identificados como os LLMs revisores mais confiáveis, alcançando altos F1-scores ponderados por cobertura (0,88 e 0,86, respectivamente).
  • Uma lacuna de desempenho foi observada entre as subtarefas textuais (CI, FR, SCoT) e a avaliação de nível de código. Os revisores tiveram bom desempenho na extração de intenção e requisitos, mas tiveram dificuldade significativa em avaliar a correção de código corrigido, o que exige raciocínio sobre mudanças comportamentais sutis.

• Eficiência (RQ3):

  • Gemma 3 ofereceu a melhor velocidade, com tempos médios de geração de ~17 segundos para código com erro e ~13 segundos para código corrigido.
  • Qwen 2.5 exigiu um pouco mais de tempo, mas alcançou o menor número de iterações de refinamento de execução para o código corrigido, indicando convergência estável.
  • Os loops de refinamento foram considerados mais críticos para o código corrigido do que para o código com erro, onde a lógica original está frequentemente disponível diretamente.

Significância e Alegações

O artigo afirma que o Reprodgen preenche uma lacuna de pesquisa crítica ao unificar síntese de dados fictícios, inferência de dependências, validação semântica e executabilidade. Ao contrário de sistemas anteriores que ou geram código funcional sem reproduzir o erro ou produzem patches não executáveis, o Reprodgen gera de forma confiável pares de erro-correção executáveis a partir de texto informal.

Os autores enfatizam que sua abordagem permite:

• Reprodução Fiel: A capacidade de reproduzir o exato comportamento defeituoso descrito em discussões informais, o que é um pré-requisito para depuração confiável e geração de patch automatizada.
• Benchmarking: A criação de um benchmark de alta confiança (ReprodgenBench) que permite a avaliação sistemática de LLMs em cenários de depuração realistas.
• Visão sobre as Limitações de LLMs: O estudo revela que, embora os LLMs se destaquem na compreensão textual e extração de intenção, eles ainda lutam com análise de código, inferência de dependências e geração de patches semanticamente corretos sem refinamento iterativo.

O artigo conclui que o Reprodgen fornece uma base reprodutível e extensível para pesquisas futuras em reprodução de bugs e reparo baseados em LLM para programas de ciência de dados, ao mesmo tempo em que reconhece que desafios permanecem no tratamento de contextos ambíguos e na garantia de alinhamento semântico perfeito sem intervenção humana.