A Reference Framework for Empirical Studies on LLM-Based Code Generation: A Review-Grounded Synthesis

Resumo Técnico: Um Framework de Referência para Estudos Empíricos sobre Geração de Código Baseada em LLM

Declaração do Problema
Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para geração de código e tarefas relacionadas à engenharia de software. No entanto, a avaliação empírica desses sistemas permanece fragmentada, criando barreiras significativas para a reprodutibilidade, comparabilidade e o acúmulo de evidências cumulativas. Os estudos existentes variam amplamente em suas tarefas, fontes de problemas, contextos de aplicação, atributos de qualidade, métricas, métodos empíricos, configurações de modelos, ambientes e artefatos gerados. Essa heterogeneidade torna difícil sintetizar descobertas entre estudos ou identificar práticas metodológicas comuns. Além disso, a engenharia de software baseada em LLM introduz desafios metodológicos únicos, incluindo saídas não determinísticas, versões de modelos em evolução, comportamento de modelo opaco, sensibilidade ao prompt e a necessidade de avaliar artefatos além da correção funcional. As diretrizes atuais para engenharia de software empírica são frequentemente insuficientes para esses desafios específicos, necessitando de orientação metodológica personalizada.

Metodologia
Para abordar essa lacuna, os autores realizaram uma revisão estruturada de estudos empíricos envolvendo LLMs em geração de código e tarefas relacionadas. A pesquisa seguiu um processo de síntese de baixo para cima (bottom-up) em vez de propor um framework a priori.

• Estratégia de Busca: Uma busca estruturada foi realizada na ACM Digital Library utilizando uma consulta booleana visando LLMs, geração de código/programação e avaliação empírica. A busca cobriu artigos publicados entre 2023 e 2025.
• Seleção: A busca inicial rendeu 75 artigos. Após a aplicação de critérios de inclusão e exclusão (focando em avaliações empíricas de geração de código, adaptação, reparo, teste, etc., enquanto excluía artigos de visão não empíricos), 32 artigos foram retidos. Três artigos adicionais foram identificados através de snowballing, resultando em um corpus final de 35 estudos.
• Extração de Dados: Para cada estudo, os autores extraíram e padronizaram dados relativos a tarefas de codificação, contextos de aplicação, fontes de problemas, atributos de qualidade, métricas de avaliação, métodos empíricos, configurações de LLM, saídas geradas e configurações comparativas.
• Síntese: Um processo de codificação de baixo para cima foi usado para identificar conceitos recorrentes dentro dos campos de extração. Esses conceitos foram agrupados em categorias de nível inferior e, então, abstraídos em dimensões de nível superior que ocorreram nos estudos revisados.

Principais Contribuições
O artigo apresenta cinco contribuições primárias:

1. Síntese de Práticas Empíricas: Um resumo abrangente das práticas empíricas encontradas em 35 estudos selecionados, incluindo experimentos controlados, avaliações de benchmark, mineração de repositórios, estudos com usuários e designs de métodos mistos.
2. Identificação de Dimensões Recorrentes: A identificação de nove grandes dimensões metodológicas: tarefas, fontes de problemas, contextos de aplicação, atributos de qualidade, métricas, métodos empíricos, configurações de modelo, ambientes e saídas geradas.
3. Proposta de Framework de Referência: A derivação de um framework de referência de baixo para cima composto por seis componentes principais para apoiar o design, o relato e a comparação de estudos empíricos sobre geração de código baseada em LLM.
4. Dataset de Rastreabilidade: O fornecimento de um dataset de rastreabilidade codificado vinculando os estudos revisados às dimensões do framework para apoiar a transparência e a futura síntese de evidências.
5. Aplicação Ilustrativa: Demonstrações de como o framework pode ser usado tanto retrospectivamente para mapear estudos existentes quanto prospectivamente para derivar novos designs de estudos empíricos.

Resultos e Componentes do Framework
A análise dos 35 estudos revelou uma variabilidade metodológica substancial. As práticas empíricas mais frequentes foram experimentos/avaliações controladas (23 estudos) e comparações de estratégia de prompt (22 estudos). O escopo de avaliação estende-se além da correção funcional para incluir eficiência, confiabilidade, segurança, justiça (fairness), conformidade de licença, qualidade de explicação e preocupações centradas no ser humano.

Com base na síntese, os autores propõem um framework de referência organizado em seis componentes principais:

1. Tarefa de Codificação: Captura a atividade sendo avaliada, incluindo tipo de tarefa (ex: geração geral, reparo, explicação), contexto de aplicação (ex: programação competitiva, segurança, ciência de dados) e fonte do problema (ex: benchmarks, repositórios, documentação).
2. Avaliação de Qualidade e Métricas: Define os atributos de qualidade (ex: correção, segurança, justiça) e as métricas específicas usadas para operacionalizá-los (ex: pass@k, tempo de execução, classificações humanas, taxas de vulnerabilidade).
3. Design de Pesquisa Empírica: Abrange a estrutura metodológica, incluindo o método de estudo (ex: experimento controlado, estudo com usuário), design experimental (hipóteses, variáveis), configuração comparativa (ex: LLM vs. Humano, entre modelos) e técnicas de análise de dados.
4. Ambiente: Captura as configurações computacionais e de execução, incluindo infraestrutura (nuvem, local), ambientes de execução/teste (Docker, online judges) e configurações humanas/organizacionais (salas de aula, estudos com usuários).
5. Configuração de LLM: Cobre seleção de modelo (proprietário vs. código aberto), estratégias de prompting (ex: chain-of-thought, recuperação de informação/RAG), ajuste de parâmetros (temperatura, amostragem) e estratégias de fluxo de trabalho (ajuste fino/fine-tuning, sistemas baseados em agentes).
6. Saída Gerada: Descreve os artefatos produzidos, variando de trechos de código e funções de nível de repositório até testes, patches, explicações e traços de interação.

Significância e Alegações
O artigo afirma que este framework serve como um vocabulário estruturado para descrever, comparar e projetar estudos empíricos. Não se pretende prescrever uma metodologia experimental única, mas sim tornar explícitas as dimensões de design dos estudos empíricos. Ao organizar o espaço de design empírico, o framework visa:

• Melhorar a consistência, comparabilidade e reprodutibilidade em avaliações futuras.
• Ajudar pesquisadores a identificar lacunas metodológicas e raciocinar sobre configurações de estudo compatíveis.
• Apoiar o planejamento de investigações empíricas melhor fundamentadas, tratando estudos como configurações de escolhas interdependentes em vez de avaliações de modelos isoladas.

Os autores enfatizam que o framework é uma estrutura de referência em evolução. Ele reflete o estado atual da literatura (2023–2025) e reconhece que refinamentos futuros podem ser necessários para abordar novos modelos, fluxos de trabalho de prompting e preocupações de avaliação. O framework é projetado para ser extensível, com trabalhos futuros planejados para modelar restrições de compatibilidade entre os componentes e desenvolver suporte de ferramentas para o design de estudos empíricos.