LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda

1. Declaração do Problema

A Engenharia de Software Empírica (ESE) enfrenta desafios crescentes relacionados à escala de dados, complexidade metodológica e reprodutibilidade. Embora os Modelos de Linguagem de Grande Porte (LLMs) tenham surgido como ferramentas poderosas para tarefas de engenharia de software (por exemplo, geração de código), sua aplicação como instrumentos metodológicos para apoiar o próprio processo de pesquisa (por exemplo, coleta de dados, análise, síntese) permanece fragmentada.

A literatura atual carece de uma síntese sistemática de:

• Quais tarefas específicas de pesquisa em ESE e fases do ciclo de vida os LLMs suportam.
• Como os LLMs são integrados em fluxos de trabalho empíricos (automação versus augmentação).
• Os benefícios, limitações e riscos relatados (por exemplo, alucinações, viés).
• A extensão em que os estudos relatam detalhes necessários para reprodutibilidade (prompts, configurações, validação).

Sem essa síntese, os pesquisadores não podem avaliar criticamente a confiabilidade dos fluxos de trabalho assistidos por LLMs ou estabelecer diretrizes para adoção responsável.

2. Metodologia

Os autores conduziram uma Revisão Sistemática da Literatura (RSL) seguindo diretrizes estabelecidas para estudos secundários em engenharia de software.

• Escopo e Período: Artigos revisados por pares publicados entre 2020 e 2025.
• Veículos: 12 principais veículos de engenharia de software (classificados CORE A*/A), incluindo conferências (ICSE, FSE, MSR, ESEM, etc.) e periódicos (TSE, EMSE, IST, etc.).
• Estratégia de Busca: Devido à dificuldade de capturar o uso metodológico de LLMs apenas por meio de palavras-chave em títulos/resumos, os autores:
  1. Baixaram as atas completas dos 12 veículos (8.641 artigos).
  2. Aplicaram filtragem por palavras-chave em texto completo (por exemplo, "LLM", "IA Generativa", "ChatGPT", "Prompt").
  3. Realizaram triagem manual de 1.882 artigos contra critérios de inclusão/exclusão.
• Critérios de Seleção:
  • Inclusão: Estudos onde LLMs suportam/automatizam tarefas de pesquisa em ESE (triagem, codificação, síntese) OU estudos que examinam empiricamente LLMs dentro de um contexto de ESE.
  • Exclusão: Estudos que utilizam LLMs exclusivamente para desenvolvimento geral de software (por exemplo, ferramentas de geração de código) sem componente de pesquisa empírica.
• Conjunto de Dados Final: 50 estudos primários foram selecionados para análise aprofundada.
• Análise de Dados:
  • Qualitativa: Codificação descritiva de tarefas, análise temática de benefícios/limitações e mapeamento para fases do ciclo de vida da pesquisa.
  • Quantitativa: Análise de frequência de tarefas, modelos e práticas de relato.
  • Avaliação de Reprodutibilidade: Avaliada contra 9 diretrizes de transparência (por exemplo, relato de versões de modelos, prompts, validação humana).

3. Principais Contribuições

1. Taxonomia de Tarefas Assistidas por LLM: Identificação de 69 tarefas distintas suportadas por LLMs, abstraídas em funções funcionais (por exemplo, Classificador Semântico, Triador Baseado em Critérios, Avaliador).
2. Mapeamento do Ciclo de Vida: Análise de como os LLMs são distribuídos ao longo do ciclo de vida da pesquisa em ESE (Planejamento, Coleta de Dados, Processamento, Análise, Relato).
3. Padrões de Integração: Caracterização dos modos de envolvimento de LLMs: Automação, Augmentação, Suporte à Decisão e Avaliação.
4. Síntese de Benefícios e Limitações: Um mapa temático de vantagens relatadas (eficiência, escalabilidade) e riscos (alucinações, sensibilidade a prompts, questões de reprodutibilidade).
5. Auditoria de Reprodutibilidade: Uma avaliação das práticas de relato, revelando lacunas significativas na transparência (por exemplo, prompts ou detalhes de configuração ausentes).
6. Agenda de Pesquisa: Um roteiro para trabalhos futuros focando na colaboração humano-IA, sistemas agentes e relato padronizado.

4. Principais Resultados

A. Tarefas e Funções (RQ1)

• Funções Dominantes: Os LLMs são utilizados principalmente para Classificação (17 tarefas), Triagem/Filtragem (14 tarefas) e Avaliação (11 tarefas).
• Funções Subutilizadas: Raciocínio complexo, abstração interdomínio e análise integrativa são raramente explorados.
• Contexto: As tarefas são majoritariamente estruturadas e bem definidas (por exemplo, classificar mensagens de commit, triar títulos de artigos).

B. Fases de Pesquisa (RQ2)

• Concentração: O uso de LLMs está fortemente concentrado nas fases de Processamento de Dados e Análise e Síntese.
• Métodos: Mais prevalentes em Mineração de Repositórios de Software (MSR) e Experimentos Controlados/Estudos de Caso.
• Lacunas: Adoção limitada nas fases de Planejamento e Design e Relato.

C. Modos de Integração (RQ3)

• Dominância da Automação: 60,9% das tarefas são totalmente automatizadas (o LLM executa a tarefa com intervenção humana mínima).
• Colaboração Limitada: Apenas 18,8% são de Augmentação (o LLM auxilia o humano) e 1,5% são de Suporte à Decisão (o LLM sugere opções para escolha humana).
• Implicação: Os LLMs são atualmente usados para substituir etapas de tomada de decisão em vez de apoiar o raciocínio humano.

D. Benefícios e Limitações (RQ4)

• Benefícios: Citados principalmente como Ganhos de Eficiência (redução de esforço manual) e Escalabilidade (manipulação de grandes conjuntos de dados). O desempenho analítico (compreensão semântica) também é altamente valorizado.
• Limitações:
  • Cognitivas/Conhecimento: Alucinações, erros de classificação e falta de compreensão de domínio.
  • Sensibilidade à Entrada: Alta dependência de engenharia de prompts; pequenas alterações nos prompts produzem resultados diferentes.
  • Reprodutibilidade: Inconsistência nos outputs e falta de formatação estável.
  • Lacuna de Relato: Muitos estudos (29/50) não relataram limitações; os benefícios são frequentemente assumidos em vez de validados empiricamente dentro do estudo.

E. Reprodutibilidade (RQ5)

• Deficiências no Relato: Embora as versões dos modelos sejam frequentemente relatadas, detalhes críticos estão ausentes:
  • Prompts: Frequentemente incompletos ou ausentes.
  • Configurações: Temperatura, limites de tokens e justificativa para configurações são frequentemente omitidos.
  • Validação: Procedimentos de validação humana raramente são descritos em detalhes.
• Conclusão: As práticas atuais de relato são insuficientes para reproduzir análises empíricas assistidas por LLMs.

5. Significado e Agenda de Pesquisa

Significado:
Este artigo estabelece a primeira visão abrangente de LLMs como instrumentos de pesquisa na ESE. Destaca uma desconexão crítica: enquanto os LLMs oferecem potencial transformador para escalabilidade, a adoção atual é centrada na automação, específica de tarefas e metodologicamente opaca. A falta de transparência ameaça a validade e a reprodutibilidade das descobertas empíricas.

Agenda de Pesquisa Proposta:
Os autores delineiam uma transição de "automação" para "colaboração" e "descoberta":

1. Colaboração Humano-IA: Ir além da automação total para fluxos de trabalho interativos com humanos no loop, onde os LLMs fornecem sugestões em vez de decisões finais.
2. IA Agente: Explorar sistemas agentes capazes de planejar fluxos de trabalho de múltiplas etapas, uso de ferramentas e raciocínio iterativo.
3. Suporte à Descoberta: Investigar LLMs para geração de hipóteses, análise exploratória e descoberta de padrões novos.
4. Expansão do Ciclo de Vida: Estender o suporte de LLMs às fases de Planejamento (design do estudo) e Relato.
5. Padronização: Estabelecer e impor diretrizes rigorosas de relato (prompts, configurações, validação) para garantir reprodutibilidade.
6. Diversificação: Reduzir a dependência de uma única família de modelos (por exemplo, ChatGPT) para melhorar a validade externa.

Em resumo, o artigo argumenta que, para a ESE assistida por LLM amadurecer, a comunidade deve ir além de tratar os LLMs como simples ferramentas de automação e, em vez disso, desenvolver frameworks rigorosos, transparentes e colaborativos que os integrem de forma responsável ao método científico da engenharia de software.