Rethinking Artifact Evaluation for Software Engineering in the Age of Generative AI

Título do Artigo

Reavaliando a Avaliação de Artefatos para Engenharia de Software na Era da IA Generativa

1. O Problema

O processo de revisão por pares na pesquisa em Engenharia de Software (ES) enfrenta uma crise de alocação de atenção exacerbada pela Inteligência Artificial Generativa (IAG).

• Desequilíbrio de Esforço: A IAG reduziu drasticamente o esforço humano necessário para produzir narrativas de pesquisa polidas, bem estruturadas e contextualizadas na literatura. Consequentemente, revisores gastam tempo desproporcional avaliando a qualidade da escrita e a posição narrativa, aspectos que se tornaram menos indicativos de rigor científico.
• Falta de Foco na Substância: A avaliação da substância técnica (implementação correta, análise sólida, suporte de evidências) permanece intensiva em esforço e dependente de expertise humana. No entanto, na ES, essa substância é frequentemente codificada em artefatos (código, dados, scripts, infraestrutura experimental).
• Falha Estrutural: Os sistemas atuais de revisão tratam a avaliação de artefatos como um complemento opcional ou pós-aceitação, em vez de um componente central. Isso cria um incentivo perverso onde autores priorizam a "polimento" da narrativa (fácil com IAG) em detrimento do fortalecimento da base evidencial, enquanto os revisores negligenciam a verificação técnica profunda devido à falta de tempo e incentivos.

2. Metodologia

Este trabalho é uma posição paper (artigo de opinião fundamentado) que utiliza uma abordagem analítica e conceitual, em vez de um estudo empírico experimental.

• Análise de Incentivos: Os autores enquadram a revisão por pares como um "problema de alocação de atenção", analisando como as mudanças na tecnologia (IAG) alteraram o custo-benefício de diferentes tarefas de revisão.
• Revisão de Práticas Atuais: O artigo examina o estado da arte da avaliação de artefatos em principais conferências (como ICSE) e periódicos (como JSS), identificando lacunas entre as diretrizes existentes e a necessidade de evidência científica.
• Categorização de Contribuições: Utiliza-se uma taxonomia de tipos de contribuição em ES (Analítica, Empírica, Tecnológica, Metodológica e Perspectiva) para argumentar como a natureza da evidência varia e como os artefatos funcionam como evidência primária em diferentes contextos.
• Argumentação Lógica: Os autores constroem um caso lógico sobre a necessidade de realinhar os processos de revisão com a estrutura real da evidência na pesquisa de ES na era da IAG.

3. Principais Contribuições

O artigo propõe uma mudança de paradigma fundamental na forma como a pesquisa em Engenharia de Software é avaliada:

1. Artefatos como Evidência Primária: A tese central é que a avaliação de artefatos deve ser tratada como um componente de primeira classe da revisão por pares. Em muitos casos (especialmente em trabalhos empíricos e tecnológicos), o artefato não é apenas ilustrativo, mas a própria evidência que valida as afirmações do artigo.
2. Reconceitualização de Artefatos em Estudos Qualitativos: O artigo expande a definição de artefato para incluir, em estudos qualitativos onde a transparência total é inviável (por privacidade), amostras de evidências sanitizadas e ilustrações de procedimentos de análise de dados.
3. Diagnóstico do Desequilíbrio de Incentivos: Identifica que o sistema atual recompensa a "polidez narrativa" (facilitada pela IAG) e penaliza o investimento em artefatos robustos, pois a avaliação destes é opcional e desconectada da decisão de aceitação.
4. Preparação para Avaliação Assistida por IA: Argumenta que elevar o status dos artefatos prepara o campo para o futuro, onde sistemas de IA poderão realizar verificações técnicas preliminares (como validar pipelines experimentais ou consistência entre afirmações e resultados), algo mais difícil de automatizar em textos narrativos.

4. Resultados e Propostas

O artigo não apresenta resultados experimentais numéricos, mas sim conclusões estruturais e propostas de ação:

• Mudança de Foco: A revisão deve deslocar o foco da crítica narrativa (que a IAG pode ajudar a corrigir) para a investigação profunda da substância técnica contida nos artefatos.
• Revisão de Incentivos: Para que isso funcione, a avaliação de artefatos deve ser integrada ao ciclo de decisão de aceitação, e não tratada como um selo opcional pós-aceitação. Isso exigiria realocar o tempo dos revisores, substituindo tarefas de menor valor (como revisão de gramática ou estrutura básica) pela verificação de artefatos.
• Riscos Identificados: Os autores alertam para o risco de confundir "polimento de engenharia" (artefatos bem documentados e automatizados) com "valor evidencial". A avaliação deve focar na capacidade do artefato de permitir a verificação de pressupostos e análises, e não apenas na sua estética ou infraestrutura.
• Adaptação por Tipo de Contribuição: A exigência de artefatos deve ser sensível ao tipo de papel. Trabalhos conceituais ou de perspectiva podem depender menos de artefatos executáveis, enquanto trabalhos empíricos e tecnológicos dependem deles criticamente.

5. Significância

A significância deste trabalho é crítica para o futuro da credibilidade da pesquisa em Engenharia de Software:

• Manutenção do Rigor Científico: À medida que a IAG torna a produção de textos convincentes mais barata, a única barreira restante para a fraude ou pesquisa de baixa qualidade é a verificação técnica profunda. Ignorar isso levaria a uma erosão da confiança na ciência da área.
• Evolução do Processo de Revisão: O artigo oferece um roteiro para a evolução da revisão por pares, transformando-a de um processo focado em texto para um processo focado em evidência executável e inspecionável.
• Sustentabilidade da Comunidade: Ao tratar artefatos como evidência primária, a comunidade incentiva a reprodutibilidade e a reutilização reais, combatendo a "crise de reprodutibilidade" e garantindo que o progresso acumulado na área seja baseado em fundamentos sólidos, e não apenas em narrativas bem escritas.

Em suma, o artigo defende que, na era da IA Generativa, a avaliação de artefatos deve deixar de ser um acessório e tornar-se o núcleo da avaliação de rigor científico em Engenharia de Software.