On the Abolition of the "ICSE Paper" and the Adoption of the "Registered Proposal" and the "Results Report"

Resumo Técnico: Sobre a Abolição do "Artigo ICSE" e a Adoção da "[Proposta] Registrada" e do "[Relatório de Resultados]"

Definição do Problema
O artigo identifica duas crises críticas e interligadas que assolam a comunidade de pesquisa em engenharia de software (ES): uma crise de replicabilidade e um "ciclo vicioso de novidade".

• Crise de Replicabilidade: Existe uma incapacidade generalizada de reproduzir resultados, particularmente evidente em campos como aprendizado de máquina para detecção de vulnerabilidades, onde novos artigos frequentemente invalidam descobertas anteriores. Dados de pesquisas indicam que pesquisadores frequentemente removem código ou dados após a publicação, e cadeias de ferramentas complexas dificultam a replicação.
• Ciclo Vicioso de Novidade: O atual modelo de publicação prioriza a "novidade" (novas ferramentas, conjuntos de dados ou técnicas) em detrimento do "rigor" e da validação. Isso cria um ciclo de feedback onde:
  • Revisores rejeitam estudos de replicação ou resultados negativos porque não são "novos".
  • Grupos estabelecidos dominam a literatura, criando um ambiente elitista onde o desafio às normas estabelecidas é desencorajado.
  • Pesquisadores focam em "exemplos de brinquedo" (toy examples) e melhorias incrementais para garantir a publicação, resultando em ferramentas que são inutilizáveis na prática industrial.
  • A comunidade falha em consolidar o conhecimento, levando a um corpo de pesquisa raso com relevância industrial limitada.

Metodologia
Os autores não apresentam novos dados empíricos ou uma nova ferramenta de software. Em vez disso, o artigo é um artigo de posição (position paper) que propõe uma reforma estrutural do ecossistema de publicação. A metodologia baseia-se em:

1. Análise de Pesquisa: Os autores analisam as respostas da pré-pesquisa "Futuro da Engenharia de Software" (Storey & van der Hoek, 2026) e discussões do canal do Discord da comunidade. Eles extraem temas específicos sobre a tensão entre novidade e rigor, e a marginalização da replicação.
2. Proposta Conceitual: Com base nesses achados qualitativos, os autores propõem um novo modelo de publicação de dois níveis para substituir o tradicional "artigo ICSE" (onde ideia, metodologia e validação são realizadas pelos mesmos autores).

Principais Contribuições: O Sistema de Dois Níveis
A principal contribuição é a proposta de abolir o formato padrão de artigo técnico para as trilhas principais e substituí-lo por dois tipos distintos de publicações de primeira classe:

1. [Proposta] Registrada:

   • Foco: Novidade e Rigor Metodológico.
   • Conteúdo: Os autores submetem uma nova ideia de pesquisa, uma hipótese e um plano detalhado de análise/experimental antes de realizar o trabalho.
   • Critérios de Revisão: Os revisores avaliam a novidade da ideia e a solidez da metodologia proposta. O artigo argumenta que a expectativa de resultados deve ser removida nesta fase; a proposta é julgada pelo seu potencial de preencher lacunas identificadas por resultados negativos passados ou justificativas teóricas.
   • Resultado: Se aceita, a proposta é apresentada, e a "corrida" para validá-la começa.

2. [Relatório de] Resultados:

   • Foco: Rigor e Validação.
   • Conteúdo: Qualquer pesquisador (não apenas os proponentes originais) pode submeter um relatório detalhando a execução do experimento de validação baseado em uma [Proposta] Registrada anteriormente aceita.
   • Formato: São artigos mais curtos (potencialmente ponteiros de meia página para a proposta) que focam estritamente na execução e nos resultados, complementados por artefatos.
   • Inclusividade: Crucialmente, este nível permite que múltiplas equipes independentes validem a mesma proposta. Isso injeta a replicação diretamente no fluxo de publicação, em vez de tratá-la como uma reflexão posterior.
   • Resultado: O sistema espera que a maioria das validações independentes falhe em confirmar a proposta original. Somente aquelas propostas que sobrevivem à validação independente e rigorosa de múltiplas equipes são consideradas robustas o suficiente para adoção industrial.

Resultados e Alegações
Como um artigo de posição, os autores não relatam resultados experimentais de seu próprio sistema. Em vez disso, apresentam as seguintes alegações e expectativas baseadas em sua análise:

• Desacoplamento de Novidade e Rigor: O sistema proposto separa a validação de "novas ideias" (Proposta) da validação da "verdade" (Relatório de Resultados), abordando o conflito onde os revisores atualmente exigem ambos simultaneamente.
• Democratização da Validação: Ao permitir que "qualquer um" submeta um Relatório de Resultados, o sistema quebra o monopólio de grupos estabelecidos. Ele remove a necessidade de "autorização" de pesquisadores famosos para desafiar trabalhos existentes.
• Tratamento de Resultados Negativos: O sistema valoriza explicitamente resultados negativos ou conflitantes como pontos de dados informativos que medem a robustez, em vez de descartá-los como falhas.
• A Regra das "Duas Implementações Independentes": Os autores traçam um paralelo com a regra do IETF para adoção de RFC (exigindo duas implementações interoperáveis independentes). Eles argumentam que a adoção industrial só deve seguir quando pelo menos dois grupos independentes validarem com sucesso uma Proposta Registrada.
• Mitigação do Problema do "Disco Rígido Perdido": Ao exigir que múltiplas equipes executem o mesmo protocolo, o risco de perda de dados (por exemplo, um pós-doutor perdendo um disco rígido) é exponencialmente reduzido, garantindo a sobrevivência de dados válidos.

Significância
O artigo afirma que sua significância reside em oferecer uma solução "audaciosa" e "disruptiva" para o estagnação do campo de ES. Argumenta que a cultura atual de perseguir a novidade às custas da consolidação tornou a pesquisa em ES "rasa" e desconectada da prática industrial. Ao institucionalizar a separação entre proposta e validação, os autores visam:

• Transformar a comunidade de orientada por tendências para cumulativa.
• Criar uma cultura onde pesquisadores emergentes se sintam seguros para desafiar ideias estabelecidas sem medo de barreiras (gatekeeping).
• Garantir que apenas soluções provadas robustas por replicação independente cheguem à prática industrial.

Os autores reconhecem que sua proposta é uma hipótese baseada no sentimento da comunidade e que ela pode falhar em entregar seus objetivos, mas afirmam que é um passo necessário para abordar o fenômeno do "pós-doutor que perdeu o disco rígido" e restaurar a confiança na engenharia de software empírica.