Exploring the Garden of Forking Paths in Empirical Software Engineering Research: A Multiverse Analysis

Resumo Técnico: Explorando o Jardim dos Caminhos que se Dividem na Pesquisa de Engenharia de Software Empírica

1. O Problema: A Crise de Replicação e o "Jardim dos Caminhos que se Dividem"

O artigo aborda a crise de confiança na ciência, especificamente na Engenharia de Software (ES) Empírica e na mineração de repositórios de software (MSR). O problema central é a liberdade metodológica que os pesquisadores possuem ao processar dados, escolher operacionalizações e selecionar modelos estatísticos.

• Conceito Chave: Gelman e Loken descrevem essa liberdade como o "Jardim dos Caminhos que se Dividem" (Garden of Forking Paths). Embora as decisões sejam muitas vezes justificáveis individualmente, a vasta quantidade de escolhas possíveis permite que resultados divergentes (e até contraditórios) surjam do mesmo conjunto de dados e da mesma pergunta de pesquisa.
• Contexto MSR: Estudos em MSR frequentemente utilizam dados observacionais pós-hoc e modelos estatísticos não triviais (como Regressão de Descontinuidade no Tempo - RDiT), onde a flexibilidade analítica é alta, mas a robustez das conclusões é frequentemente questionada.

2. Metodologia: Análise Multiverso

Para quantificar a sensibilidade das conclusões às decisões metodológicas, os autores realizaram uma Análise Multiverso em um estudo MSR publicado ([7], Cassee et al., sobre o impacto da Integração Contínua - CI - em revisões de código).

• Abordagem: Em vez de testar apenas uma hipótese com um único pipeline, os autores mapearam sistematicamente todas as combinações de decisões analíticas plausíveis.
• Decisões Analíticas (9 Pontos Críticos): Foram identificados nove pontos de decisão, cada um com alternativas defensáveis:
  1. Criação de Séries Temporais: Número de períodos (36, 24, 18, 12) e resolução (7, 15, 30, 45 dias).
  2. Período de Instabilidade: Duração da exclusão de dados antes/depois da intervenção (ex: 0, 3.5, 15 dias).
  3. Agregação de Dados: Método de escalonamento (log natural, log10, original) e média (média, mediana).
  4. Precisão de Arredondamento: Dígitos de precisão (não modificado, 10, 5).
  5. Modelo Estatístico: Limiar de colinearidade (VIF: 2.5, 5) e algoritmo de ajuste (REML: verdadeiro/falso).
• Execução: O estudo original foi reexecutado em 3.072 universos distintos (combinações únicas das decisões acima), gerando 12.288 modelos RDiT no total.
• Métricas de Comparação: Os resultados de cada universo foram comparados com o estudo original e categorizados em quatro "buckets" (categorias):
  • Replicação Total: Significância e sinal idênticos.
  • Resultados Não Confirmados: Pelo menos uma afirmação não se sustenta.
  • Resultados Opostos: Sinal invertido ou significância onde não havia.
  • Falha no Ajuste do Modelo: Impossibilidade de ajustar o modelo aos dados.

3. Resultados Principais

Os resultados foram alarmantes e demonstraram uma fragilidade extrema das conclusões originais:

• Baixa Taxa de Replicação: Apenas 6 universos (0,2%) entre os 3.072 analisados reproduziram exatamente os resultados do estudo original.
• Divergência Massiva:
  • ~33% dos universos resultaram em resultados não confirmados (ausência de significância).
  • ~33% dos universos produziram resultados opostos (ex: tendência crescente vs. decrescente).
  • ~33% dos universos falharam em ajustar o modelo.
• Sensibilidade das Decisões:
  • Comprimento do Período: Foi a decisão mais impactante. Alterar o comprimento do período (ex: 7 dias vs. 45 dias) mudou o resultado em 86,3% dos casos.
  • Decisões Implícitas: Até decisões aparentemente triviais, como o número de dígitos de precisão para arredondamento, alteraram o resultado em 2% dos casos.
  • Curvas de Especificação: Mostraram que a escolha do modelo de tempo (RDiT) é altamente sensível; períodos mais curtos tendem a gerar mais resultados opostos ou falhas, enquanto períodos mais longos aumentam o ruído de fatores de confusão.

4. Contribuições Chave

1. Evidência Empírica de Fragilidade: O estudo fornece a primeira evidência sistemática na Engenharia de Software de que a liberdade metodológica pode levar a conclusões diametralmente opostas a partir dos mesmos dados, desafiando a validade de muitos estudos MSR existentes.
2. Ferramenta Prática (Análise Multiverso): Demonstra a viabilidade e o valor da análise multiverso como uma ferramenta no arsenal metodológico da ES para testar a robustez de descobertas antes da publicação.
3. Escada de Justificação de Escolhas Analíticas (JLAC): Os autores propõem um novo modelo conceitual, a Justification Ladder of Analytical Choices, para classificar a qualidade das justificativas para decisões metodológicas:
   • Nível 5 (Causal): Baseado em modelos causais ou teorias do domínio.
   • Nível 4 (Empírico): Justificado por propriedades dos dados, mas sem modelo causal explícito.
   • Nível 3 (Heurístico): Baseado em regras gerais ou heurísticas.
   • Nível 2 (Convencional): Baseado no que é comum na área.
   • Nível 1 (Implícito): Decisões feitas implicitamente (ex: padrões de software) sem consciência do pesquisador.
   • Observação: O estudo mostrou que a maioria das decisões em estudos RDiT atuais está nos níveis 1 a 3.
4. Classificação de Justificativas em RDiT: Mapeou decisões comuns em estudos de Regressão de Descontinuidade no Tempo (como escolha de período e janela de exclusão) para a JLAC, revelando que muitas são baseadas em convenções ou implícitas, sem fundamentação teórica robusta.

5. Significado e Implicações

• Alerta para a Comunidade: A riqueza dos dados em MSR, frequentemente vista como uma vantagem, é também uma fonte de perigo devido à alta liberdade analítica que gera.
• Mudança de Paradigma: Os autores defendem que estudos empíricos em ES devem passar de meras verificações de "checklist" de validade para uma justificação estruturada e transparente de cada decisão analítica.
• Recomendações Práticas:
  • Realizar análises de sensibilidade ou multiverso para validar a robustez das conclusões.
  • Elevar o nível de justificação das escolhas metodológicas (mover-se para a base causal ou empírica na JLAC).
  • Evitar decisões implícitas e documentar explicitamente por que certas alternativas foram descartadas.
  • Para estudos RDiT, definir diretrizes específicas de domínio para o comprimento do período e exclusão de instabilidade, em vez de seguir cegamente convenções.

Conclusão: O artigo serve como um aviso ("cautionary tale") de que a confiança nos resultados da Engenharia de Software Empírica diminui à medida que a liberdade do pesquisador aumenta. A adoção de práticas como a análise multiverso e a justificação rigorosa das escolhas analíticas é essencial para produzir ciência mais confiável e reprodutível.