Towards Improving the External Validity of Software Engineering Experiments with Transportability Methods

Resumo Técnico: Melhorando a Validade Externa de Experimentos em Engenharia de Software com Métodos de Transportabilidade

1. O Problema

A Engenharia de Software (ES) depende fortemente de experimentos controlados para validar relações causais entre variáveis (validade interna). No entanto, esses experimentos enfrentam um dilema crítico de validade externa:

• Dificuldade de Recrutamento: É difícil e caro recrutar uma amostra representativa de profissionais de ES (o público-alvo).
• Viés de Amostragem: Como consequência, os pesquisadores frequentemente recorrem a amostras pequenas ou substitutos mais acessíveis, como estudantes universitários.
• Deslocamento de Covariáveis (Covariate Shift): A distribuição de características dos participantes no experimento (ex: anos de experiência) difere significativamente da distribuição na população-alvo real.
• Consequência: Quando uma covariável (como a experiência) atua como um modificador do efeito do tratamento (ou seja, o tratamento funciona de forma diferente para iniciantes vs. experientes), os resultados do experimento não generalizam corretamente para a população real, comprometendo a utilidade prática das descobertas científicas.

Embora métodos estatísticos para "transportar" resultados de uma amostra para uma população-alvo existam na inferência causal médica, eles ainda não foram adotados na pesquisa em Engenharia de Software.

2. Metodologia

O artigo propõe a adoção de métodos de transportabilidade, que combinam dados experimentais (controlados) com dados observacionais (maiores e mais representativos) para estimar o Efeito Médio do Tratamento (ATE) na população-alvo.

Pré-condições (Assumções):
Para que a transportabilidade funcione, o artigo define sete precondições (baseadas em Colnet et al.):

• A1-A4: Requisitos fundamentais para experimentos válidos (Consistência, Randomização, Ignorabilidade na participação, Troca média).
• A5 (Ignorabilidade da amostra para efeitos de tratamento): O efeito do tratamento deve ser independente da elegibilidade para o experimento, dado o conhecimento de todas as covariáveis relevantes ($X$).
• A6 (Transportabilidade do ATE condicional): O ATE condicional em cada estrato de $X$ deve ser o mesmo na amostra experimental e na população-alvo.
• A7 (Positividade): Todo sujeito na população-alvo deve ter uma probabilidade não nula de ser incluído no experimento (nenhum estrato de $X$ pode ter probabilidade zero de amostragem).

Abordagens de Estimativa:
O artigo foca em duas classes de fórmulas de identificação para recuperar o ATE ($\tau$) a partir do ATE do ensaio ($\tau_1$) e da distribuição de covariáveis na população-alvo:

1. Reponderação (Reweighting): Utiliza o IPSW (Inverse Probability of Sampling Weighting). Atribui pesos aos dados experimentais baseados na probabilidade de um sujeito pertencer à população-alvo versus a amostra experimental. Sujeitos "raros" na amostra, mas comuns na população, recebem maior peso.
2. Regressão (Plug-in g-formula): Ajusta modelos de regressão separados para os grupos de controle e tratamento usando as covariáveis $X$, e aplica esses modelos a todos os pontos de dados observacionais da população-alvo para calcular a diferença média.

3. Contribuições Principais

O artigo é um "paper de visão" que oferece quatro contribuições chave:

1. Descrição Conceitual: Uma explicação de alto nível sobre métodos de transportabilidade e suas precondições necessárias no contexto de ES.
2. Simulação de Validação: Uma demonstração prática via simulação computacional para provar a eficácia dos métodos.
3. Cenários de Aplicação: Identificação de três áreas críticas em ES onde a transportabilidade é vital:
   • Experiência dos Participantes: Resolver o debate sobre o uso de estudantes como substitutos de profissionais.
   • Propriedades do Sistema: Lidar com artefatos de software não representativos (ex: projetos de estudantes vs. sistemas industriais).
   • Complexidade da Tarefa: Ajustar resultados de tarefas experimentais simplificadas para a complexidade do mundo real.
4. Roteiro e Diretrizes: Um plano prático para a comunidade de ES adotar essas técnicas.

4. Resultados da Simulação

Os autores realizaram uma simulação onde:

• Cenário: Um experimento avaliando o uso de IA Generativa na detecção de defeitos. A "experiência" ($X$) era um modificador do efeito (IA ajuda mais iniciantes) e havia um deslocamento de covariáveis (a amostra experimental tinha muitos iniciantes, a população-alvo tinha mais experientes).
• Comparação: Quatro métodos foram testados para recuperar o ATE verdadeiro (16.7):
  1. Diferença de médias (baseline).
  2. Regressão linear com termo de interação.
  3. Estimador IPSW (Transportabilidade).
  4. Fórmula g-formula (Transportabilidade).
• Achados:
  • A diferença de médias superestimou drasticamente o efeito (devido ao viés de ter muitos iniciantes na amostra).
  • A regressão linear melhorou, mas ainda superestimou, pois assumiu uma interação linear, enquanto o efeito real era não-linear.
  • Os métodos de transportabilidade (IPSW e g-formula) conseguiram recuperar o ATE verdadeiro com precisão.
  • A fórmula g-formula mostrou-se superior em termos de precisão e robustez (menor variância) em comparação ao IPSW, que apresentou instabilidade quando os pesos de amostragem se tornaram extremos.

5. Significado e Implicações

A adoção de métodos de transportabilidade representa um avanço significativo para a pesquisa em Engenharia de Software:

• Validação Prática: Permite que resultados de experimentos controlados (muitas vezes feitos com estudantes) sejam generalizados com rigor estatístico para a população profissional, aumentando a confiança na transferência de conhecimento para a prática.
• Otimização de Recursos: Orienta os pesquisadores a focarem em recrutar um pequeno número de participantes "difíceis" (ex: seniores) para cobrir o espectro de covariáveis, em vez de recrutar apenas muitos participantes fáceis (estudantes), sabendo que os dados observacionais podem preencher a lacuna.
• Rigor Metodológico: Força a comunidade a identificar explicitamente quais covariáveis moderam os efeitos causais e a operacionalizá-las corretamente (ex: definir "experiência" de forma válida).
• Transparência: Permite delimitar claramente os limites da generalização de um estudo (ex: "os resultados são válidos para profissionais com até 30 anos de experiência, pois não houve amostragem além disso").

Em suma, o artigo estabelece as bases teóricas e práticas para que a Engenharia de Software supere a limitação histórica de validade externa, utilizando dados observacionais para "corrigir" e transportar os resultados de experimentos controlados para o mundo real.