Can Causality Cure Confusion Caused By Correlation (in Software Analytics)?

Título: A Causalidade Pode Curar a Confusão Causada pela Correlação na Análise de Software?

Autores: Amirali Rayegan e Tim Menzies (North Carolina State University)
Contexto: Registered Report (Relatório Registrado) submetido para revisão por pares na área de Engenharia de Software.

---

1. O Problema: Instabilidade e Confusão entre Correlação e Causalidade

A análise de software moderna depende fortemente de modelos simbólicos (como árvores de decisão) para tarefas explicáveis, como previsão de defeitos, ajuste de configuração e avaliação de qualidade. No entanto, esses modelos enfrentam dois problemas críticos:

1. Limitação Correlacional: A maioria dos modelos utiliza critérios de divisão baseados em correlação (redução de variância, ganho de informação, impureza de Gini). Eles identificam associações estatísticas, mas não distinguem entre:
   • Causação direta ($X \rightarrow Y$).
   • Causação reversa ($Y \rightarrow X$).
   • Confundimento ($Z \rightarrow X$ e $Z \rightarrow Y$), onde uma terceira variável cria uma associação espúria.
2. Instabilidade (O Fenômeno "Shaky Structures"): Estudos recentes mostram que tanto os modelos puramente correlacionais quanto os algoritmos de descoberta causal pura sofrem de alta instabilidade. Pequenas perturbações nos dados (como mudanças na semente aleatória ou amostragem) levam a estruturas de árvores radicalmente diferentes e a conclusões contraditórias (ex: em uma versão do software "Linha de Código causa Bugs", em outra "Bugs causam Linha de Código").

Essa instabilidade mina a confiança, a reprodutibilidade e a utilidade prática das explicações geradas por IA na engenharia de software.

2. Metodologia

O estudo propõe uma investigação empírica para determinar se a incorporação de critérios de divisão conscientes da causalidade pode melhorar a estabilidade dos modelos sem sacrificar o desempenho preditivo ou de otimização.

Dados e Escopo

• Repositório MOOT: Utilização de mais de 120 tarefas de otimização multiobjetivo do repositório MOOT, cobrindo domínios variados (configuração de software, nuvem, saúde de projetos, modelos de features, dados financeiros e de saúde).
• Linhas de Base:
  • EZR (Correlacional): O framework EZR, que gera árvores de decisão pequenas e interpretáveis baseadas em redução de variância (correlação pura).
  • Modelo Causal Proposto: Uma variante que utiliza critérios de divisão baseados em Entropia Condicional e Filtragem de Confundidores.

Abordagem Técnica

1. Critério de Divisão Causal: Em vez de apenas maximizar o ganho de informação, o modelo calcula a entropia condicional $H(Y|X)$. A pontuação causal é normalizada como $H(Y|X) / H(Y)$. Valores mais baixos indicam que $X$ explica bem a variabilidade de $Y$.
2. Proteção "Backdoor" (Filtragem de Confundidores): Antes de construir a árvore, o algoritmo identifica e remove variáveis que atuam como confundidores. Se a associação entre $X$ e $Y$ desaparece quando condicionada a uma terceira variável $Z$ (padrão $Z \rightarrow [X, Y]$), $X$ é tratado como espúrio e removido.
3. Protocolo de Avaliação:
   • Bootstrap-Ensemble: Para cada conjunto de dados, são treinadas múltiplas árvores (20 iterações) com perturbações de amostragem.
   • Métrica de Estabilidade: Mede-se a variância nas atribuições de "win-score" (qualidade da solução) e na seleção de características entre as iterações.
   • Comparação Humana vs. Automática: Um estudo com especialistas do domínio (SMEs) é realizado para comparar a estabilidade das intuições humanas sobre causalidade com a estabilidade dos modelos automatizados.

Perguntas de Pesquisa (RQs)

• RQ1: A estabilidade de julgamentos humanos sobre causalidade é superior à de modelos baseados em correlação?
• RQ2: A incorporação de critérios de divisão causais produz resultados mais estáveis do que os critérios correlacionais tradicionais?
• RQ3: Existe uma compensação (trade-off) entre a melhoria na estabilidade e a perda de desempenho na otimização ou previsão?

3. Contribuições Principais

1. Novo Critério de Divisão para Árvores de Decisão: Propõe-se um método que integra a lógica de descoberta causal (filtragem de confundidores e entropia condicional) diretamente na construção de árvores de decisão simbólicas, adaptado para otimização multiobjetivo.
2. Protocolo de Avaliação de Estabilidade Rigoroso: O estudo estabelece um protocolo pré-registrado (bootstrap-ensemble) para medir a consistência de modelos explicativos em cenários de engenharia de software, comparando diretamente modelos automatizados com o consenso de especialistas humanos.
3. Análise de Trade-offs: O trabalho visa quantificar se a busca por explicações causalmente robustas compromete a eficácia prática (otimização de configurações), preenchendo uma lacuna entre a teoria causal e a aplicação prática em SE.
4. Validação em Grande Escala: A avaliação abrange mais de 120 conjuntos de dados heterogêneos, oferecendo evidências robustas sobre a generalização desses métodos.

4. Resultados Esperados e Significância

Nota: Como este é um "Registered Report" (relatório registrado), o texto descreve o plano experimental e as hipóteses, não os resultados finais numéricos. No entanto, o significado do estudo é claro:

• Significância Prática: Se a abordagem causal demonstrar maior estabilidade, ela oferece um caminho para gerar explicações de IA que são confiáveis e consistentes, essenciais para engenheiros de software tomarem decisões críticas de configuração e gestão de qualidade.
• Impacto na Confiança: Ao reduzir a divergência de explicações causadas por ruído de amostragem, o estudo busca restaurar a confiança dos praticantes nas análises de dados.
• Superação do Dilema Correlação vs. Causalidade: O estudo testa a hipótese de que é possível obter o melhor dos dois mundos: a interpretabilidade e eficiência das árvores de decisão, com a robustez causal necessária para evitar conclusões espúrias.

Conclusão do Artigo:
O artigo argumenta que a dependência exclusiva de correlações em modelos simbólicos é uma fonte primária de instabilidade e confusão na análise de software. Ao integrar mecanismos de filtragem causal (como a proteção backdoor) e critérios de entropia condicional, os autores propõem uma via para criar modelos que não apenas preveem bem, mas que fornecem explicações estáveis e mecanicamente válidas, alinhando-se melhor com a intuição humana e as necessidades de reprodutibilidade da comunidade de Engenharia de Software.