Resumo Técnico: Aplicações de Causalidade em Testes de Software

Declaração do Problema

À medida que os sistemas de software crescem em complexidade por meio de componentes interativos, comportamentos adaptativos e elementos orientados a dados, o teste tradicional enfrenta desafios significativos. Estes incluem a ausência de oráculos confiáveis, comportamentos de entrada-saída intrincados e a dificuldade de interpretar resultados sob efeitos de confusão e correlações espúrias. Um problema fundamental é a incapacidade de distinguir relações causais genuínas de meras associações estatísticas. O teste e a depuração tradicionais frequentemente dependem de sinais correlacionais de rastros de execução, que podem ser distorcidos por confundidores ocultos, levando a conclusões que carecem de interpretabilidade e confiabilidade. Enquanto a inferência causal oferece um framework principista para raciocinar sobre causa e efeito em vez de apenas correlação, sua adoção no teste de software permanece fragmentada entre diferentes tarefas e comunidades de pesquisa, carecendo de uma análise sistemática de como ela se posiciona, quais técnicas são utilizadas e onde residem as lacunas.

Metodologia

Este estudo emprega uma metodologia de revisão rápida seguindo as diretrizes de Cartaxo et al. e complementada pelas técnicas de backward e forward snowballing recomendadas por Wohlin.

• Estratégia de Busca: As consultas foram realizadas nas bases ACM Digital Library, IEEE Xplore, Scopus e SpringerLink para estudos revisados por pares publicados entre 2010 e 2025. As strings de busca combinaram termos relacionados a teste/verificação/validação de software com causalidade/inferência causal/grafos causais.
• Processo de Seleção: As consultas iniciais renderam 373 artigos únicos. Após a triagem de títulos, resumos e textos completos contra os critérios de inclusão/exclusão, 14 estudos foram retidos. O snowballing adicionou mais 13, resultando em um conjunto de dados final de 27 estudos primários.
• Framework Analítico: Os autores sintetizaram a literatura utilizando um pipeline de inferência causal em camadas fundamentado no framework de Modelos Causais Estruturais (SCM) de Pearl. Esta taxonomia organiza as técnicas em quatro estágios:
  1. Representação Causal
  2. Descoberta de Estrutura Causal
  3. Identificação Causal
  4. Estimativa de Efeito Causal
• Extração de Dados: Dois autores extraíram dados independentemente sobre o papel funcional da inferência causal, fases de teste, técnicas, suposições e limitações, resolvendo divergências por meio de discussão.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Síntese Sistemática: Apresenta a primeira revisão rápida estruturada de 27 estudos primários na interseção entre inferência causal e teste de software.
2. Taxonomia em Camadas: Propõe uma perspectiva de quatro camadas (representação, descoberta, identificação, estimativa) e as mapeia para fases específicas de teste (design, execução, interpretação, depuração).
3. Análise de Risco: Identifica riscos metodológicos recorrentes entre as camadas que afetam a validade e a escalabilidade.
4. Agenda de Pesquisa: Esboça direções fundamentais para o avanço dos métodos causais em testes de software com base nos padrões e lacunas atuais.

Resultados

1. Posicionamento da Inferência Causal (RQ1)

• Papéis Funcionais: A inferência causal serve primariamente como um mecanismo de melhoria para técnicas existentes (ex: melhorar a localização de falhas). Um subconjunto menor a utiliza como uma fundação metodológica para o framework de teste, e um número limitado a reformula o próprio teste como um problema de inferência causal.
• Fases de Teste: A integração é mais comum na Interpretação de Resultados e na Depuração, onde o raciocínio causal ajuda a distinguir correlações espúrias e realizar a análise de causa raiz. Menos estudos integram a inferência causal no Design de Teste ou na Execução de Teste.

2. Técnicas e Suposições (RQ2)

A revisão categoriza as técnicas no pipeline de quatro camadas:

• Representação: Utiliza Modelos Causais Estruturais (SCMs), Grafos Acíclicos Dirigidos (DAGs) e Grafos de Dependência de Programa (PDGs) para codificar dependências.
• Descoberta: Emprega métodos baseados em restrições, baseados em escore e potencializados por intervenção para inferir grafos a partir de dados quando as estruturas não são predefinidas.
• Identificação: Utiliza critérios gráficos (backdoor, d-separação) e intervenções explícitas (perturbação de entrada, injeção de falhas, mutação) para definir estimandos válidos.
• Estimativa: Aplica métodos estatísticos e de ML (Regressão, Double Machine Learning, Variáveis Instrumentais, Contrafatuais) para quantificar efeitos como o Efeito Médio do Tratamento (ATE) ou o Efeito Médio do Tratamento Condicional (CATE).

Suposições Subjacentes: A aplicação dessas técnicas depende de suposições rigorosas, incluindo adequação do modelo causal, estabilidade estrutural, fidelidade (faithfulness), ausência de confundimento não medido e bem-definição do tratamento.

3. Desafios e Limitações (RQ3)

A revisão identifica quatro camadas de riscos:

• Risco de Representação: Dependência do modelo e lacunas de abstração. Traduzir a semântica do programa para variáveis causais frequentemente leva a grafos mal especificados devido a variáveis omitidas ou mapeamento incorreto de dependência para causalidade.
• Risco de Descoberta: Incerteza estrutural e problemas de escalabilidade. A descoberta automática tem dificuldade com falhas esparsas, dependências cíclicas e alta sobrecarga computacional em sistemas grandes.
• Risco de Identificação: Suposições não verificáveis e restrições de intervenção. Estados ocultos e execuções parcialmente observáveis tornam o controle de confundimento difícil. Além disso, as intervenções necessárias (ex: injeção de falhas) podem ser inviáveis ou inseguras.
• Risco de Estimativa: Suporte limitado e sensibilidade do modelo. Casos de falha esparsos e dados desbalanceados levam a estimativas de alta variância ou viesadas. Os resultados são altamente sensíveis às escolhas de modelagem e à qualidade dos dados.
• Generalização: Muitos estudos dependem de pequenos benchmarks ou simulações, deixando incerta a aplicabilidade a sistemas reais de grande escala.

4. Lacunas de Pesquisa e Direções (RQ4)

Os autores propõem uma agenda de pesquisa focada em:

• Representação Automatizada: Desenvolver mapeamentos sistemáticos da estrutura do programa para variáveis causais para reduzir erros de modelagem.
• Descoberta Escalável: Criar métodos que lidem com casos de falha limitados e dados ruidosos em sistemas grandes, potencialmente integrando conhecimento de domínio.
• Intervenções Práticas: Projetar estratégias de intervenção viáveis e seguras para ambientes reais.
• Estimativa Robusta: Melhorar a estimativa sob dados incompletos e confundidores ocultos através de detecção de incerteza e coleta de dados adaptativa.
• Validação: Estabelecer benchmarks mais amplos, relatórios de incerteza mais claros e melhor integração nos fluxos de trabalho de depuração.

Significância

O artigo afirma que, embora a inferência causal ofereça um framework principista para o teste de software, seu impacto prático é atualmente limitado pela má especificação do modelo, suposições de identificação fortes, limitações de escalabilidade e falta de validação no mundo real. Ao organizar o trabalho existente através de uma perspectiva de inferência causal em camadas, esta revisão fornece uma base estruturada para o trabalho empírico e metodológico futuro. O objetivo é unificar contribuições díspares e guiar a comunidade para o desenvolvimento de metodologias de teste causal mais robustas, escaláveis e empiricamente fundamentadas.