Towards Automatically Inferring Constraints to Identify Implicit Assumptions in Data Analysis

Resumo Técnico: Em Direção à Inferência Automática de Restrições para Identificar Suposições Implícitas em Análise de Dados

Definição do Problema
Linguagens de análise de dados de alto nível (ex: R, Python) e ambientes de notebooks (ex: Jupyter, Quarto) são amplamente utilizadas por especialistas de domínio que frequentemente carecem de treinamento formal em engenharia de software. Consequentemente, artefatos de análise (scripts e notebooks) sofrem frequentemente de graves problemas de reprodutibilidade e reusabilidade. Estudos indicam que 65% a 77% dos artefatos analisados falham na execução devido a dependências ausentes, ordens de execução incorretas ou etapas de configuração não documentadas. Além disso, o reuso de código é dificultado pelo fato de que uma parte significativa dos trechos de código compartilhados são clones que não contêm lógica única, muitas vezes falhando quando aplicados a diferentes conjuntos de dados ou contextos.

Os autores enquadram essas dificuldades não meramente como bugs técnicos, mas como suposições implícitas feitas pelos autores originais. Essas suposições variam desde versões específicas de pacotes e restrições de interpretador até a forma esperada dos dados de entrada e etapas de configuração manual. Ferramentas existentes para reprodutibilidade abordam sintomas específicos (ex: reconstrução de ambiente ou linting), mas falham em fornecer uma abordagem unificada e sistemática para identificar, documentar e validar essas suposições implícitas, particularmente em relação às suas interações.

Metodologia
O artigo propõe uma perspectiva unificada que trata suposições implícitas como restrições de código que podem ser identificadas e tornadas explícitas através de análise estática. A metodologia central envolve:

1. Estrutura de Inferência de Restrições: Os autores diferenciam dois cenários de análise:

   • Análise Preemptiva: Realizada dentro do ambiente de execução original onde os dados e dependências são conhecidos. O objetivo é garantir que o script seja autossuficiente e esteja em conformidade com os princípios FAIR.
   • Análise Retroativa: Realizada quando o ambiente original é desconhecido ou os dados estão parcialmente disponíveis. O objetivo é inferir restrições para reconstruir ambientes executáveis ou validar o reuso em novos contextos (reprodução, replicação ou reuso).

2. Técnicas de Análise Estática: A abordagem utiliza interpretação abstrata e análise de fluxo de dados para inferir valores, tipos e dependências sem executar o código. Os autores utilizam o flowR, um framework de análise estática de programas para R, como uma prova de conceito de implementação.

3. Estratégia de Inferência de Três Etapas:

   • Inferindo Versões de Pacotes (A1–A3): O sistema identifica todas as dependências (bibliotecas carregadas diretamente, via :: ou indiretamente) e rastreia assinaturas de funções, uso de classes e inicialização de objetos globais. Ao comparar estes com as APIs de pacotes e árvores de dependências disponíveis, o sistema infere restrições mínimas de versão para pacotes e para o interpretador.
   • Identificando Interdependências de Scripts (A4, A7): Os autores propõem a construção de um grafo de dependência de programa para cada script, seguindo chamadas source explícitas e rastreando variáveis globais. Isso permite que o sistema vincule variáveis indefinidas a definições em outros scripts, identifique dependências de leitura/escrita de arquivos e determine ordens de execução topológica válidas.
   • Inferindo Expectativas de Forma de Dados (A5, A6, A8–A10): Usando novos domínios abstratos, o sistema rastreia a forma de data frames (nomes de colunas, tipos, contagens) conforme eles são manipulados. O sistema infere expectativas para funções estatísticas (ex: um teste t que requer um fator com dois níveis) e insere guardas dinâmicas (verificações) no artefato para validar a conformidade dos dados em tempo de execução.

Principas Contribuições

• Perspectiva Unificada: O artigo introduz "suposições implícitas" como um framework abrangente para categorizar desafios de reprodutibilidade em ciência de dados, indo além de correções isoladas para uma visão holística de restrições.
• Abordagem de Análise Estática: Propõe o uso de análise estática (especificamente interpretação abstrata) para inferir automaticamente essas suposições e transformá-las em restrições de código explícitas.
• Implementação de Prova de Conceito: Os autores fornecem uma implementação exploratória baseada no flowR. Eles avaliaram esta abordagem em 8.160 projetos reais de R (33.336 arquivos) coletados de repositórios como Zenodo e Harvard Dataverse.
• Descobertas Empíricas: A avaliação revelou que 14,6% dos projetos analisados contêm interdependências implícitas entre scripts, destacando a prevalência do problema que a metodologia visa resolver.

Resultos e Limitações
O artigo apresenta uma "prova de conceito" em vez de uma ferramenta de produção totalmente madura. A implementação inicial demonstra com sucesso a viabilidade de inferir requisições de bibliotecas, rastrear formas de data frames e identificar interdependências de scripts. No entanto, os autores reconhecem explicitamente limitações:

• Teorema de Rice: A inferência de suposições implícitas é inerentemente limitada pelo teorema de Rice, o que significa que uma solução universal é impossível; a abordagem depende de heurísticas derivadas da análise de artefatos reprodutíveis e irreprodutíveis.
• Escopo: A implementação atual foca em R, embora os autores argumentem que os desafios são independentes de linguagem.
• Humano no Ciclo (Human-in-the-Loop): O sistema pode detectar suposições que não consegue resolver automaticamente, exigindo intervenção humana.

Significância
Os autores afirmam que seu trabalho oferece uma perspectiva nova e unificada sobre a reprodutibilidade da análise de dados. Ao converter suposições silenciosas em restrições explícitas e legíveis por máquina, a abordagem visa:

1. Automatizar a Transformação: Converter scripts não executáveis em artefatos executáveis através da geração das especificações de ambiente necessárias.
2. Validação Dinâmica: Servir como verificações em tempo de execução para garantir que as condições de dados e ambiente sejam atendidas antes da execução.
3. Documentação Aprimorada: Atuar como documentação viva para apoiar a compreensão do código e o reuso em diferentes projetos e conjuntos de dados.

O artigo conclui que, embora a detecção de suposições implícitas seja um passo significativo, o trabalho futuro deve focar no refinamento de heurísticas, na expansão da cobertura para todos os tipos de suposições e na avaliação da utilidade dessas restrições através de estudos com usuários e fuzzing de conjuntos de dados.