yProv4DV: Reproducible Data Visualization Scripts Out of the Box

1. Problema Identificado

A visualização de dados é uma fase crítica na comunicação de resultados acadêmicos, especialmente em ciências que dependem de gráficos para apresentar descobertas. No entanto, existe uma lacuna significativa na reprodutibilidade:

• Falta de Contexto Completo: Gráficos são frequentemente compartilhados sem o código completo, dados de entrada, contexto de execução ou histórico de processamento necessários para reproduzir independentemente as figuras.
• Limitações das Soluções Atuais: As ferramentas existentes de reprodutibilidade focam em pipelines computacionais complexos ou sistemas de gerenciamento de fluxo de trabalho (workflow), que são excessivos para scripts de visualização leves e ad-hoc comuns na pesquisa.
• Barreira de Adoção: As bibliotecas de visualização em Python (como Matplotlib, Seaborn) incentivam scripts curtos e minimalistas. Integrar ferramentas de rastreamento de proveniência (provenance) nessas bibliotecas exige muitas modificações de código, o que desincentiva os pesquisadores.
• Risco de Perda de Rastreabilidade: Mesmo com versionamento de código (Git), as modificações ad-hoc para gerar variações de imagens muitas vezes não são rastreadas, tornando impossível reconstruir exatamente como uma figura específica foi gerada (quais parâmetros, qual versão exata do código, quais dados).

2. Metodologia e Arquitetura

O artigo propõe o yProv4DV, uma biblioteca Python leve projetada para capturar automaticamente o contexto de reprodutibilidade de scripts de visualização de dados com o mínimo de intervenção do usuário.

Princípios de Design:

• Camada de Runtime Transparente: Em vez de exigir um motor de fluxo de trabalho separado, o yProv4DV atua como uma camada de monitoramento que intercepta operações de arquivo durante a execução do script, sem alterar a lógica do código do usuário.
• Rastreamento Automático de Artefatos: O sistema classifica os recursos em três categorias:
  1. Entradas (Inputs): Arquivos acessados durante a execução (detectados automaticamente via funções compatíveis, como open(), ou registrados manualmente).
  2. Saídas (Outputs): Arquivos gerados pelo script (detectados automaticamente).
  3. Código Fonte: Todos os scripts Python e módulos locais responsáveis pela visualização.
• Geração de Proveniência: Utiliza o modelo de dados W3C PROV para descrever formalmente as relações entre a atividade (execução do script), entidades (arquivos) e agentes (usuário/ambiente).
• Empacotamento (Packaging): Organiza todos os artefatos (código, dados, metadados) em um diretório estruturado e gera um arquivo RO-Crate (Reproducible Object Crate) autocontido.

Funcionalidades Principais:

• Integração Mínima: O usuário apenas importa a biblioteca e chama yprov4dv.start_run().
• Diretivas Híbridas: Oferece detecção automática, mas permite o registro manual de arquivos específicos usando log_input() e log_output() para bibliotecas não suportadas ou casos especiais.
• Controle de Tamanho: Permite ignorar arquivos muito grandes (via parâmetro skip_files_larger_than) para evitar sobrecarga de armazenamento.
• Formatos de Saída: Gera metadados em PROV-JSON, gráficos em DOT e SVG, e o pacote final em RO-Crate.

3. Contribuições Chave

• Preenchimento de uma Lacuna Específica: O yProv4DV foca especificamente na reprodutibilidade de figuras em publicações científicas, um nicho negligenciado pelas ferramentas de fluxo de trabalho macro.
• Baixa Sobrecarga (Low Overhead): Permite que pesquisadores transformem scripts ad-hoc em workflows reprodutíveis com apenas uma linha de código adicional (start_run).
• Padronização e Interoperabilidade: Ao gerar artefatos compatíveis com W3C PROV e RO-Crate, garante que os dados sejam FAIR (Findable, Accessible, Interoperable, Reusable) e compatíveis com ferramentas de análise de proveniência existentes.
• Ciclo de Vida Completo: Captura não apenas o código e os dados, mas também o ambiente de execução (via requirements.txt), timestamps e hash do Git, permitindo a reexecução exata do script em outro ambiente.

4. Resultados e Exemplos

O artigo demonstra a eficácia da ferramenta através de:

• Caso de Uso Real (AIMP-Bench): A ferramenta foi utilizada em um repositório contendo mais de 300 treinamentos de Machine Learning para analisar o comportamento de diferentes GPUs. O yProv4DV gerou pacotes de reprodutibilidade para cada execução, permitindo a criação de relatórios com múltiplos gráficos, onde cada gráfico possui seu próprio "snapshot" reprodutível contendo os dados brutos, o código exato e o contexto de hardware.
• Geração de Grafos de Proveniência: Foi demonstrada a capacidade de gerar grafos visuais (DOT/SVG) que mapeiam claramente a relação entre os dados de entrada (ex: CSVs de uso de CPU/GPU), o script de execução e a imagem de saída final.
• Reprodutibilidade Simplificada: O artigo mostra que, ao receber um pacote RO-Crate gerado pelo yProv4DV, um outro pesquisador pode reexecutar o script (ajustando apenas caminhos de arquivo e ambiente) para regenerar a figura idêntica, validando a integridade do processo.

5. Significado e Impacto

• Transparência Científica: A ferramenta aumenta a integridade do relatório científico, facilitando a revisão por pares e estudos de replicação, pois elimina a ambiguidade sobre como uma figura foi gerada.
• Incentivo à Ciência Aberta: Ao reduzir a barreira técnica para a captura de proveniência, o yProv4DV incentiva pesquisadores a adotarem práticas de documentação sistemática sem abandonar seus fluxos de trabalho leves existentes.
• Evolução para FAIR: Contribui diretamente para a adesão aos princípios FAIR, tornando as saídas de visualização automaticamente interoperáveis e reutilizáveis a longo prazo.
• Futuro: O trabalho abre caminho para a integração com mais bibliotecas de visualização, melhorias em sistemas de arquivos grandes e interoperabilidade com repositórios de dados de pesquisa, posicionando-se como uma peça fundamental no ecossistema de ferramentas yProv.

Em resumo, o yProv4DV é uma solução prática e leve que resolve o problema da "caixa preta" na visualização de dados científica, garantindo que cada gráfico publicado venha acompanhado de todo o contexto necessário para sua verificação e reutilização.