Efficiently Reproducing Distributed Workflows in Notebook-based Systems

1. O Problema

Os notebooks (como Jupyter) tornaram-se ambientes padrão para o desenvolvimento iterativo de workflows científicos distribuídos, utilizando bibliotecas como Dask, Parsl e TaskVine. No entanto, existem desafios críticos na reprodutibilidade e compartilhamento desses workflows:

• Perda de Estado: O estado intermediário de um workflow distribuído (variáveis em memória, conexões de cluster, resultados parciais) é perdido quando o notebook é fechado, reiniciado ou compartilhado com um colaborador em um cluster diferente.
• Reexecução Ineficiente: Pequenas alterações no código ou parâmetros frequentemente forçam a reexecução completa do workflow (do início ao fim), desperdiçando recursos computacionais e tempo.
• Limitações das Soluções Atuais:
  • Checkpointing Manual: Sistemas existentes oferecem checkpoints grosseiros e manuais, não projetados para workflows distribuídos.
  • Trade-off Reprodutibilidade vs. Otimização: Técnicas de otimização para workflows distribuídos geralmente sacrificam a reprodutibilidade, enquanto métodos de reprodutibilidade (como salvar o estado completo do kernel) geram um custo de armazenamento proibitivo e não permitem a reexecução parcial inteligente.
  • Falta de Granularidade: Não há mecanismos para checkpointar computações distribuídas dentro de uma única célula ou reutilizar resultados anteriores enquanto reexecuta apenas a parte modificada.

2. Metodologia: O Sistema NBRewind

O NBRewind é um sistema de kernel de notebook projetado para execução eficiente e reprodutível de workflows distribuídos. Ele adota uma arquitetura de dois kernels distintos:

A. Kernel de Auditoria (audit)

Utilizado durante o desenvolvimento iterativo no cluster de origem (Host).

• Checkpointing Incremental por Célula: Em vez de salvar o estado completo do kernel após cada célula, o sistema realiza um checkpoint incremental.
  • Análise Estática (AST): Analisa a Árvore de Sintaxe Abstrata para identificar variáveis lidas ou escritas.
  • Rastreamento Dinâmico de Dependências: Utiliza um índice reverso de memória para mapear referências de memória a nomes de variáveis. Isso detecta variáveis compartilhadas (aliasing) e dependências transitivas, garantindo que apenas os objetos alterados ou compartilhados sejam persistidos.
  • Deduplicação: Identifica e elimina entradas duplicadas entre checkpoints consecutivos para reduzir o armazenamento.
• Auditoria de Tarefas Distribuídas: Intercepta o gerenciador de workflow distribuído (ex: TaskVine) para registrar um log de tarefas.
  • Fingerprinting (Impressão Digital): Gera um hash único para cada tarefa baseado no código da função, argumentos e hashes de conteúdo dos arquivos de entrada.
  • Cache de Resultados: Armazena os arquivos de saída intermediários das tarefas distribuídas.

B. Kernel de Repetição (repeat)

Utilizado quando o notebook é compartilhado e executado em um novo ambiente (Target).

• Reconstrução de Estado: Reconstroi o estado de qualquer célula combinando os checkpoints incrementais salvos.
• Reexecução Seletiva (Parcial):
  • Verifica se o código da célula mudou. Se não mudou, restaura a saída do checkpoint.
  • Para tarefas distribuídas, compara o "fingerprint" da tarefa atual com o log de auditoria.
  • Se o fingerprint for idêntico (código e dados de entrada inalterados), o sistema reproduz o resultado do cache sem reexecutar a tarefa.
  • Apenas as tarefas inválidadas (devido a mudanças no código ou dados) são reexecutadas.

C. Empacotamento e Portabilidade

O sistema integra-se a esforços de padronização (como "notebook backpacks") para criar contêineres que encapsulam o notebook, dependências, checkpoints, logs de tarefas e dados intermediários, garantindo portabilidade entre diferentes clusters HPC.

3. Principais Contribuições

1. Mecanismos de Checkpointing Incremental e Reexecução Parcial: Introdução de técnicas para células que contêm tanto workflows de nó único quanto distribuídos, permitindo salvar apenas o necessário e reexecutar apenas o afetado.
2. Estrutura de Dados Baseada em Hash: Projeto de uma estrutura eficiente para determinar o conjunto mínimo de tarefas que devem ser reexecutadas, utilizando fingerprinting de código e dados.
3. Protótipo Funcional: Implementação dos kernels audit e repeat que realizam checkpointing automático, memoização de tarefas distribuídas e reexecução parcial, demonstrando viabilidade prática.

4. Resultados e Avaliação

O sistema foi avaliado em 5 notebooks reais de domínios científicos (Física de Alta Energia, MapReduce, Convolução de Imagem, RAG e Análise Climática) em um cluster SLURM.

• Overhead de Auditoria: O modo de auditoria adicionou um overhead médio de 18% (variando de 1% a 42%) devido ao checkpointing e logging. Este custo é considerado insignificante comparado aos ganhos na reexecução.
• Reexecução sem Modificações (Reprodutibilidade): Ao reexecutar um notebook sem alterações, o NBRewind obteve um aceleração média de 18.4x (chegando a 46.2x em casos como DConv). Isso ocorre porque o sistema restaura checkpoints de células e reexecuta tarefas do cache, eliminando a computação redundante.
• Reexecução com Modificações (Desenvolvimento Iterativo): Ao modificar partes do workflow, o sistema obteve uma aceleração média de 2.08x (chegando a 4.41x).
  • Exemplo: No workflow de tendências climáticas (CTrend), a adição de 10 novas estações meteorológicas exigiu a execução de apenas 20 novas tarefas, enquanto 100 tarefas existentes foram recuperadas do cache (taxa de acerto de 83.3%).
• Eficiência de Cache: A taxa média de acerto de cache de tarefas foi de 75.1%. O desempenho depende da estrutura do DAG: adição de novos dados (ramificações independentes) gera altas taxas de cache; modificações em funções iniciais do DAG podem invalidar tarefas subsequentes.
• Overhead de Armazenamento: O checkpointing incremental com deduplicação reduziu o tamanho do armazenamento de estado do kernel em 27.3% em média (chegando a 57% de redução no caso DConv).

5. Significância

O NBRewind resolve uma lacuna crítica na computação científica moderna: a capacidade de iterar rapidamente sobre workflows distribuídos complexos sem perder a reprodutibilidade ou incurrir em custos computacionais excessivos.

• Colaboração Científica: Permite que cientistas compartilhem notebooks completos com todo o estado intermediário e logs de tarefas, permitindo que colaboradores em diferentes clusters reproduzam resultados exatos ou continuem o trabalho a partir de um ponto específico, sem precisar reprocessar dados brutos.
• Eficiência de Recursos HPC: Reduz drasticamente o tempo de espera em filas de jobs e o consumo de energia ao evitar reexecuções desnecessárias de tarefas distribuídas.
• Inovação Técnica: Diferencia-se de trabalhos anteriores ao unificar checkpointing de nível de aplicação, deduplicação de conteúdo e virtualização de dependências, focando especificamente na otimização de desempenho de reexecução para workflows distribuídos, algo que soluções anteriores não abordavam de forma integrada.

Em resumo, o NBRewind transforma notebooks de meros ambientes de prototipagem em sistemas robustos para o ciclo de vida completo de workflows distribuídos, equilibrando interatividade, eficiência e rigor científico.