Efficiently Reproducing Distributed Workflows in Notebook-based Systems

Titolo: NBRewind: Riproduzione Efficiente di Flussi di Lavoro Distribuiti nei Sistemi Basati su Notebook

1. Il Problema

I notebook (es. Jupyter) sono diventati lo standard per lo sviluppo iterativo e la condivisione di analisi scientifiche, permettendo l'esecuzione modulare cella per cella. Tuttavia, l'integrazione di flussi di lavoro distribuiti (utilizzando librerie come Dask, Parsl o TaskVine) all'interno dei notebook presenta sfide critiche per la riproducibilità e l'efficienza:

• Perdita dello stato: Lo stato in memoria dei kernel distribuiti (es. dati intermedi di Dask) viene perso quando il notebook viene riavviato, condiviso con un collaboratore o spostato su un diverso cluster HPC.
• Riesecuzione totale inefficiente: Anche piccole modifiche al codice o ai parametri costringono spesso a una riesecuzione completa del flusso di lavoro end-to-end, anche se solo una parte del calcolo è stata effettivamente alterata.
• Limiti dei checkpoint esistenti: I metodi attuali offrono checkpointing manuale o a grana grossa che non distinguono quali calcoli distribuiti debbano essere rieseguiti. Un checkpoint completo comporta un elevato overhead di storage e non permette l'esecuzione parziale selettiva.

2. Metodologia: NBRewind

Gli autori presentano NBRewind, un sistema basato su un'architettura a doppio kernel (Audit e Repeat) progettato per abilitare l'esecuzione incrementale e riproducibile di flussi di lavoro distribuiti.

A. Architettura a Doppio Kernel

1. Kernel Audit (Audit Kernel):
   • Utilizzato durante lo sviluppo iterativo.
   • Esegue il notebook e crea checkpoint incrementali a livello di cella.
   • Intercetta l'esecuzione per rilevare le dipendenze di dati e ambiente.
   • Quando viene eseguito un flusso di lavoro distribuito, interagisce con il motore sottostante (es. TaskVine) per registrare un log delle task inviate.
2. Kernel Repeat (Repeat Kernel):
   • Utilizzato quando il notebook viene condiviso o rieseguito in un nuovo ambiente.
   • Ricostruisce lo stato completo di una cella combinando i checkpoint incrementali salvati.
   • Esegue un'analisi del flusso di dati per determinare quali task distribuite sono state invalidate da modifiche al codice o ai dati.
   • Riesegue selettivamente solo le task invalidate, riutilizzando i risultati intermedi memorizzati (memoization) per le task invariate.

B. Meccanismi Chiave

• Checkpointing Incrementale e Analisi delle Dipendenze:
  • Invece di salvare l'intero stato del processo (costoso), il sistema esegue un'analisi statica (AST) e dinamica per tracciare le variabili.
  • Utilizza un indice di memoria inverso per mappare gli indirizzi di memoria ai nomi delle variabili, identificando le variabili condivise (aliasing).
  • Salva solo le variabili il cui valore è cambiato o che sono state modificate transitivamente, riducendo drasticamente lo storage.
• Fingerprinting delle Task Distribuite:
  • Per le task distribuite, NBRewind calcola un "fingerprint" (hash) basato sul codice della funzione, sugli argomenti e sui file di input (hash SHA-256 dei contenuti).
  • Se il fingerprint di una task non è cambiato rispetto al log precedente, la task viene saltata e il risultato viene recuperato dalla cache.
  • Il sistema gestisce le sfide come le dipendenze non dichiarate e la non-deterministicità (es. UUID generati da Dask) attraverso tecniche di canonicalizzazione.
• Containerizzazione e Portabilità:
  • I checkpoint, i log delle task, i dati e l'ambiente vengono impacchettati in un "notebook container" (simile al concetto di "backpack"), garantendo che il flusso di lavoro sia riproducibile su cluster diversi.

3. Contributi Principali

1. Meccanismi di Checkpointing Incrementale: Introduzione di un sistema che salva lo stato del kernel a livello di cella, inclusi i risultati intermedi dei flussi di lavoro distribuiti, minimizzando l'overhead di storage.
2. Riesecuzione Parziale Selettiva: Progettazione di una struttura dati basata su hash per determinare il set minimo di task da rieseguire, permettendo di saltare calcoli non influenzati dalle modifiche.
3. Prototipo Funzionale: Implementazione dei kernel audit e repeat che integrano checkpointing automatico, memoization delle task distribuite e riesecuzione parziale, dimostrando la fattibilità su casi d'uso reali.

4. Risultati Sperimentali

Gli autori hanno valutato NBRewind su 5 notebook scientifici reali (fisica delle alte energie, analisi climatica, elaborazione immagini, ecc.) su un cluster HPC.

• Overhead di Audit: La fase di creazione dei checkpoint (Audit) introduce un overhead medio del 18% (variabile dal 1% al 42%), considerato accettabile dato il risparmio successivo.
• Riproduzione Senza Modifiche: Quando un notebook viene condiviso e rieseguito senza modifiche, NBRewind ottiene un speedup medio di 18.4x (fino a 46x in alcuni casi) rispetto all'esecuzione standard, ripristinando lo stato dai checkpoint e recuperando i risultati dalle cache delle task.
• Riesecuzione con Modifiche: In scenari di sviluppo iterativo con modifiche parziali, NBRewind riduce i tempi di esecuzione di un fattore medio di 2.08x.
  • Esempio: In un caso di analisi climatica (CTrend), l'aggiunta di 10 nuovi file CSV ha richiesto l'esecuzione di solo 20 task su 120, con un tasso di hit della cache dell'83.3%.
• Efficienza di Storage: L'uso della deduplicazione basata sui contenuti ha ridotto la dimensione dei checkpoint del 27.3% in media (fino al 57% nel caso di elaborazione immagini con array ripetuti).

5. Significato e Impatto

NBRewind risolve il compromesso tra interattività, riproducibilità ed efficienza nei notebook scientifici distribuiti.

• Collaborazione: Permette ai ricercatori di condividere notebook complessi con la certezza che i risultati possano essere riprodotti su infrastrutture diverse senza dover rieseguire giorni di calcolo.
• Sviluppo Iterativo: Abilita un ciclo di sviluppo più rapido, consentendo agli scienziati di modificare parametri o parti del codice senza perdere i risultati intermedi già calcolati.
• Scalabilità: Dimostra che è possibile gestire flussi di lavoro distribuiti su larga scala mantenendo la granularità necessaria per l'ottimizzazione delle risorse, un passo fondamentale per l'adozione diffusa dei notebook nell'High Performance Computing (HPC).

In sintesi, NBRewind trasforma i notebook da semplici strumenti di scripting in ambienti robusti per la scienza riproducibile e distribuita, riducendo significativamente il costo computazionale e di storage associato alla condivisione e alla verifica dei risultati scientifici.