DYNA-PRUNER: Input-Adaptive Data-Model Co-Pruning for Efficient and Scalable Spatio-Temporal Media Prediction

Sintesi Tecnica: DYNA-PRUNER

Definizione del Problema
La previsione spazio-temporale è fondamentale per applicazioni quali il nowcasting meteorologico e il monitoraggio del traffico urbano. Tuttavia, i moderni modelli di deep learning (CNN, RNN, Transformer) affrontano un'inefficienza fondamentale: impiegano un paradigma di computazione "densa" che elabora uniformemente tutti i pixel di input. Questo approccio ignora la ridondanza inerente ai dati spazio-temporali del mondo reale, dove vaste regioni (ad esempio, mari calmi o cieli sereni) contengono informazioni dinamiche trascurabili rispetto alle regioni attive localizzate (ad esempio, celle temporalesche). Di conseguenza, questi modelli sprecano significative risorse computazionali ed energia in aree a bassa informazione, creando un collo di bottiglia per l'implementazione in tempo reale su dispositivi edge con risorse limitate. Le tecniche di compressione esistenti, come il pruning statico dei pesi o la semplificazione dei dati stand-alone, non riescono a collegare dinamicamente la densità di informazione dell'input con il percorso computazionale attivo del modello.

Metodologia
Gli autori propongono Dyna-Pruner, un framework end-to-end per il co-pruning adattivo tra dati e modello. A differenza dei metodi statici, Dyna-Pruner genera dinamicamente sottoreti sparse su misura per la specifica densità di informazione di ogni campione di input.

• Meccanismo Core: Il framework utilizza un Meccanismo di Sincronizzazione dell'Importanza Condivisa (Shared-Importance Synchronization Mechanism). Un generatore di maschere leggero produce una Mappa di Punteggio di Importanza ($S$) continua dai dati di input. Questa mappa funge da ponte unificato per due azioni sincronizzate:
  1. Pruning dei Dati: Una Maschera dei Dati ($M_{data}$) viene derivata da $S$ per annullare le regioni spaziali ridondanti nell'input.
  2. Pruning del Modello: Una Maschera del Modello ($M_{weight}$) viene generata aggregando i punteggi di importanza all'interno dei campi recettivi delle unità strutturali (ad esempio, filtri convoluzionali). Le unità con bassa importanza aggregata vengono rimosse (pruned).
• Strategia di Addestramento: Per gestire la natura non differenziabile del masking discreto, il framework impiega una variabile proxy continua ($S$) durante l'addestramento, utilizzando lo Straight-Through Estimator (STE) per simulare la binarizzazione durante l'inferenza.
• Ottimizzazione: Il sistema è addestrato tramite una funzione obiettivo unificata che bilancia le prestazioni del task (ad esempio, MSE) con i vincoli di sparsità. La funzione di perdita include la perdita del task più termini di regolarizzazione L1 per la mappa del punteggio di importanza e per i punteggi di importanza delle unità, controllati dagli iperparametri $\lambda_d$ e $\lambda_w$.

Contributi Chiave

1. Framework Unificato: Il documento introduce il primo framework di pruning collaborativo dinamico che unifica la sparsificazione dei dati e la compressione strutturale del modello in un unico obiettivo ottimizzabile end-to-end, andando oltre la tradizionale compressione agnostica rispetto all'input.
2. Meccanismo di Sincronizzazione: Propone un nuovo meccanismo di sincronizzazione dell'importanza condivisa che consente l'adattamento per singolo input attraverso l'aggregazione del campo recettivo e l'addestramento basato su STE, garantendo che il modello concentri il budget computazionale esclusivamente sulle regioni fisicamente attive ad alto valore.
3. Validazione Empirica: Valutazioni estese dimostrano la capacità del framework di ridurre significativamente la complessità computazionale mantenendo un'elevata accuratezza di previsione su diverse architetture.

Risultati Sperimentali
Il framework è stato valutato su tre benchmark: WeatherBench (meteorologia a medio raggio), SEVIR (nowcasting) e TaxiBJ (traffico). È stato integrato con tre distinte architetture di backbone: SimVP (CNN), ConvLSTM (RNN) e TAU (Transformer).

• Efficienza: Dyna-Pruner ha ottenuto una riduzione fino al 70% dei FLOPs e un incremento di velocità di 2,5× nella latenza di inferenza su hardware NVIDIA Jetson AGX Orin.
• Accuratezza: Il metodo ha mantenuto un'accuratezza trascurabile, con errori di previsione che sono aumentati di meno dell'1–2% rispetto ai modelli densi.
• Confronto: Rispetto ai baseline di Model Pruning (MP) standard a livelli di sparsità simili, Dyna-Pruner ha superato significativamente tali modelli. Mentre il MP ha comportato degradazioni dell'accuratezza del 4–7%, Dyna-Pruner ha mantenuto la degradazione entro l'1–2%.
• Robustezza: Il framework ha dimostrato resilienza contro il rumore Gaussiano e i fallimenti simulati della maschera, superando i baseline di pruning casuale in condizioni rumorose.
• Generalità: L'approccio si è rivelato efficace su backbone CNN, RNN e Transformer, confermando la sua natura agnostica rispetto al modello.

Significatività e Rivendicazioni
Il documento afferma che Dyna-Pruner affronta il mismatch critico tra la computazione densa e la natura sparsa e dinamica dei dati spazio-temporali. Stabilendo un legame dinamico tra il contenuto informativo dell'input e il percorso computazionale attivo, il framework consente un'ottimizzazione automatizzata dell'architettura consapevole delle risorse. Gli autori sostengono che la sinergia tra la semplificazione dei dati e del modello sia più efficace rispetto alle tecniche di compressione isolate. Questo lavoro fornisce un paradigma pratico per l'implementazione di modelli predittivi ad alta fedeltà su dispositivi edge e sensori IoT, dove gli insight in tempo reale sono essenziali ma le risorse computazionali sono limitate.