Algorithm Unrolling-based Denoising of Multimodal Graph Signals

1. Il Problema

Il lavoro affronta la sfida del denoising (rimozione del rumore) di segnali grafici multimodali, tipici delle reti di sensori (es. IoT, monitoraggio ambientale).

• Contesto: I dati raccolti dai sensori spesso presentano due dimensioni di correlazione: una spaziale (relazioni tra i nodi della rete) e una modale (relazioni tra diverse caratteristiche misurate, come temperatura e umidità).
• Sfida principale: Esistono due problemi interconnessi:
  1. Il segnale osservato è corrotto dal rumore.
  2. Le strutture sottostanti (i grafi spaziale e modale) che definiscono le relazioni tra i dati non sono note a priori e devono essere stimate simultaneamente al processo di denoising.
• Limiti degli approcci esistenti: I metodi basati su modelli richiedono grafi predefiniti e iperparametri manuali. I metodi basati sui dati (Deep Learning) spesso non superano i metodi basati su modelli per la restaurazione dei segnali o richiedono grandi quantità di dati di addestramento. Inoltre, le tecniche esistenti per segnali multimodali assumono solitamente che i grafi siano già noti.

2. Metodologia Proposta

Gli autori propongono un metodo ibrido che combina l'ottimizzazione basata su modelli con l'apprendimento profondo tramite Deep Algorithm Unrolling (DAU).

A. Formulazione del Problema

Il problema è modellato come una minimizzazione alternata su un grafo doppio (twofold graph):

• Si assume che il segnale vero $X$ sia "liscio" (smooth) sia sul grafo spaziale $G_s$ che sul grafo modale $G_m$.
• L'obiettivo è minimizzare un funzionale di costo che include:
  1. Un termine di fedeltà ai dati (differenza tra segnale osservato e stimato).
  2. Termini di regolarizzazione per la liscietà del segnale su entrambi i grafi.
  3. Termini di regolarizzazione per l'apprendimento dei grafi stessi (promuovendo sparsità e connettività).

B. Algoritmo Iterativo (Alternating Minimization)

L'algoritmo risolve il problema non convesso dividendo l'iterazione in due blocchi principali, eseguiti alternativamente:

1. Aggiornamento del Segnale: Risolto in forma chiusa (closed-form) utilizzando la regolarizzazione di Tikhonov, che agisce come un filtro passa-basso sui grafi.
2. Apprendimento del Grafo: Risolto utilizzando l'algoritmo di Splitting Primale-Duale (PDS). Questo passo stima le matrici di adiacenza (o Laplaciane) per i grafi spaziale e modale basandosi sulla liscietà del segnale corrente.

C. Deep Algorithm Unrolling (DAU)

Per superare la necessità di tarare manualmente gli iperparametri (come i pesi di regolarizzazione $\alpha, \beta, \gamma$) e accelerare la convergenza:

• L'iterazione dell'algoritmo ottimizzato viene "srotolata" (unrolled) in una rete neurale profonda, dove ogni iterazione corrisponde a un layer.
• Gli iperparametri che governano l'algoritmo (es. i coefficienti di regolarizzazione) diventano parametri addestrabili appresi dai dati di training tramite backpropagation.
• Questo approccio riduce il numero di parametri da ottimizzare manualmente e permette al modello di adattarsi a distribuzioni di dati complesse che non rispettano rigorosamente le assunzioni teoriche del modello.

3. Contributi Chiave

1. Apprendimento Simultaneo: È il primo metodo proposto che esegue contemporaneamente il denoising di segnali multimodali e l'apprendimento dei grafi spaziali e modali sottostanti, senza assumere che i grafi siano noti.
2. Architettura Ibrida DAU-PDS: Integrazione efficace dell'algoritmo di splitting primale-duale all'interno di un framework di unrolling, permettendo di apprendere parametri specifici per ogni layer dell'iterazione.
3. Gestione della Multimodalità: Estensione della teoria dei segnali grafici a dati su grafi doppi, catturando correlazioni sia nello spazio che tra le modalità.
4. Riduzione della Sensibilità agli Iperparametri: Il metodo DAU automatizza la scelta dei parametri di regolarizzazione, superando i limiti dei metodi tradizionali che richiedono una taratura manuale complessa.

4. Risultati Sperimentali

Gli autori hanno testato il metodo (denominato MGSD-LLAP-DAU) su dataset sintetici e reali, confrontandolo con:

• Metodi basati su modelli (filtri passa-basso, kernel di diffusione, SVD).
• Metodi basati su Deep Learning (Autoencoder, GCN).
• Metodi ibridi precedenti (TGSR-DAU).

Risultati Quantitativi:

• Dataset Sintetici: Il metodo proposto ha ottenuto l'errore quadratico medio (RMSE) più basso in tutte le condizioni di rumore ($\sigma$ da 0.10 a 0.30), superando significativamente sia i metodi puramente basati su modelli che quelli basati su GCN.
• Dataset Reale (Clima Giapponese): Utilizzando dati di temperatura da 62 stazioni meteorologiche, il metodo ha dimostrato una superiorità netta, con un RMSE significativamente inferiore rispetto alle controparti (es. RMSE di 2.114 contro 4.072 del metodo TGSR-DAU per alto rumore).

Risultati Qualitativi e Analisi:

• Visualizzazione dei Grafi Appresi: L'analisi dei grafi appresi mostra che i primi layer tendono a creare connessioni globali (denoising globale), mentre i layer successivi affinano le connessioni locali.
• Interpretabilità: I grafi appresi sul dataset reale riflettono fedelmente la geografia (cluster regionali in Giappone) e la stagionalità (correlazione tra mesi simili), dimostrando che il modello impara strutture fisicamente significative.
• Stabilità: L'analisi della convergenza empirica mostra che l'errore RMSE diminuisce o rimane stabile all'aumentare dei layer, indicando che l'ottimizzazione alternata interna non diverge.

5. Significato e Impatto

Questo lavoro rappresenta un avanzamento significativo nell'elaborazione dei segnali grafici (GSP) per scenari reali complessi:

• Superamento del vincolo "Grafo Nota": Rimuove l'assunzione irrealistica che le strutture di correlazione siano sempre note, rendendo la tecnica applicabile a scenari IoT dinamici o dati con relazioni nascoste.
• Ponte tra Modelli e Dati: Dimostra come l'unrolling di algoritmi di ottimizzazione possa combinare la robustezza teorica dei metodi basati su modelli con la flessibilità e le prestazioni dei metodi basati sui dati.
• Efficienza Computazionale: Nonostante l'apprendimento simultaneo, l'uso di soluzioni in forma chiusa per l'aggiornamento del segnale e di PDS per i grafi mantiene il processo computazionalmente gestibile, con una convergenza rapida grazie all'addestramento dei parametri.

In sintesi, il paper propone una soluzione robusta e adattiva per la pulizia di dati complessi multimodali, capace di scoprire automaticamente le relazioni strutturali sottostanti mentre rimuove il rumore, superando le prestazioni degli stati dell'arte attuali.