Multimodal Signal Restoration with Signed Twofold Graph Learning

Riepilogo Tecnico: Ripristino di Segnali Multimodali con Apprendimento di Grafi Segnati a Doppia Faccia

Enunciato del Problema
I segnali multimodali nelle reti di sensori (ad esempio, video/audio simultanei o rilevamenti meteorologici) sono spesso imperfetti, soffrendo di rumore e valori mancanti. Un ripristino efficace (denoising e interpolazione) richiede di sfruttare le strutture sottostanti di questi segnali. L'"Ipotesi di Grafo a Doppia Faccia" (TGA) modella tali dati utilizzando due grafi distinti: un grafo spaziale che rappresenta le relazioni tra i sensori e un grafo modale che rappresenta le relazioni tra i diversi tipi di segnale.

I metodi esistenti di ripristino basati sulla TGA affrontano due limitazioni principali:

1. Conoscenza del Grafo: Molti approcci assumono che le strutture dei grafi siano note a priori o si affidano a reti profonde fortemente parametriche che richiedono grandi set di dati di addestramento, limitando l'applicabilità in scenari con scarsità di dati.
2. Vincoli Non Segnati: I metodi attuali modellano solo similarità positive tra coppie (grafi non segnati). Non riescono a catturare correlazioni intermodali negative (ad esempio, la correlazione inversa tra temperatura e precipitazioni), che sono naturalmente rappresentate da grafi segnati.

Metodologia
Gli autori propongono un metodo che esegue congiuntamente il ripristino del segnale e l'apprendimento di un grafo a doppia faccia (inclusi grafi modali segnati) attraverso un framework di stima della Massima A Posteriori (MAP) sotto un prior normale matriciale.

1. Formulazione Probabilistica:
   Il segnale multimodale $X \in \mathbb{R}^{N \times M}$ è modellato come una variabile casuale normale matriciale in cui il Laplaciano del grafo spaziale ($L_s$) e il Laplaciano del grafo modale ($L_m$) fungono rispettivamente da matrici di precisione riga per riga e colonna per colonna. L'obiettivo MAP accoppia la fedeltà ai dati con un termine di regolarizzazione che coinvolge la traccia di $L_m X^\top L_s X$.

2. Minimizzazione Alternata:
   Poiché l'ottimizzazione congiunta sul segnale $X$, $L_s$ e $L_m$ è non convessa, gli autori adottano una strategia di minimizzazione alternata:

   • Aggiornamento del Segnale: Con grafi fissi, l'aggiornamento del segnale si riduce alla risoluzione di un sistema lineare di tipo Sylvester. Questo viene risolto efficientemente utilizzando il metodo del Gradiente Coniugato (CG), evitando la formazione di grandi matrici strutturate di Kronecker.
   • Aggiornamento del Grafo Spaziale: Il grafo spaziale non segnato viene appreso minimizzando un sottoproblema convesso utilizzando l'algoritmo del Gradiente Ibrido Primal-Duale (PDHG).
   • Aggiornamento del Grafo Modale Segnato: Per gestire le correlazioni negative, il grafo modale è parametrizzato come un Laplaciano segnato $\bar{L} = S \circ L_m$, dove $S$ è una matrice di segno e $L_m$ codifica le grandezze.
     • Stima del Segno: Invece di stimare i segni tramite distanze tra coppie (che è sensibile al rumore), il metodo stima la struttura del segno dallo spazio degli autovettori dominante di una matrice kernel complementare $K = X^\top L_s X$ utilizzando l'iterazione del sottospazio. Ciò fornisce un rilassamento continuo compatibile con l'addestramento basato su gradienti.
     • Apprendimento della Grandezza: Le grandezze degli archi sono apprese tramite PDHG su un kernel modulato $K_{mag} = C \circ K$, dove $C$ è il surrogato continuo del segno.

3. Svolgimento (Unrolling) dell'Algoritmo Profondo:
   I solver iterativi (CG e PDHG) sono svolti in una rete neurale feedforward. Il numero di iterazioni interne è fissato, mentre gli iperparametri algoritmici (pesi di regolarizzazione, dimensioni del passo e coefficienti coniugati) sono promossi a parametri addestrabili a livello di strato. Ciò consente alla rete di essere addestrata end-to-end tramite backpropagation, adattando le forze di regolarizzazione alle statistiche specifiche del segnale in ogni strato.

Principali Contributi

• Framework di Apprendimento Congiunto: Una formulazione MAP unificata che ripristina simultaneamente segnali multimodali e apprende sia grafi spaziali che grafi modali.
• Integrazione di Grafi Segnati: Il primo metodo di ripristino basato sulla TGA capace di apprendere grafi modali segnati, catturando esplicitamente correlazioni intermodali negative tramite un estimatore di segno spettrale e un disaccoppiamento delle grandezze.
• Architettura Profonda Interpretabile: Una rete svolta che incorpora la struttura matematica del problema di ottimizzazione, garantendo interpretabilità mentre consente l'addestramento end-to-end dei parametri del solver.
• Scalabilità: Il metodo evita la costruzione esplicita di grandi matrici prodotto di Kronecker, affidandosi invece a prodotti matrice-vettore, rendendolo scalabile a grandi reti di sensori.

Risultati Sperimentali
Il metodo è stato valutato su segnali di grafo multimodali sintetici (dataset Normal Matriciale e Piecewise Smooth) e su un dataset meteorologico reale del Giappone (temperatura, pressione, umidità, durata della luce solare).

• Prestazioni: Il metodo proposto ha costantemente superato le linee di base (inclusi metodi basati su modelli come SVD, metodi guidati dai dati come GCN/AE e altri metodi svolti come TGSR-DAU e LLAP-DAU) su vari livelli di rumore e pattern di dati mancanti (sia casuali che strutturati).
• Studi di Ablazione:
  • Rimuovere la capacità di apprendere il grafo (utilizzando grafi vicini fissi) ha degradato significativamente le prestazioni, in particolare su dataset con strutture intermodali complesse.
  • Fissare il grafo modale a un semplice grafo percorso ha prodotto risultati competitivi solo quando i dati seguivano rigorosamente tale prior; le prestazioni sono diminuite quando la distribuzione dei dati si discostava.
  • L'addestramento completo svolto (apprendimento dei pesi di regolarizzazione) ha fornito una migliore robustezza sotto alto rumore rispetto al solver iterativo con parametri cercati tramite griglia.
• Applicazione nel Mondo Reale: Sul dataset meteorologico, il metodo ha raggiunto un Errore Quadratico Medio (MSE) inferiore e una varianza cross-fold inferiore rispetto alle linee di base. Il grafo modale appreso ha catturato con successo le note correlazioni negative fisiche (ad esempio, tra umidità e durata della luce solare), che le linee di base non segnate non sono riuscite a rappresentare.

Significato
Il paper afferma che, superando l'assunzione di grafi noti e relazioni non segnate, il metodo proposto offre una soluzione più robusta e adattabile per il ripristino di segnali multimodali. La capacità di apprendere correlazioni intermodali segnate è evidenziata come un avanzamento critico per le applicazioni in cui le variabili mostrano un comportamento anticorrelato. Inoltre, l'architettura svolta colma il divario tra ottimizzazione basata su modelli e apprendimento profondo, offrendo un approccio scalabile, interpretabile ed efficiente nei dati che non richiede set di addestramento massicci per apprendere implicitamente le strutture dei grafi.