Multimodal Signal Restoration with Signed Twofold Graph Learning

Technische Samenvatting: Multimodale Signaalherstel met Getekende Tweevoudige Graph Learning

Probleemstelling
Multimodale signalen in sensornetwerken (bijvoorbeeld simultane video/audio of meteorologische metingen) zijn vaak onvolmaakt en lijden onder ruis en ontbrekende waarden. Effectief herstel (ruisreductie en interpolatie) vereist het benutten van de onderliggende structuren van deze signalen. De "Tweevoudige Graph-Annname" (TGA) modelleert dergelijke data met twee onderscheiden grafen: een ruimtelijke graaf die relaties tussen sensoren weergeeft en een modale graaf die relaties tussen verschillende signaaltypes weergeeft.

Bestaande op TGA gebaseerde herstelmethoden staan voor twee primaire beperkingen:

1. Graph-kennis: Veel benaderingen gaan ervan uit dat de graafstructuren a priori bekend zijn of vertrouwen op zwaar geparametriseerde diepe netwerken die grote trainingsdatasets vereisen, wat de toepasbaarheid beperkt in scenario's met een tekort aan data.
2. Ongetekende beperkingen: Huidige methoden modelleren alleen positieve paarsgewijze gelijkenissen (ongetekende grafen). Ze kunnen geen negatieve intermodale correlaties vastleggen (bijvoorbeeld de anti-correlatie tussen temperatuur en neerslag), die van nature worden weergegeven door getekende grafen.

Methodologie
De auteurs stellen een methode voor die gezamenlijk signaalherstel en tweevoudige graph learning (inclusief getekende modale grafen) uitvoert via een Maximum A Posteriori (MAP) schattingskader onder een matrixnormale prior.

1. Probabilistische Formulering:
   Het multimodale signaal $X \in \mathbb{R}^{N \times M}$ wordt gemodelleerd als een matrixnormale stochastische variabele waarbij de ruimtelijke graaf-Laplaciaan ($L_s$) en de modale graaf-Laplaciaan ($L_m$) dienen als respectievelijk rij- en kolomgewijze precisiematrices. De MAP-doelfunctie koppelt datagetrouwheid aan een regularisatieterm die de trace van $L_m X^\top L_s X$ omvat.

2. Alternatieve Minimalisatie:
   Aangezien de gezamenlijke optimalisatie over het signaal $X$, $L_s$ en $L_m$ niet-convex is, hanteren de auteurs een strategie van alternatieve minimalisatie:

   • Signaalupdate: Met vaste grafen reduceert de signaalupdate tot het oplossen van een lineair systeem van het Sylvester-type. Dit wordt efficiënt opgelost met de Conjugate Gradient (CG) methode, waarbij het vormen van grote Kronecker-gestructureerde matrices wordt vermeden.
   • Ruimtelijke Graph-update: De ongetekende ruimtelijke graaf wordt geleerd door een convex sub-probleem te minimaliseren met het Primal-Dual Hybrid Gradient (PDHG) algoritme.
   • Getekende Modale Graph-update: Om negatieve correlaties te hanteren, wordt de modale graaf geparametriseerd als een getekende Laplaciaan $\bar{L} = S \circ L_m$, waarbij $S$ een tekenmatrix is en $L_m$ de groottecodes encodeert.
     • Teken Schatting: In plaats van tekens te schatten via paarsgewijze afstanden (wat ruisgevoelig is), schat de methode de tekenstructuur vanuit de dominante eigenruimte van een complementaire kernelmatrix $K = X^\top L_s X$ met behulp van subspace iteratie. Dit biedt een continue relaxatie die compatibel is met gradiëntgebaseerde training.
     • Grootte Learning: De randgroottecodes worden geleerd via PDHG op een gemoduleerde kernel $K_{mag} = C \circ K$, waarbij $C$ de continue teken-subsraat is.

3. Diep Algoritme Ontvouwen:
   De iteratieve oplosmethoden (CG en PDHG) worden ontvouwd tot een feedforward neuronaal netwerk. Het aantal binnenste iteraties is vast, terwijl algoritmische hyperparameters (regularisatiegewichten, stapgroottes en conjugatiecoëfficiënten) worden gepromoveerd tot laagsgewijs trainbare parameters. Dit stelt het netwerk in staat om end-to-end te worden getraind via backpropagation, waarbij de regularisatiesterktes worden aangepast aan de specifieke signaalstatistieken op elke laag.

Belangrijkste Bijdragen

• Gezamenlijk Leerkader: Een geünificeerde MAP-formulering die simultaan multimodale signalen herstelt en zowel ruimtelijke als modale grafen leert.
• Integratie van Getekende Grafen: De eerste op TGA gebaseerde herstelmethode die in staat is getekende modale grafen te leren, door expliciet negatieve intermodale correlaties vast te leggen via een spectrale teken-schatter en ontkoppeling van groottecodes.
• Interpreteerbare Diepe Architectuur: Een ontvouwd netwerk dat de wiskundige structuur van het optimalisatieprobleem inbedt, wat interpretatie garandeert terwijl het end-to-end training van oplosparameters toelaat.
• Schaalbaarheid: De methode vermijdt de expliciete constructie van grote Kronecker-productmatrices en vertrouwt in plaats daarvan op matrix-vectorproducten, waardoor het schaalbaar is voor grote sensornetwerken.

Experimentele Resultaten
De methode werd geëvalueerd op synthetische multimodale graphsignalen (Matrix Normal en Piecewise Smooth datasets) en een real-world Japanse meteorologische dataset (temperatuur, druk, luchtvochtigheid, zonneschijnduur).

• Prestaties: De voorgestelde methode presteerde consistent beter dan baselines (inclusief modelgebaseerde methoden zoals SVD, datagedreven methoden zoals GCN/AE, en andere ontvouwen methoden zoals TGSR-DAU en LLAP-DAU) over verschillende ruisniveaus en patronen van ontbrekende data (zowel willekeurig als gestructureerd).
• Ablatiestudies:
  • Het verwijderen van de mogelijkheid om de graaf te leren (door vaste nearest-neighbor grafen te gebruiken) degradeerde de prestaties aanzienlijk, met name op datasets met complexe intermodale structuren.
  • Het vastzetten van de modale graaf op een eenvoudige pad-graaf leverde alleen concurrerende resultaten op wanneer de data strikt die prior volgde; de prestaties daalden wanneer de dataverdeling afweek.
  • De volledige ontvouwen training (het leren van regularisatiegewichten) bood betere robuustheid onder hoge ruis in vergelijking met de iteratieve oplosmethode met via grid-search bepaalde parameters.
• Real-world Toepassing: Op de meteorologische dataset bereikte de methode een lagere Mean Squared Error (MSE) en lagere cross-fold variantie dan baselines. De geleerde modale graaf slaagde erin bekende fysieke negatieve correlaties vast te leggen (bijvoorbeeld tussen luchtvochtigheid en zonneschijnduur), wat ongetekende baselines niet konden weergeven.

Betekenis
Het artikel beweert dat door voorbij te gaan aan de aanname van bekende grafen en ongetekende relaties, de voorgestelde methode een robuustere en aanpasbaardere oplossing biedt voor multimodale signaalherstel. Het vermogen om getekende intermodale correlaties te leren, wordt benadrukt als een kritieke vooruitgang voor toepassingen waar variabelen anti-correlatief gedrag vertonen. Bovendien overbrugt de ontvouwen architectuur de kloof tussen modelgebaseerde optimalisatie en deep learning, en biedt het een schaalbare, interpreteerbare en datadoeltreffende aanpak die geen enorme trainingssets vereist om graafstructuren impliciet te leren.