Multimodal Signal Restoration with Signed Twofold Graph Learning

Résumé technique : Restauration de signaux multimodaux par apprentissage de graphe double signé

Énoncé du problème
Les signaux multimodaux dans les réseaux de capteurs (par exemple, vidéo/son simultanés ou relevés météorologiques) sont souvent imparfaits, souffrant de bruit et de valeurs manquantes. Une restauration efficace (débruitage et interpolation) nécessite de tirer parti des structures sous-jacentes de ces signaux. L'hypothèse de « graphe double » (TGA) modélise de telles données à l'aide de deux graphes distincts : un graphe spatial représentant les relations entre les capteurs et un graphe de modalité représentant les relations entre les différents types de signaux.

Les méthodes de restauration existantes basées sur la TGA présentent deux limitations principales :

1. Connaissance du graphe : De nombreuses approches supposent que les structures de graphe sont connues a priori ou reposent sur des réseaux profonds fortement paramétrés nécessitant de grands jeux de données d'entraînement, limitant ainsi leur applicabilité dans des scénarios à données rares.
2. Contraintes non signées : Les méthodes actuelles modélisent uniquement des similarités paires positives (graphes non signés). Elles ne peuvent pas capturer les corrélations inter-modales négatives (par exemple, la corrélation négative entre température et précipitations), qui sont naturellement représentées par des graphes signés.

Méthodologie
Les auteurs proposent une méthode qui effectue conjointement la restauration de signaux et l'apprentissage de graphe double (incluant des graphes de modalité signés) via un cadre d'estimation du Maximum A Posteriori (MAP) sous une loi normale matricielle a priori.

1. Formulation probabiliste :
   Le signal multimodal $X \in \mathbb{R}^{N \times M}$ est modélisé comme une variable aléatoire normale matricielle où le Laplacien du graphe spatial ($L_s$) et le Laplacien du graphe de modalité ($L_m$) servent respectivement de matrices de précision ligne et colonne. L'objectif MAP couple la fidélité aux données avec un terme de régularisation impliquant la trace de $L_m X^\top L_s X$.

2. Minimisation alternée :
   Puisque l'optimisation conjointe sur le signal $X$, $L_s$ et $L_m$ est non convexe, les auteurs emploient une stratégie de minimisation alternée :

   • Mise à jour du signal : Avec des graphes fixes, la mise à jour du signal se réduit à la résolution d'un système linéaire de type Sylvester. Celui-ci est résolu efficacement à l'aide de la méthode du gradient conjugué (CG), évitant la formation de grandes matrices structurées par produit de Kronecker.
   • Mise à jour du graphe spatial : Le graphe spatial non signé est appris en minimisant un sous-problème convexe à l'aide de l'algorithme du gradient hybride primal-dual (PDHG).
   • Mise à jour du graphe de modalité signé : Pour gérer les corrélations négatives, le graphe de modalité est paramétré comme un Laplacien signé $\bar{L} = S \circ L_m$, où $S$ est une matrice de signes et $L_m$ encode les magnitudes.
     • Estimation des signes : Au lieu d'estimer les signes via des distances paires (ce qui est sensible au bruit), la méthode estime la structure de signe à partir du sous-espace dominant d'une matrice de noyau complémentaire $K = X^\top L_s X$ en utilisant l'itération de sous-espace. Cela fournit une relaxation continue compatible avec l'entraînement basé sur le gradient.
     • Apprentissage des magnitudes : Les magnitudes des arêtes sont apprises via PDHG sur un noyau modulé $K_{mag} = C \circ K$, où $C$ est le substitut continu du signe.

3. Déroulement d'algorithmes profonds :
   Les solveurs itératifs (CG et PDHG) sont déroulés en un réseau de neurones feedforward. Le nombre d'itérations internes est fixe, tandis que les hyperparamètres algorithmiques (poids de régularisation, tailles de pas et coefficients conjugués) sont promus en paramètres entraînables par couche. Cela permet d'entraîner le réseau de bout en bout par rétropropagation, en adaptant les forces de régularisation aux statistiques spécifiques du signal à chaque couche.

Contributions clés

• Cadre d'apprentissage conjoint : Une formulation MAP unifiée qui restaure simultanément les signaux multimodaux et apprend à la fois les graphes spatiaux et de modalité.
• Intégration de graphes signés : La première méthode de restauration basée sur la TGA capable d'apprendre des graphes de modalité signés, capturant explicitement les corrélations inter-modales négatives via un estimateur de signe spectral et un découplage des magnitudes.
• Architecture profonde interprétable : Un réseau déroulé qui intègre la structure mathématique du problème d'optimisation, assurant l'interprétabilité tout en permettant l'entraînement de bout en bout des paramètres du solveur.
• Évolutivité : La méthode évite la construction explicite de grandes matrices de produit de Kronecker, reposant à la place sur des produits matrice-vecteur, ce qui la rend évolutive vers de grands réseaux de capteurs.

Résultats expérimentaux
La méthode a été évaluée sur des signaux de graphe multimodaux synthétiques (jeux de données Normal Matricielle et Lisse par Morceaux) et un jeu de données météorologiques réelles du Japon (température, pression, humidité, durée d'ensoleillement).

• Performance : La méthode proposée surpasse systématiquement les références (incluant des méthodes basées sur des modèles comme la SVD, des méthodes axées sur les données comme GCN/AE, et d'autres méthodes déroulées comme TGSR-DAU et LLAP-DAU) à travers divers niveaux de bruit et motifs de données manquantes (à la fois aléatoires et structurés).
• Études d'ablation :
  • Supprimer la capacité d'apprendre le graphe (en utilisant des graphes de plus proches voisins fixes) dégrade considérablement les performances, en particulier sur les jeux de données présentant des structures inter-modales complexes.
  • Fixer le graphe de modalité à un simple graphe en chemin ne donne des résultats compétitifs que lorsque les données suivent strictement cette a priori ; les performances chutent lorsque la distribution des données s'en écarte.
  • L'entraînement déroulé complet (apprentissage des poids de régularisation) offre une meilleure robustesse sous un bruit élevé par rapport au solveur itératif avec des paramètres recherchés par grille.
• Application réelle : Sur le jeu de données météorologiques, la méthode a atteint une erreur quadratique moyenne (MSE) plus faible et une variance inter-repli plus faible que les références. Le graphe de modalité appris a capturé avec succès les corrélations physiques négatives connues (par exemple, entre humidité et durée d'ensoleillement), que les références non signées n'ont pas pu représenter.

Signification
L'article affirme qu'en allant au-delà de l'hypothèse de graphes connus et de relations non signées, la méthode proposée offre une solution plus robuste et adaptable pour la restauration de signaux multimodaux. La capacité d'apprendre des corrélations inter-modales signées est mise en avant comme une avancée critique pour les applications où les variables présentent un comportement anti-corrélé. De plus, l'architecture déroulée comble le fossé entre l'optimisation basée sur des modèles et l'apprentissage profond, offrant une approche évolutive, interprétable et efficace en données qui ne nécessite pas de jeux de données d'entraînement massifs pour apprendre implicitement les structures de graphe.