Résumé Technique : VDW-GNNs : Vector Diffusion Wavelets for Geometric Graph Neural Networks

Énoncé du Problème

L'apprentissage profond géométrique (GDL) vise à étendre l'apprentissage profond aux données possédant des structures géométriques, telles que les graphes et les variétés. Un défi central dans ce domaine est de concevoir des représentations qui respectent les symétries et les structures intrinsèques des données (par exemple, l'invariance ou l'équivariance par rotation et translation).

Les réseaux de neurones sur graphes (GNN) existants reposent principalement sur le paradigme de passage de messages, où les représentations des nœuds sont mises à jour via un lissage local. Bien qu'efficace pour des tâches comme la classification de nœuds sur des réseaux homophiles, cette approche souffre de deux limitations critiques :

1. Sur-lissage (Oversmoothing) : À mesure que le nombre de couches augmente, les représentations des nœuds deviennent indiscernables, ce la limite la profondeur du réseau.
2. Sous-atteinte (Underreaching) : Le passage de messages locaux peine à capturer les interactions à longue portée nécessaires pour certaines tâches.

Bien que les ondelettes de diffusion et les transformées de diffusion géométrique aient été proposées pour résoudre le compromis entre sur-lissage et sous-atteinte en capturant la géométrie multi-échelle des graphes, elles sont historiquement limitées aux signaux à valeurs scalaires. Cependant, de nombreux ensembles de données géométriques du monde réel impliquent des caractéristiques à valeurs vectorielles (par exemple, des vecteurs de vitesse du vent, des vitesses d'activité neuronale, ou des valeurs de fibrés tangents sur une variété). Les approches standards traitent souvent ces composantes vectorielles comme des canaux scalaires indépendants, échouant ainsi à exploiter les relations géométriques entre les composantes vectorielles et la structure de la variété sous-jacente. De plus, les méthodes existantes pour les données vectorielles manquent souvent de garanties théoriques rigoureuses concernant la stabilité des cadres (frames) ou l'équivariance sous les mouvements rigides.

Méthodologie

Les auteurs introduisent les Vector Diffusion Wavelets (VDW) et une famille correspondante de réseaux de neurones sur graphes à ondelettes de diffusion vectorielle (VDW-GNNs). Ce cadre étend la théorie des ondelettes de diffusion et de la diffusion géométrique aux signaux à valeurs vectorielles définis sur des graphes géométriques.

1. Matrice de Diffusion Vectorielle ($Q$)

Inspiré par l'algorithme Vector Diffusion Maps (VDM), le cœur de la méthode est la construction d'une matrice de diffusion vectorielle $Q \in \mathbb{R}^{nD \times nD}$ (où $n$ est le nombre de nœuds et $D$ est la dimension ambiante).

• Cadres Locaux (Local Frames) : Pour chaque nœud $v_i$, un cadre orthonormé local $\{u_{i,1}, \dots, u_{i,D}\}$ est construit en utilisant la décomposition en valeurs singulières (SVD) de la matrice de distance relative à ses voisins. Cela définit un système de coordonnées local.
• Transport Parallèle : Pour relier les caractéristiques entre les nœuds, la méthode calcule des matrices de rotation $O_{i,j} = U_i U_j^\top$ qui projettent le cadre local du nœud $v_j$ vers celui du nœud $v_i$. Une technique de basculement de signe est employée pour garantir que ces matrices soient bien définies et uniques à un signe près.
• Construction : La matrice $Q$ est définie sous forme de bloc en tant que $Q[i, j] = P[i, j] O_{i,j}$, où $P$ est la matrice de diffusion scalaire standard. Cet opérateur agit comme un proxy efficace pour le semi-groupe de la chaleur associé au Laplacien de Connexion ($\Delta$), qui régit la diffusion des champs vectoriels sur une variété.

2. Ondelettes de Diffusion Vectorielle et Diffusion (Scattering)

Similairement aux ondelettes de diffusion scalaires, les auteurs définissent une banque de filtres en utilisant les puissances de $Q$ :

• Ondelettes : $\tilde{\Psi}_j = Q^{2^{j-1}} - Q^{2^j}$ (pour $j \ge 1$) et $\tilde{\Psi}_0 = I - Q$.
• Filtre Passe-bas : $\tilde{\Phi}_J = Q^{2^J}$.
• Transformée de Diffusion (Scattering Transform) : Les caractéristiques non linéaires sont extraites en alternant ces filtres d'ondelettes avec des fonctions d'activation ponctuelles $\sigma$. Les auteurs définissent des coefficients de premier ordre $\tilde{U}[j]w = \sigma(\tilde{\Psi}_j w)$ et des coefficients d'ordre supérieur de manière récursive.

3. Architecture VDW-GNN

Les auteurs intègrent ces ondelettes dans une architecture de GNN qui traite les traces scalaires et vectorielles séparément tout en permettant leur interaction :

• Piste Scalaire (Scalar Track) : Traite les caractéristiques scalaires des nœuds en utilisant des ondelettes de diffusion standard.
• Piste Vectorielle (Vector Track) : Traite les caractéristiques vectorielles en utilisant les VDWs.
• Mélange (Mixing) : Des couches de mélange apprenables combinent les coefficients de diffusion à travers différentes échelles.
• Têtes de Prédiction : Le réseau est conçu pour être rotationnellement invariant pour les cibles scalaires (ex: diamètre du graphe) et rotationnellement équivariant pour les cibles vectorielles (ex: reconstruction du vent), garantissant que la sortie se transforme correctement sous les rotations globales de l'entrée.

Contributions Clés

1. Introduction des VDW : Les auteurs proposent une nouvelle famille d'ondelettes pour les graphes possédant des caractéristiques de nœuds à valeurs vectorielles, étendant les ondelettes de diffusion au cadre du fibré tangent.
2. Garanties Théoriques :
   • Bornes de Cadre (Frame Bounds) : Ils prouvent que les VDW satisfont des bornes de cadre similaires aux ondelettes de diffusion scalaires traditionnelles, assurant une inversion stable et une robustesse au bruit.
   • Équivariance : Ils prouvent que les ondelettes et les coefficients de diffusion sont équivariants par rapport au groupe orthogonal spécial $SO(D)$ (rotations) et invariants aux translations.
3. VDW-GNNs : Ils démontrent l'intégration efficace de ces ondelettes dans des réseaux de neurones, montrant que la méthode capture la géométrie multi-échelle sans sur-lissage.
4. Validation Empirique : La méthode est validée sur des données synthétiques, des données réelles de champs de vent et des variétés d'activité neuronale, montrant des performances compétitives ou supérieures aux GNN équivariants de pointe (comme EGNN et TFN) avec nettement moins de paramètres.

Résultats Expérimentaux

Le papier évalue les VDW-GNNs à travers trois contextes distincts :

1. Ellipsoïdes Synthétiques :

   • Tâche : Prédire le diamètre euclidien d'ellipsoïdes aléatoires (niveau graphe) et effectuer la régression d'un champ vectoriel défini sur la surface de l'ellipsoïde (niveau nœud).
   • Constats : Les modèles non équivariants ont échoué de manière significative lorsque les données de test étaient pivotées, tandis que les VDW-GNNs ont maintenu leurs performances. Les VDW-GNNs ont atteint une précision comparable aux bases équivariantes lourdes (EGCC, TFN) mais avec des ordres de grandeur de paramètres en moins (ex: ~60k contre ~29M pour TFN).

2. Reconstruction de Champ de Vent :

   • Tâche : Reconstruire les mesures de vitesse du vent masquées (valeurs de fibré tangent sur une sphère) à partir d'un ensemble de données réelles de la NOAA.
   • Constats : Les VDW-GNNs ont obtenu le meilleur MSE de test et le deuxième meilleur MSE de test pivoté parmi les modèles comparables. Ils ont nettement surpassé DD-TNN (un réseau spécifique au fibré tangent) et ont été les plus rapides à entraîner par époque.

3. Enregistrements Neuraux Multi-canaux :

   • Tâche : Apprendre des plongements (embeddings) de faible dimension de séries temporelles d'activité neuronale de macaques pour prédire des conditions comportementales (contexte inductif).
   • Constats : Les VDW-GNNs ont atteint une précision de classification moyenne de 66 %, dépassant légèrement MARBLE (65 %) et surpassant significativement CEBRA et LFADS. Le modèle s'est entraîné beaucoup plus rapidement et utilisait moins de paramètres que MARBLE.

Signification et Revendications

Le papier affirme que les VDW-GNNs fournissent un cadre flexible, efficace en paramètres et théoriquement fondé pour l'apprentissage sur des données géométriques avec des caractéristiques à valeurs vectorielles. En exploitant la structure de faible dimension intrinsèque des données (hypothèse de la variété) et les symétries de l'espace ambiant, la méthode évite les problèmes de sur-lissage des passages de messages standards tout en respectant la nature géométrique des champs vectoriels.

Les auteurs soulignent que leur approche :

• Réunit Théorie et Pratique : Elle connecte la théorie spectrale du Laplacien de Connexion à des implémentations de GNN pratiques et scalables utilisant des opérations sur matrices creuses, évitant les décompositions spectrales coûteuses.
• Offre un Biais Inductif Fort : L'équivariance rotationnelle et la nature multi-échelle des ondelettes servent de biais inductifs efficaces, permettant au modèle de bien généraliser aux données pivotées et de capturer la structure globale avec moins de couches.
• Est l'Efficacité de Calcul : Malgré la gestion de données vectorielles, l'utilisation d'opérateurs de diffusion creux et l'évitement de la décomposition spectrale explicite rendent la méthode scalable à de grands ensembles de données.

Les auteurs notent modestement certaines limites, notamment la dépendance à l'ACP locale pour l'estimation de l'espace tangent (qui peut se dégrader dans des voisinages clairsemés) et la sensibilité aux hyperparamètres concernant les échelles de diffusion. Ils reconnaissent également que la méthode suppose que l'hypothèse de la variété soit vérifiée ; si les données ne résident pas sur une variété lisse de faible dimension, la dérivation théorique pourrait ne pas tenir.