Technische Samenvatting: VDW-GNNs: Vector Diffusion Wavelets voor Geometrische Graph Neural Networks

Probleemstelling

Geometric Deep Learning (GDL) beoogt deep learning uit te breiden naar data met geometrische structuren, zoals grafen en manifolds. Een centrale uitdaging in dit veld is het ontwerpen van representaties die de intrinsieke symmetrieën en structuren van de data respecteren (bijv. rotationele en translationele invariantie/equivariantie).

Bestaande Graph Neural Networks (GNNs) vertrouwen primair op het message-passing paradigma, waarbij node-representaties worden bijgewerkt via lokale middeling. Hoewel effectief voor taken zoals node-classificatie op homofiele netwerken, lijdt deze aanpak onder twee kritieke beperkingen:

1. Oversmoothing: Naarmate het aantal lagen toeneemt, worden node-representaties ononderscheidbaar, wat de diepte van het netwerk beperkt.
2. Underreaching: Lokale message passing heeft moeite om langetermijninteracties te vangen die noodzakelijk zijn voor bepaalde taken.

Hoewel diffusie-wavelets en geometrische scattering transforms zijn voorgesteld om de afweging tussen oversmoothing en underreaching aan te pakken door multiscale graafgeometrie te vangen, zijn deze historisch gezien beperkt tot scalaire signalen. Veel real-world geometrische datasets bevatten echter vector-waardige features (bijv. windsnelheidsvectoren, neurale activiteitsvelociteiten of tangent bundle-waarden op een manifold). Standaard benaderingen behandelen deze vectorcomponenten vaak als onafhankelijke scalaire kanalen, waardoor ze er niet in slagen de geometrische relaties tussen vectorcomponenten en de onderliggende manifold-structuur te benutten. Bov��aling de huidige methoden voor vector-waardige data missen bovendien strikte theoretische garanties met betrekking tot frame-stabiliteit of equivariantie onder rigide bewegingen.

Methodologie

De auteurs introduceren Vector Diffusion Wavelets (VDWs) en een bijbehorende familie van Vector Diffusion Wavelet Graph Neural Networks (VDW-GNNs). Dit framework breidt de theorie van diffusie-wavelets en geometrische scattering uit naar vector-waardige signalen gedefinieerd op geometrische grafen.

1. Vector Diffusie Matrix ($Q$)

Geïnspireerd door het Vector Diffusion Maps (VDM) algoritme, is de kern van de methode de constructie van een vector diffusie matrix $Q \in \mathbb{R}^{nD \times nD}$ (waarbij $n$ het aantal nodes is en $D$ de ambivalente dimensie).

• Lokale Frames: Voor elk node $v_i$ wordt een lokaal orthonormaal basis (frame) $\{u_{i,1}, \dots, u_{i,D}\}$ geconstrueerd met behulp van Singular Value Decomposition (SVD) van de relatieve afstandmatrix tot zijn buren. Dit definieert een lokaal coördinatensysteem.
• Parallel Transport: Om features tussen nodes te relateren, berekent de methode rotatiematrices $O_{i,j} = U_i U_j^\top$ die het lokale frame van node $v_j$ mappen naar dat van node $v_i$. Een sign-flipping techniek wordt toegepast om ervoor te zorgen dat deze matrices goed gedefinieerd en uniek zijn tot op de tekenwaarde.
• Constructie: De matrix $Q$ wordt gedefinieerd in blokvorm als $Q[i, j] = P[i, j] O_{i,j}$, waarbij $P$ de standaard scalaire diffusie matrix is. Deze operator fungeert als een computationeel efficiënte proxy voor de heat semigroup geassocieerd met de Connection Laplacian ($\Delta$), die de diffusie van vectorvelden op een manifold regelt.

2. Vector Diffusion Wavelets en Scattering

Vergelijkbaar met scalaire diffusie-wavelets definiëren de auteurs een filterbank met behulp van machten van $Q$:

• Wavelets: $\tilde{\Psi}_j = Q^{2^{j-1}} - Q^{2^j}$ (voor $j \ge 1$) en $\tilde{\Psi}_0 = I - Q$.
• Low-pass Filter: $\tilde{\Phi}_J = Q^{2^J}$.
• Scattering Transform: Niet-lineaire features worden geëxtraheerd door deze wavelet-filters af te wisselen met punt-gewijze activatiefuncties $\sigma$. De auteurs definiëren eerste-orde coëfficiënten $\tilde{U}[j]w = \sigma(\tilde{\Psi}_j w)$ en hogere-orde coëfficiënten recursief.

3. VDW-GNN Architectuur

De auteurs integreren deze wavelets in een GNN-architectuur die scalaire en vector-tracks apart verwerkt, maar interactie toestaat:

• Scalar Track: Verwerkt scalaire node-features met standaard diffusie-wavelets.
• Vector Track: Verwerkt vector-features met VDWs.
• Mixing: Leerbare mixing-lagen combineren scattering-coëfficiënten over verschillende schalen.
• Prediction Heads: Het netwerk is ontworpen om rotationeel invariant te zijn voor scalaire targets (bijv. graafdiameter) en rotationeel equivariant voor vector-targets (bijv. windreconstructie), waardoor de output correct transformeert onder globale rotaties van de input.

Belangrijkste Bijdragen

1. Introductie van VDWs: De auteurs stellen een nieuwe familie van wavelets voor voor grafen met vector-waardige node-features, waarmee zij diffusie-wavelets uitbreiden naar de tangent bundle setting.
2. Theoretische Garanties:
   • Frame Bounds: Ze bewijzen dat VDWs voldoen aan frame bounds vergelijkbaar met traditionele scalaire diffusie-wavelets, wat zorgt voor stabiele inversie en robuustheid tegen ruis.
   • Equivariance: Ze bewijzen dat de wavelets en scattering-coëfficiënten equivariant zijn met betrekking tot de Special Orthogonal groep $SO(D)$ (rotaties) en invariant aan translaties.
3. VDW-GNNs: Ze demonstreren de effectieve integratie van deze wavelets in neurale netwerken, waarbij zij aantonen dat de methode multiscale geometrie kan vangen zonder oversmoothing.
4. Empirische Validatie: De methode wordt gevalideerd op synthetische data, real-world windveld-data en neurale activiteit-manifolds, waarbij zij competitieve of superieure prestaties laten zien ten opzichte van state-of-the-art equivariante GNNs (zoals EGNN en TFN) met aanzienlijk minder parameters.

Experimentele Resultaten

Het paper evalueert VDW-GNNs over drie verschillende settings:

1. Synthetische Ellipsoïden:

   • Taak: Het voorspellen van de Euclidische diameter van willekeurige ellipsoïden (graaf-niveau) en het regresseren van een vectorveld gedefinieerd op het oppervlak van de ellipsoïde (node-niveau).
   • Bevindingen: Niet-equivariante modellen faalden aanzienlijk wanneer de testdata werd geroteerd, terwijl VDW-GNNs hun prestaties behielden. VDW-GNNs bereikten een vergelijkbare nauwkeurigheid als zware equivariante baselines (EGNN, TFN) maar met orders van grootte minder parameters (bijv. ~60k vs ~29M voor TFN).

2. Windveld Reconstructie:

   • Taak: Het reconstrueren van gemaskeerde windsnelheidsmetingen (tangent bundle waarden op een sfeer) van een real-world NOAA dataset.
   • Bevindingen: VDW-GNNs behaalden de beste test MSE en de op één na beste geroteerde-test MSE onder vergelijkbare modellen. Zij presteerden aanzienlijk beter dan DD-TNN (een tangent-bundle specifiek netwerk) en waren de snelste om te trainen per epoch.

3. Multi-channel Neurale Opnames:

   • Taak: Het leren van laag-dimensionale embeddings van macaque neurale activiteit tijdreeksen om gedragscondities te voorspellen (inductieve setting).
   • Bevindingen: VDW-GNNs bereikten een gemiddelde classificatienauwkeurigheid van 66%, wat MARBLE (65%) licht overtrof en CEBRA en LFADS significant overtrof. Het model trainde veel sneller en gebruikte minder parameters dan MARBLE.

Betekenis en Claims

Het paper claimt dat VDW-GNNs een flexibel, parameter-efficiënt en theoretisch gefundeerd framework bieden voor het leren op geometrische data met vector-waardige features. Door gebruik te maken van de intrinsieke laag-dimensionale structuur van data (manifold hypothese) en de symmetrieën van de ambivalente ruimte, vermijdt de methode de oversmoothing problemen van standaard message passing terwijl de geometrische aard van vectorvelden wordt gerespecteerd.

De auteurs benadrukken dat hun aanpak:

• Theorie en Praktijk Verbindt: Het verbindt de spectrale theorie van de Connection Laplacian met praktische, schaalbare GNN implementaties met behulp van sparse matrix operaties, waardoor dure eigendecomposities worden vermeden.
• Een Sterke Inductieve Bias Biedt: De rotationele equivariantie en de multiscale aard van de wavelets dienen als effectieve inductieve biases, waardoor het model goed generaliseert naar geroteerde data en globale structuren kan vangen met minder lagen.
• Computationeel Efficiënt Is: Ondanks het verwerken van vector-waardige data, maakt het gebruik van sparse diffusie-operators en het vermijden van expliciete spectrale decompositie de methode schaalbaar naar grote datasets.

De auteurs merken bescheiden beperkingen op, waaronder de afhankelijkheid van lokale PCA voor tangentruimte schatting (die kan verslechteren in ijle buurten) en gevoeligheid voor hyperparameters met betrekking tot diffusie-schalen. Zij erkennen ook dat de methode ervan uitgaat dat de manifold hypothese standhoudt; als data niet op een gladde laag-dimensionale manifold ligt, houdt de theoretische afleiding mogelijk geen stand.