Technische Samenvatting: Consistente Geometrische Deep Learning via Hilbertbundels en Cellulaire Schoven

1. Probleemstelling

Moderne deep learning komt steeds vaker signalen tegen die oneindig-dimensionaal zijn (bijvoorbeeld tijdreeksen, kansverdelingen, operatoren) en gedefinieerd zijn op irreguliere domeinen (bijvoorbeeld variëteiten, grafen). Hoewel Geometrische Deep Learning (GDL) Convolutional Neural Networks (CNN's) succesvol heeft gegeneraliseerd naar niet-Euclidische domeinen zoals grafen en variëteiten, gaan bestaande frameworks voornamelijk uit van eindig-dimensionale vezels (bijvoorbeeld scalare waarden of eindige vectoren op elk punt).

Er ontbreekt een verenigde leertheorie voor oneindig-dimensionale signalen die worden ondersteund door variëteiten. Specifiek kunnen huidige methoden niet op native wijze signalen verwerken waarbij de data op elk punt $x \in M$ woont in zijn eigen oneindig-dimensionale Hilbertruimte $E_x$. Bovendien ontbreekt er een rigoureuze theoretische basis die discrete benaderingen van dergelijke structuren verbindt met hun continue tegenhangers, waardoor er een gat blijft bestaan in consistentiegaranties voor het leren op deze complexe datatypes.

2. Methodologie

De auteurs stellen een raamwerk voor genaamd HilbNets, dat bestaande geometrische leeraanpakken verenigt en generaliseert door de lens van Hilbertbundels en Cellulaire Schoven.

2.1 Continu Raamwerk: Hilbertbundels en Verbindings-Laplacians

• Hilbertbundels: De auteurs modelleren de data als een sectie $S$ van een Hilbertbundel $E$ over een basisvariëteit $M$. In tegenstelling tot triviale bundels waar vezels identieke kopieën zijn van $\mathbb{R}^n$, is hier elke vezel $E_x$ een (mogelijk oneindig-dimensionale) scheidbare Hilbertruimte.
• Verbinding en Parallel Vervoer: Om signalen over verschillende vezels te vergelijken (die geen canonieke identificatie hebben), hanteert het raamwerk een verbinding $\nabla$. Dit induceert parallel vervoer-afbeeldingen $P_{x \to y}: E_x \to E_y$ langs paden op de variëteit, wat een coherente vergelijking van oneindig-dimensionale data mogelijk maakt.
• Convolutie via Verbindings-Laplacian: De kernconvolutie-operator is de verbindings-Laplacian $\Delta_\nabla = \nabla^* \nabla$. Deze operator generaliseert de Laplace-Beltrami-operator (voor scalare velden) en de verbindings-Laplacian voor raakbundels.
• Filters: Filters worden gedefinieerd met behulp van de Borel-functionele calculus. Een filter $g$ wordt toegepast op de zelfgeadjungeerde operator $\Delta_\nabla$ via $g(\Delta_\nabla)$, wat spectrale filtering van oneindig-dimensionale signalen mogelijk maakt zonder een discreet spectrum te vereisen.
• HilbNets: Een HilbNet is een diepe architectuur bestaande uit lagen van deze Hilbertbundelfilters, gevolgd door puntsgewijze niet-lineariteiten $\sigma$.

2.2 Discretisatie: Tweestaps Sampling

Omdat continue HilbNets niet direct implementeerbaar zijn, introduceren de auteurs een tweestaps discretisatieprocedure om Gediscretiseerde HilbNets af te leiden:

1. Variëteit Sampling (Ruimtelijke Discretisatie):

   • Het samplen van $n$ punten $X_n$ van de variëteit $M$ induceert een Hilbert Cellulaire Schof $\mathcal{F}^t_n$.
   • Deze structuur wijst een Hilbertruimte (de vezel) toe aan elke knooppunt en rand.
   • Randgewijze koppeling wordt gedefinieerd via restrictie-afbeeldingen die zijn afgeleid van de parallel vervoer-operatoren en een Gaussische kernel-gewicht $k^t_{ij} = e^{-d_M(x_i, x_j)^2 / 4t}$.
   • De Hilbert Schof-Laplacian $\Delta_{\mathcal{F}^t_n}$ wordt geconstrueerd uit deze restrictie-afbeeldingen.

2. Signaal Sampling (Vezel Discretisatie):

   • De oneindig-dimensionale signalen in de vezels worden geprojecteerd op een eindig-dimensionale deelruimte van dimensie $d$ met behulp van een orthogonale basis (bijvoorbeeld Fourier-basis voor tijdreeksen).
   • Dit levert een Netwerk Schof $\mathcal{F}^t_{n,d}$ op met eindig-dimensionale steelstukken ($\mathbb{R}^d$).
   • De resulterende Netwerk Schof-Laplacian $\Delta_{\mathcal{F}^t_{n,d}}$ is een blokmatrix waarbij blokken de gediscretiseerde parallel vervoer-afbeeldingen vertegenwoordigen.
   • De implementeerbare (n, d)-HilbNet wordt gedefinieerd als een Schof Neuraal Netwerk dat opereert op deze eindige structuur.

3. Belangrijkste Bijdragen

1. Hilbertbundel Convolutie Raamwerk: Het artikel definieert een principiële convolutie-operatie voor oneindig-dimensionale signalen op variëteiten met behulp van de verbindings-Laplacian en Borel-functionele calculus, waarmee GDL wordt uitgebreid voorbij eindig-dimensionale vezels.
2. Hilbert Cellulaire Schoven: De auteurs leggen de eerste rigoureuze link tussen Hilbertbundels en Hilbert Cellulaire Schoven, en tonen aan dat het samplen van een variëteit een schofstructuur induceert die zowel de geometrie van de basisvariëteit als de koppelingsregels van de bundelvezels vastlegt.
3. Convergentiegaranties (Theoretische Kern):
   • Stelling 1 (Schof-Laplacian Convergentie): Bewijst dat naarmate de samplingdichtheid $n \to \infty$, de Hilbert Schof-Laplacian convergeert in waarschijnlijkheid naar de onderliggende Verbindings-Laplacian. Dit is een generalisatie van het seminale Belkin & Niyogi [14] resultaat (Graf-Laplacian $\to$ Variëteit-Laplacian) naar de setting van oneindig-dimensionale bundels.
   • Stelling 2 (Finite-Rank Convergentie): Bewijst dat de volledig gediscretiseerde (implementeerbare) Laplacian convergeert naar de continue operator naarmate zowel de variëteit sampling ($n$) als de signaal sampling ($d$) dichtheden toenemen.
4. Consistentie en Transferabiliteit:
   • Corollarium 2.1: Stelt vast dat de output van Gediscretiseerde HilbNets convergeert naar de continue HilbNet in Gemiddelde Kwikfout (MSE) naarmate de samplingdichtheden toenemen.
   • Corollarium 2.2 (Transferabiliteit): Demonstreert dat Gediscretiseerde HilbNets transferabel zijn over verschillende samplings van dezelfde onderliggende bundel. De output van de architectuur is consistent ongeacht de specifieke wolk van punten die is gesampled, wat garanties voor resolutieconsistentie biedt.

4. Experimentele Resultaten

Het raamwerk wordt gevalideerd op twee taken:

• Synthetisch Vervoerherstel:

  • Opzet: Een statistische bundel over gecentreerde Gaussians (met behulp van de Otto-Wasserstein-metriek) waarbij de grondwaarheid parallel vervoer (Levi-Civita-verbinding) bekend is.
  • Resultaat: Het model herstelt succesvol de ware parallel vervoer-operatoren. De "Free $O(d)$" parametrisatie herstelt de grondwaarheid tot numerieke precisie ($\approx 1.6 \times 10^{-7}$), terwijl beperkte klassen (bijvoorbeeld circulant) convergeren naar hun analytische projectielimieten, wat bevestigt dat de hypotheseklasse het leren op een voorspelbare manier beperkt.

• Wereldwijde Verkeersvoorspelling (METR-LA en PEMS-BAY):

  • Opzet: Het voorspellen van verkeerssnelheden waarbij knooppunten sensoren zijn en vezels tijdreeksen. Het raamwerk leert randgewijze vervoer-afbeeldingen om temporele patronen te aligneren voordat er wordt gefilterd.
  • Baselines: Vergelijken met MLP's (alleen vezels), Spatio-temporele Graf-baselines, en standaard GCN's (bevroren identiteitsvervoer).
  • Resultaat: Het leren van niet-triviale vervoer presteert consistent beter dan bevroren identiteit (GCN) op alle voorspellinghorizonten. De Free $O(T)$ variant bereikt de beste nauwkeurigheid, terwijl de Circulant variant concurrerende prestaties biedt met aanzienlijk minder parameters (ongeveer 1/10e), wat de waarde van gestructureerde, fysiek gemotiveerde inductieve biases aantoont.

5. Betekenis en Claims

Het artikel claimt dat HilbNets een verenigd en algemeen raamwerk bieden voor geometrische deep learning dat klassieke op Laplacian gebaseerde methoden optilt naar settings met oneindig-dimensionale signalen.

• Theoretische Impact: De primaire bijdrage is de uitbreiding van de Belkin & Niyogi [14] convergentiestelling naar Hilbertbundels. Dit biedt de theoretische fundering voor Laplacian-gebaseerd leren op oneindig-dimensionale data, wat het gebruik van discrete schofbenaderingen voor continue bundelproblemen rechtvaardigt.
• Praktische Impact: Het raamwerk staat toe om domeinspecifieke geometrische priors (via de keuze van verbinding en vervoer) op principiële wijze te integreren in deep learning-architecturen. Dit is bijzonder gunstig in regimes met weinig data of wanneer de data inherent structurele beperkingen heeft (bijvoorbeeld tijdreeks-alignement, distributiegeometrie).
• Generaliteit: De auteurs merken op dat veel bestaande architecturen (CNN's, GNN's, Schof NN's, Equivariante CNN's) kunnen worden beschouwd als specifieke instanties van HilbNets met specifieke keuzes van bundels en verbindingen. Derhalve strekken de hier afgeleide convergentie- en transferabiliteitsresultaten zich potentieel uit tot een brede klasse van bestaande geometrische leermethoden.

Het artikel concludeert dat dit werk de scope van geometrisch leren verbreedt door een consistente, theoretisch onderbouwde aanpak te bieden voor het leren op variëteiten waar signalen in hun eigen Hilbertruimtes leven.