Résumé technique : Apprentissage géométrique profond cohérent via les fibrés de Hilbert et les faisceaux cellulaires

1. Énoncé du problème

L'apprentissage profond moderne rencontre de plus en plus des signaux infiniment dimensionnels (par exemple, séries temporelles, distributions de probabilité, opérateurs) définis sur des domaines irréguliers (par exemple, variétés, graphes). Bien que l'apprentissage géométrique profond (GDL) ait réussi à généraliser les réseaux de neurones convolutifs (CNN) à des domaines non euclidiens comme les graphes et les variétés, les cadres existants supposent principalement des fibres de dimension finie (par exemple, des valeurs scalaires ou des vecteurs finis en chaque point).

Il manque une théorie d'apprentissage unifiée pour les signaux infinis dimensionnels supportés sur des variétés. Plus précisément, les méthodes actuelles ne peuvent pas traiter nativement des signaux où les données en chaque point $x \in M$ résident dans leur propre espace de Hilbert infini-dimensionnel $E_x$. De plus, il n'existe pas de fondement théorique rigoureux reliant les approximations discrètes de telles structures à leurs contreparties continues, laissant un vide en matière de garanties de cohérence pour l'apprentissage sur ces types de données complexes.

2. Méthodologie

Les auteurs proposent un cadre appelé HilbNets, qui unifie et généralise les approches d'apprentissage géométrique existantes à travers le prisme des fibrés de Hilbert et des faisceaux cellulaires.

2.1 Cadre continu : Fibrés de Hilbert et laplaciens de connexion

• Fibrés de Hilbert : Les auteurs modélisent les données comme une section $S$ d'un fibré de Hilbert $E$ au-dessus d'une variété de base $M$. Contrairement aux fibrés triviaux où les fibres sont des copies identiques de $\mathbb{R}^n$, ici chaque fibre $E_x$ est un espace de Hilbert séparable (éventuellement de dimension infinie).
• Connexion et transport parallèle : Pour comparer des signaux à travers différentes fibres (qui manquent d'une identification canonique), le cadre emploie une connexion $\nabla$. Cela induit des applications de transport parallèle $P_{x \to y}: E_x \to E_y$ le long de chemins sur la variété, permettant une comparaison cohérente de données infiniment dimensionnelles.
• Convolution via le laplacien de connexion : L'opérateur de convolution central est le laplacien de connexion $\Delta_\nabla = \nabla^* \nabla$. Cet opérateur généralise l'opérateur de Laplace-Beltrami (pour les champs scalaires) et le laplacien de connexion pour les fibrés tangents.
• Filtres : Les filtres sont définis en utilisant le calcul fonctionnel de Borel. Un filtre $g$ est appliqué à l'opérateur auto-adjoint $\Delta_\nabla$ via $g(\Delta_\nabla)$, permettant un filtrage spectral de signaux infinis dimensionnels sans nécessiter un spectre discret.
• HilbNets : Un HilbNet est une architecture profonde composée de couches de ces filtres de fibrés de Hilbert suivies de non-linéarités ponctuelles $\sigma$.

2.2 Discrétisation : Échantillonnage en deux étapes

Puisque les HilbNets continus ne sont pas directement implémentables, les auteurs introduisent une procédure de discrétisation en deux étapes pour dériver des HilbNets discrétisés :

1. Échantillonnage de la variété (Discrétisation spatiale) :

   • L'échantillonnage de $n$ points $X_n$ sur la variété $M$ induit un faisceau cellulaire de Hilbert $\mathcal{F}^t_n$.
   • Cette structure assigne un espace de Hilbert (la fibre) à chaque nœud et arête.
   • Le couplage arête par arête est défini via des applications de restriction dérivées des opérateurs de transport parallèle et d'un poids de noyau gaussien $k^t_{ij} = e^{-d_M(x_i, x_j)^2 / 4t}$.
   • Le laplacien de faisceau de Hilbert $\Delta_{\mathcal{F}^t_n}$ est construit à partir de ces applications de restriction.

2. Échantillonnage du signal (Discrétisation de la fibre) :

   • Les signaux infinis dimensionnels dans les fibres sont projetés sur un sous-espace de dimension finie $d$ en utilisant une base orthogonale (par exemple, base de Fourier pour les séries temporelles).
   • Cela produit un faisceau de réseau $\mathcal{F}^t_{n,d}$ avec des stalks de dimension finie ($\mathbb{R}^d$).
   • Le laplacien de faisceau de réseau résultant $\Delta_{\mathcal{F}^t_{n,d}}$ est une matrice par blocs où les blocs représentent les applications de transport parallèle discrétisées.
   • Le (n, d)-HilbNet implémentable est défini comme un réseau de neurones de faisceau opérant sur cette structure finie.

3. Contributions clés

1. Cadre de convolution sur fibrés de Hilbert : L'article définit une opération de convolution fondée sur des principes pour des signaux infinis dimensionnels sur des variétés en utilisant le laplacien de connexion et le calcul fonctionnel de Borel, étendant le GDL au-delà des fibres de dimension finie.
2. Faisceaux cellulaires de Hilbert : Les auteurs établissent le premier lien rigoureux entre les fibrés de Hilbert et les faisceaux cellulaires de Hilbert, montrant que l'échantillonnage d'une variété induit une structure de faisceau qui capture à la fois la géométrie de la variété de base et les règles de couplage des fibres du fibré.
3. Garanties de convergence (Cœur théorique) :
   • Théorème 1 (Convergence du laplacien de faisceau) : Prouve que lorsque la densité d'échantillonnage $n \to \infty$, le laplacien de faisceau de Hilbert converge en probabilité vers le laplacien de connexion sous-jacent. Il s'agit d'une généralisation du résultat séminal de Belkin & Niyogi [14] (Laplacien de graphe $\to$ Laplacien de variété) au cadre des fibrés infinis dimensionnels.
   • Théorème 2 (Convergence de rang fini) : Prouve que le laplacien entièrement discrétisé (implémentable) converge vers l'opérateur continu lorsque les densités d'échantillonnage de la variété ($n$) et du signal ($d$) augmentent.
4. Cohérence et transférabilité :
   • Corollaire 2.1 : Établit que la sortie des HilbNets discrétisés converge vers le HilbNet continu en erreur quadratique moyenne (MSE) à mesure que les densités d'échantillonnage augmentent.
   • Corollaire 2.2 (Transférabilité) : Démontre que les HilbNets discrétisés sont transférables entre différents échantillonnages d'un même fibré sous-jacent. La sortie de l'architecture est cohérente indépendamment du nuage de points spécifique échantillonné, fournissant des garanties de cohérence de résolution.

4. Résultats expérimentaux

Le cadre est validé sur deux tâches :

• Récupération de transport synthétique :

  • Configuration : Un fibré statistique sur des Gaussiennes centrées (utilisant la métrique Otto-Wasserstein) où le transport parallèle de vérité terrain (connexion de Levi-Civita) est connu.
  • Résultat : Le modèle récupère avec succès les opérateurs de transport parallèle réels. La paramétrisation « Libre $O(d)$ » récupère la vérité terrain avec une précision numérique ($\approx 1,6 \times 10^{-7}$), tandis que les classes restreintes (par exemple, circulantes) convergent vers leurs limites de projection analytiques, confirmant que la classe d'hypothèses contraint l'apprentissage de manière prévisible.

• Prévision du trafic réel (METR-LA et PEMS-BAY) :

  • Configuration : Prédiction des vitesses de trafic où les nœuds sont des capteurs et les fibres sont des séries temporelles. Le cadre apprend des applications de transport arête par arête pour aligner les motifs temporels avant le filtrage.
  • Lignes de base : Comparé à des MLP (fibre uniquement), des lignes de base de graphes spatio-temporels et des GCN standards (transport identité figé).
  • Résultat : L'apprentissage de transports non triviaux surpasse systématiquement l'identité figée (GCN) à tous les horizons de prévision. La variante Libre $O(T)$ atteint la meilleure précision, tandis que la variante Circulaire offre des performances compétitives avec significativement moins de paramètres (environ 1/10e), démontrant la valeur des biais inductifs structurés et motivés physiquement.

5. Importance et revendications

L'article revendique que les HilbNets fournissent un cadre unifié et général pour l'apprentissage géométrique profond qui élève les méthodes classiques basées sur le laplacien vers des contextes de signaux infinis dimensionnels.

• Impact théorique : La contribution principale est l'extension du théorème de convergence de Belkin & Niyogi [14] aux fibrés de Hilbert. Cela fournit le socle théorique pour l'apprentissage basé sur le laplacien sur des données infinies dimensionnelles, justifiant l'utilisation d'approximations de faisceaux discrets pour des problèmes de fibrés continus.
• Impact pratique : Le cadre permet l'intégration fondée sur des principes de priors géométriques spécifiques au domaine (via le choix de la connexion et du transport) dans les architectures d'apprentissage profond. Cela est particulièrement bénéfique dans les régimes à faible quantité de données ou lorsque les données possèdent des contraintes structurelles inhérentes (par exemple, alignement de séries temporelles, géométrie distributionnelle).
• Généralité : Les auteurs notent que de nombreuses architectures existantes (CNN, GNN, réseaux de neurones de faisceaux, CNN équivariants) peuvent être vues comme des instances spécifiques de HilbNets avec des choix particuliers de fibrés et de connexions. Ainsi, les résultats de convergence et de transférabilité dérivés ici s'étendent potentiellement à une large classe de méthodes d'apprentissage géométrique existantes.

L'article conclut que ce travail élargit la portée de l'apprentissage géométrique en fournissant une approche cohérente et théoriquement fondée pour l'apprentissage sur des variétés où les signaux vivent dans leurs propres espaces de Hilbert.