🔢 mathematics

1-Lipschitz Neural Networks on Hadamard Manifolds

Cet article introduit une classe de réseaux de neurones 1-lipschitziens sur des variétés de Hadamard basés sur les fonctions de Busemann et les flux de gradient, démontrant leur efficacité dans la classification hyperbolique robuste et la reconstruction de covariance de Wishart masquée grâce à des couches préservant la géométrie.

Auteurs originaux : Davide Murari, Marta Ghirardelli, Ben Adcock, Elena Celledoni, Brynjulf Owren, Carola-Bibiane Schönlieb

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Davide Murari, Marta Ghirardelli, Ben Adcock, Elena Celledoni, Brynjulf Owren, Carola-Bibiane Schönlieb

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à comprendre le monde, mais que le monde n'est pas plat comme une feuille de papier. Au lieu de cela, il est courbé, comme la surface d'une sphère ou d'une selle de cheval. Dans le monde de l'intelligence artificielle, la plupart des robots sont entraînés sur un sol euclidien plat. Ils sont excellents pour tracer des lignes droites et mesurer des distances sur une grille. Mais de nombreux problèmes du monde réel — comme comprendre comment les données croissent dans une structure en arbre ou comment les matériaux s'étirent et se tordent — vivent sur ces surfaces courbes. C'est le domaine de l'« apprentissage profond géométrique », où les scientifiques essaient de construire une IA qui respecte les courbes naturelles des données.

Cependant, il y a un pièsel. Lorsque vous apprenez à un robot à naviguer dans un monde courbe, vous devez vous assurer qu'il ne devient pas incontrôlable. Si vous bousculez l'entrée du robot même un tout petit peu, vous ne voulez pas que sa sortie saute sauvagement vers un endroit complètement différent. En mathématiques, cette stabilité est appelée être « 1-Lipschitzien ». Voyez cela comme une limite de vitesse pour le cerveau du robot : peu importe la force avec laquelle vous le poussez, il ne peut pas se déplacer plus vite qu'une certaine vitesse. Si les scientifiques ont trouvé comment imposer des limites de vitesse aux robots dans les mondes plats, faire la même chose sur des surfaces courbes a été un casse-tête complexe. Ce document traite de la résolution de ce casse-tête, en créant un nouveau type de couche d'IA qui reste calme et stable même lorsque le sol sous elle se courbe.

La route courbe et la limite de vitesse

Imaginez que vous faites une randonnée sur un sentier de montagne. Dans une ville plate, si vous faites un pas en avant, vous avancez exactement d'un pas. Mais sur une montagne, le sol est courbe. Si vous faites un pas, le chemin peut s'écarter de vous, ou deux randonneurs partant côte à côte peuvent finir par marcher dans des directions différentes sans jamais se rapprocher. C'est ce qui se passe dans les « variétés de Hadamard », un terme mathématique sophistiqué pour désigner des espaces qui sont courbes mais qui ne bouclent pas sur eux-mêmes comme une sphère.

Les auteurs de ce document voulaient construire un réseau neuronal (un type de cerveau d'IA) qui vit sur ces sentiers incurvés. Mais ils avaient un objectif spécifique : ils voulaient que le réseau soit « 1-Lipschitzien ». Dans le langage courant, cela signifie que le réseau est un « bon voisin ». Si vous modifiez légèrement l'entrée, la sortie ne change que très peu. Il ne surréagit jamais. Cela est crucial pour la sécurité. Si vous utilisez l'IA pour diagnostiquer une maladie ou contrôler un robot, vous ne voulez pas qu'une infime erreur dans les données provoque une erreur massive et dangereuse.

Le problème est que la plupart des couches d'IA sont conçues pour un sol plat. Lorsque vous essayez de les traîner sur une montagne courbe, elles perdent souvent leur comportement de « bon voisin ». Elles peuvent commencer à surréagir, rendant l'ensemble du système instable. Les auteurs se sont posé la question suivante : Pouvons-nous construire des couches d'IA naturellement stables sur des surfaces courbes, tout comme elles le sont sur des surfaces plates ?

La magie du compas « Busemann »

Pour résoudre cela, les auteurs se sont tournés vers un outil mathématique très spécifique appelé une fonction de Busemann. Si vous imaginez la montagne courbe s'étendant à l'infini vers l'horizon, une fonction de Busemann est comme un compas qui pointe vers un point spécifique sur cet horizon lointain. Elle mesure à quel point vous êtes « loin » de cet horizon d'une manière très particulière.

Les auteurs ont découvert que si l'on construit leurs couches d'IA en utilisant ces compas de Busemann, les couches se comportent naturellement comme une « descente de gradient ». Imaginez une balle roulant le long d'une colline. En mathématiques, la « descente de gradient » est simplement le processus de descente le long de la pente la plus raide pour trouver le bas. Les auteurs ont montré que si l'on fait rouler une balle le long d'une colline définie par une fonction de Busemann, la balle se déplace de manière très prévisible et contrôlée. Elle ne s'accélère jamais trop et ne saute pas de façon erratique.

Ils ont prouvé qu'en utilisant ces étapes basées sur Busemann, ils pouvaient créer des couches d'IA qui sont 1-Lipschitziennes. Cela signifie que les couches possèdent une limite de vitesse intégrée. Peu importe la façon dont les données se courbent, la réponse du réseau reste dans une plage sûre et prévisible. Ils ont également montré que ces couches sont « quasi-α-fermement non expansives », ce qui est une façon sophistiquée de dire que si vous appliquez ces couches encore et encore, le système est garanti de se stabiliser sur une réponse stable plutôt que de partir dans tous les sens.

Mettre la théorie à l'épreuve

Les auteurs ne se sont pas arrêtés à la théorie mathématique ; ils ont construit ces réseaux et les ont testés dans deux scénarios très différents pour voir s'ils fonctionnaient réellement.

1. Le jeu de classification hyperbolique
D'abord, ils ont testé leur réseau sur le « disque de Poincaré », une façon de représenter un espace hyperbolique (en forme de selle). Ils ont créé un jeu où l'IA devait classer des points dans différents groupes. Ils ont opposé leur nouveau « réseau de Busemann » à deux autres types :

Un réseau standard, non contraint (le réseau « sauvage »).
Un réseau qui déplace les points uniquement par des rotations parfaites (le réseau « rigide »).

Les résultats étaient fascinants. Le réseau « sauvage » était très bon pour classer les points correctement quand tout était parfait. Mais dès que les auteurs ont ajouté du « bruit » (des perturbations infimes et complexes destinées à confondre l'IA), le réseau sauvage s'est effondré. Il est devenu instable. Le réseau rigide était stable, mais ne pouvait pas classer les points assez bien. Le réseau de Busemann, cependant, était la solution idéale (le « Goldilocks solution »). Il était assez stable pour gérer le bruit sans paniquer, mais assez flexible pour classer les points avec précision. Il a prouvé que l'ajout de cette « limite de vitesse » rend l'IA plus robuste face aux attaques.

2. L'énigme de la covariance mystérieuse
Le second test ressemblait davantage à une enquête policière. Le but était de reconstruire une pièce manquante d'un puzzle complexe : une « matrice de covariance » (un tableau de nombres décrivant comment différentes choses sont liées). Dans ce cas, les données provenaient d'un problème « Wishart masqué », ce qui signifie qu'ils ne voyaient qu'une partie de l'image et devaient deviner le reste.

Ils ont utilisé leur réseau de Busemann comme un « débruiteur » (denoiser) — un outil pour nettoyer les données désordonnées et incomplètes. Ils l'ont comparé à une méthode standard appelée débruitage « Log-Euclidien ». Les résultats ont montré que leur réseau de Busemann était meilleur pour reconstruire les parties manquantes de la matrice. Il ne se contentait pas de s'ajuster aux données qu'il voyait ; il utilisait sa compréhension géométrique stable pour deviner les parties cachées plus précisément. Les auteurs ont constaté que leur méthode réduisait considérablement l'erreur par rapport aux autres méthodes, suggérant que la « limite de vitesse » aide l'IA à faire des suppositions plus intelligentes sur le monde invisible.

Ce que cela signifie

Le document ne prétend pas avoir résolu tous les problèmes de l'IA. Il ne dit pas que c'est la seule façon de construire des réseaux stables, ni que ces réseaux sont parfaits dans toutes les situations. Au lieu de cela, il propose un nouvel outil fiable. Il montre qu'en utilisant les fonctions de Busemann, nous pouvons construire des réseaux neuronaux qui respectent la géométrie des espaces courbes tout en restant calmes et stables.

Les auteurs suggèrent que cette approche ouvre la voie à une IA plus robuste dans des domaines où les données sont naturellement courbes, comme l'imagerie médicale (où les scanners cérébraux sont souvent analysés comme des surfaces courbes) ou la science des matériaux. En prouvant que ces couches sont mathématiquement stables et en montissant leur efficacité par des simulations, ils ont jeté les bases de la construction d'une IA qui n'est pas seulement intelligente, mais aussi sûre et fiable, même lorsque le sol sous elle se courbe.

Titre : Réseaux de neurones 1-Lipschiens sur les variétés de Hadamard

Énoncé du problème
Le contrôle de la constante de Lipschitz des réseaux de neurones est un mécanisme standard pour assurer la robustesse et la stabilité, particulièrement dans la classification adversaire, la modélisation générative basée sur la distance de Wasserstein, et les méthodes itératives apprises pour les problèmes inverses. Bien qu'une littérature étendue existe pour la construction de réseaux 1-Lipschiens dans les espaces euclidiens (en utilisant la normalisation spectrale, des contraintes d'orthogonalité ou des blocs résiduels de type gradient), de nombreux problèmes d'apprentissage sont naturellement posés sur des variétés courbes. Les données dans des domaines tels que les statistiques directionnelles, l'imagerie à valeurs de rotation, et la vision basée sur les matrices de covariance (par exemple, l'imagerie par tenseur de diffusion) résident souvent sur des variétés riemanniennes, spécifiquement des variétés de Hadamard (espaces complets, simplement connexes et à courbure non positive). La littérature actuelle sur les architectures à valeurs de variétés se concentre sur l'expressivité géométrique mais manque d'une théorie systématique de la stabilité et de la convergence. Il existe un fossé entre la littérature de l'apprentissage profond géométrique, qui construit des couches intrinsèques, et la littérature de la stabilité euclidienne, qui repose sur la théorie des opérateurs lipschiens et moyennés. Cet article traite de la conception et de l'analyse de réseaux de neurones 1-lipschiens stables sur des variétés de Hadamard.

Méthodologie
Les auteurs proposent une classe de couches de réseaux de neurones basées sur des étapes de descente de gradient riemannien pilotées par des potentiels spécifiques. Le cadre théorique central repose sur les propriétés des fonctions de Busemann sur les variétés de Hadamard.

Fondement théorique :
- Les auteurs utilisent le fait que les fonctions de Bmann sont géodésiquement convexes, 1-lipschiennes et de classe $C^2$ sur les variétés de Hadamard.
- Ils définissent des couches de descente de gradient de Busemann de la forme $T_\tau(x) = \exp_x(-\tau \nabla V(x))$ , où le potentiel $V$ est construit à partir d'une fonction de Busemann $b$ via une non-linéarité scalaire : $V(x) = \phi(\lambda b(x) + \beta)$ .
- L'article établit que si le pas $\tau$ et la fonction $\phi$ satisfont des conditions spécifiques (plus précisément, $\phi$ est convexe, croissante, et sa dérivée est lipschienne avec une borne liée à $\tau$ ), la carte résultante est non expansive (1-lipschienne).
- De plus, sous ces conditions, les couches sont montrées comme étant quasi- $\alpha$ -fermement non expansives. Cette propriété est cruciale car elle garantit la convergence des itérations de point fixe (par exemple, $x_{k+1} = T(x_k)$ ) dans les espaces de Hadamard, une exigence pour les solveurs appris dans les problèmes inverses.
- La théorie est étendue aux variétés produits ( $M^m$ ), permettant l'application de ces couches à des données à valeurs vectorielles sur des variétés (par exemple, des images ou des graphes où chaque pixel/nœud réside sur une variété).
Implémentation :
- Des constructions explicites sont fournies pour deux variétés de Hadamard spécifiques :
  - Espace Hyperbolique (Ball de Poincaré) : En utilisant la formule explicite des fonctions de Busemann sur le disque de Poincaré.
  - Matrices Symétriques Définies Positives (SPD) : Utilisant des expressions basées sur la décomposition de Cholesky pour les fonctions de Busemann sur la variété des matrices SPD équipées d'une métrique affine-invariante.
- Les fonctions d'activation admissibles $\phi$ incluent Softplus et Squared ReLU, avec des contraintes de pas de calcul dérivées pour assurer la non-expansivité.

Principales contributions

Pont Théorique : L'article établit un pont rigoureux entre les couches de gradient 1-lipschiennes euclidiennes et les étapes de gradient intrinsèques sur les variétés de Hadamard.
Couches de Busemann : Il propose et prouve la non-expansivité de « couches de descente de gradient de Busemann » sous des restrictions explicites de pas de calcul. Ces couches sont montrées comme étant quasi- $\alpha$ -fermement non expansives, liant la dynamique aux points fixes convergents.
Exemples Constructifs : Les auteurs fournissent des expressions fermées implémentables pour ces couches sur les variétés hyperboliques et la variété SPD, rendant la théorie pratiquement applicable.
Extension aux Variétés Produits : Le cadre est généralisé aux variétés produits, permettant des applications à des données structurées comme des images ou des graphes sur des variétés.

Résultats Expérimentaux
L'architecture proposée est validée par deux expériences numériques :

Classification robuste sur le disque de Poincaré ( $D^2$ ) :
- Tâche : Classifier des données synthétiques sur le disque de Poincaré sous des perturbations adverses.
- Comparaison : Le modèle de Busemann contraint est comparé à un ResNet hyperbolique non contraint et à un modèle isométrique contraint.
- Résultats : Le modèle de Busemann atteint une précision en données propres comparable au ResNet non contraint, mais démontre une robustesse nettement supérieure contre les perturbations hyperboliques. Bien que le modèle isométrique ait été insuffisant pour les frontières complexes, les couches de Busemann ont fourni l'expressivité géométrique nécessaire tout en maintenant la structure non expansive.
Reconstruction de covariance de Wishart masquée sur SPD(10) :
- Tâche : Reconstruire une matrice de covariance inconnue à partir d'observations de blocs principaux bruitées et masquées (un problème inverse) en utilisant un schéma Plug-and-Play (PnP).
- Comparaison : Un débruiteur « split Busemann » est comparé à un débruiteur résiduel Log-Euclidien et à une base de descente de gradient de données seules.
- Résultats : Le débruiteur split Busemann, lorsqu'il est utilisé comme un a priori PnP, a nettement surpassé la base de données seules et le débruiteur Log-Euclidien en termes de distance affine-invariante par rapport à la vérité terrain. Les résultats suggèrent que la contrainte de non-expansivité stabilise le processus de reconstruction, permettant au a priori appris de récupérer efficacement la structure globale de la covariance même à partir d'observations sous-déterminées. Les tests empiriques sur l'itération du débruiteur seul ont confirmé le comportement de convergence attendu des applications non expansives moyennées.

Signification et Revendications
L'article affirme combler une lacune critique dans l'apprentissage profond géométrique en fournissant une théorie de stabilité systématique pour les réseaux à valeurs de variétés. En transportant les constructions de stabilité euclidiennes (spécifiquement les opérateurs non expansifs basés sur le flot de gradient) vers le cadre de Hadamard, les auteurs démontrent que :

La stabilité peut être encodée structurellement dans les couches à valeurs de variétés, et non seulement vérifiée a posteriori.
Les fonctions de Busemann servent de bloc de construction naturel et efficace pour ces couches stables.
Les réseaux résultants sont non seulement fondés théoriquement sur la théorie de convergence des points fixes (via la quasi- $\alpha$ -ferme non-expansivité), mais sont aussi empiriquement efficaces tant en classification robuste qu'en problèmes inverses.

Les auteurs notent que bien que le présent travail se concentre sur les variétés de Hadamard où les fonctions de Busemann sont tractables, la méthodologie ouvre la porte à des extensions futures vers des classes plus larges de variétés riemanniennes et des applications dans des domaines tels que l'imagerie par tenseur de diffusion. L'article ne prétend pas résoudre tous les problèmes de stabilité dans les espaces non-Hadamard, mais établit un cadre principiel pour le cas à courbure non positive.

La route courbe et la limite de vitesse

La magie du compas « Busemann »

Mettre la théorie à l'épreuve

Ce que cela signifie

Articles similaires