Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry

Cet article propose d'améliorer l'apprentissage de variétés via des flux normalisants en isométrisant la structure riemannienne apprise et en équilibrant régularité et expressivité pour mieux gérer les données multimodales réelles.

L'essentiel

🗺️ Le Guide de Voyage : Apprendre à naviguer dans un monde courbé

Imaginez que vous essayez de comprendre un ensemble de données complexes (comme des milliers de photos de chats, ou des données boursières). En mathématiques, on dit souvent que ces données ne sont pas éparpillées au hasard dans un espace géant et plat, mais qu'elles sont "collées" sur une forme invisible, un peu comme des gouttes de rosée sur une feuille de lotus. Cette forme s'appelle un manifold (variété).

Le problème ? Cette feuille de lotus est tordue, pliée et courbée. Si vous essayez de mesurer la distance entre deux gouttes de rosée en traçant une ligne droite à travers l'air (comme on le fait en géométrie classique), vous vous trompez. Vous devez suivre la courbe de la feuille.

C'est là que ce papier intervient. Il propose deux astuces magiques pour mieux naviguer sur cette feuille courbée sans se perdre.

1. Le Problème : La voiture qui accélère et freine sans raison

Dans le passé, les chercheurs ont créé des cartes (des "géométries apprises") pour suivre ces formes. Mais il y avait un gros défaut : l'inégalité du voyage.

Imaginez que vous conduisez une voiture sur cette feuille de lotus.

• Sur les zones où il y a beaucoup de données (des zones très peuplées), votre voiture roule à vitesse constante.
• Mais dès qu'elle arrive dans une zone vide (entre deux groupes de données), elle commence à ralentir frénétiquement ou à accélérer soudainement.

Pourquoi est-ce un problème ?
Si vous voulez dessiner un chemin entre deux points (par exemple, transformer une photo de chat en photo de chien), votre carte vous dira de passer 90 % du temps dans la zone vide et lente. Résultat : le chemin semble bizarre, et si vous essayez de résumer les données (comme faire un résumé de 10 pages en 1 page), vous perdez des détails importants ou vous déformez l'image. C'est comme si votre GPS vous disait : "Tournez à gauche, mais attendez 10 minutes avant de tourner".

2. La Première Solution : Le "Régulateur de Vitesse" (Iso-Riemannian Geometry)

Les auteurs disent : "Stop ! Il faut que la voiture roule à vitesse constante, peu importe où elle est."

Ils proposent une méthode appelée Iso-Riemannian Geometry.

• L'analogie : Imaginez que vous réajustez l'horloge de votre voyage. Au lieu de dire "je vais parcourir cette distance en 10 minutes", vous dites "je vais parcourir cette distance à une vitesse constante de 60 km/h".
• Le résultat : Même si la route est sinueuse, vous ne passez plus de temps inutilement dans les zones vides. Les chemins entre les points deviennent naturels et logiques. Cela permet de faire des interpolations (des transformations fluides) et des résumés de données beaucoup plus précis. C'est comme passer d'une carte routière déformée à une carte GPS parfaite.

3. Le Deuxième Problème : Le Conducteur trop "créatif"

Pour apprendre à tracer ces routes, on utilise des réseaux de neurones (des algorithmes très puissants). Le problème, c'est que ces algorithmes sont souvent trop "créatifs".

• L'analogie : Imaginez un conducteur qui adore faire des dérapages, des virages à 360 degrés et des détours inutiles juste pour montrer qu'il est doué.
• Le résultat : Au lieu de trouver le chemin le plus simple et le plus direct entre deux modes de données (par exemple, entre un chat et un chien), il invente une route folle qui passe par des zones où il n'y a aucune donnée. Cela crée des erreurs : le chemin semble bizarre, et si vous essayez de reconstruire une image à partir de ce chemin, le chat ressemblera à un chien qui a mangé un poisson.

4. La Deuxième Solution : Le Conducteur "Discipliné" (Regularizing)

Les auteurs proposent de calmer le jeu. Au lieu de laisser l'algorithme faire n'importe quoi, ils lui imposent des règles de conduite plus strictes.

• L'analogie : Ils remplacent le conducteur fou par un chauffeur de taxi expérimenté qui sait prendre le chemin le plus court et le plus fluide. Ils utilisent des structures mathématiques plus simples et plus régulières (comme des lignes droites et des courbes douces) plutôt que des virages complexes et imprévisibles.
• Le résultat : L'algorithme apprend à tracer des routes qui ressemblent vraiment à la forme des données. Il ne fait pas de détours inutiles.

5. Le Super-Héros : La combinaison des deux

Le papier montre que si vous combinez les deux solutions :

1. Un conducteur discipliné (qui ne fait pas de détours inutiles).
2. Un régulateur de vitesse parfait (qui ne ralentit pas dans les zones vides).

... alors vous obtenez le meilleur système de navigation possible.

• Sur des données synthétiques (des formes simples) : La différence est énorme. Les chemins sont parfaits.
• Sur des données réelles (comme les photos MNIST de chiffres manuscrits) : La différence est plus subtile, mais toujours présente. Les transformations sont plus naturelles et les résumés de données sont plus fidèles à la réalité.

En résumé

Ce papier dit : "Arrêtons de laisser nos algorithmes créer des cartes géométriques bizarres où les distances sont faussées et les routes tortueuses. En imposant une vitesse constante et des routes plus simples, nous pouvons mieux comprendre, résumer et transformer les données complexes du monde réel."

C'est un peu comme passer d'un GPS qui vous fait faire des détours absurdes pour éviter un bouchon imaginaire, à un GPS intelligent qui vous guide par le chemin le plus fluide et le plus rapide, peu importe la forme de la route.

Résumé technique

1. Problématique

L'apprentissage automatique moderne repose de plus en plus sur l'hypothèse de la variété (manifold hypothesis), selon laquelle les données haute dimension résident près d'une variété non linéaire de basse dimension. Pour exploiter cette structure, les méthodes basées sur la géométrie riemannienne apprise (data-driven Riemannian geometry) sont prometteuses. Cependant, l'approche actuelle utilisant des flots normalisants (normalizing flows) pour apprendre une géométrie de tirage en arrière (pullback geometry) souffre de deux limitations majeures, particulièrement dans le contexte de données multimodales :

1. Distorsions géométriques (Manque d'isométrie) : Les géodésiques calculées sur la variété apprise ne possèdent pas une vitesse constante au sens de la norme $\ell_2$. Cela crée des distorsions lors de l'interpolation (les points dans les régions de faible densité sont parcourus plus lentement, faussant l'interprétation de ce qui se trouve « entre » deux points) et amplifie les erreurs dans les tâches de réduction de dimension non linéaire.
2. Irregularité des difféomorphismes : Pour capturer des variétés complexes (comme des distributions multimodales), les architectures de flots normalisants modernes (couplages affines, flots splines) sont très expressives mais manquent de régularité. Cela conduit à l'apprentissage de géométries incorrectes, où les géodésiques empruntent des chemins non naturels entre les modes de la distribution, rendant les résultats non interprétables et injustes (biais d'erreur selon les régions des données).

L'objectif est de trouver un équilibre entre la régularité (nécessaire pour la stabilité et l'interprétabilité) et l'expressivité (nécessaire pour modéliser des variétés complexes), tout en garantissant une géométrie isométrique locale.

2. Méthodologie

Les auteurs proposent une approche combinant deux axes principaux pour résoudre ces problèmes :

A. Géométrie Iso-Riemannienne (Isometrization)

Pour corriger les distorsions sans réapprendre la géométrie, les auteurs proposent une méthode systématique de « ré-paramétrisation » des applications de la variété :

• Iso-géodésiques : Ils redéfinissent les géodésiques $\gamma_{x,y}$ par un changement de temps $\tau_{x,y}$ tel que la vitesse $\ell_2$ soit constante tout au long du chemin.
• Applications dérivées : Cette transformation s'étend naturellement aux autres applications fondamentales de la géométrie riemannienne :
  • Iso-logarithme : Une version redimensionnée de l'application logarithme dont la longueur $\ell_2$ correspond à la longueur d'arc réelle.
  • Iso-exponentielle : L'inverse de l'iso-logarithme.
  • Iso-transport parallèle : Un transport qui préserve la longueur $\ell_2$ des vecteurs tangents.
• Théorie : Ils montrent que ces applications peuvent être vues comme la géométrie riemannienne standard sous une connexion non triviale (connexion iso), permettant de généraliser des algorithmes comme la réduction de rang (SVD dans l'espace tangent) pour qu'ils soient robustes aux distorsions de vitesse.

B. Flots Normalisants Réguliers (Regular Normalizing Flows)

Pour apprendre une géométrie de tirage en arrière fiable à partir de données multimodales, les auteurs proposent une nouvelle architecture de difféomorphisme et un schéma d'entraînement simplifié :

• Paramétrisation : Au lieu d'utiliser des architectures purement non-volumétriques et très complexes, ils combinent des couches de couplage additif (qui sont des isométries locales et ont des dérivées bornées grâce à des fonctions d'activation spécifiques, comme une somme de tangentes hyperboliques) avec des couches linéaires inversibles à déterminant constant (basées sur la décomposition de Householder).
• Contrainte de régularité : Cette architecture force le réseau à apprendre le chemin de transition le plus « simple » (le moins de torsions) entre les modes, évitant les géométries aberrantes.
• Fonction de perte : Ils abandonnent les termes de régularisation complexes (comme la contrainte d'isométrie locale explicite sur le support des données) utilisés dans des travaux précédents. Ils utilisent une perte standard de flot normalisant (négatif log-vraisemblance) avec une régularisation par poids (weight decay), ce qui suffit à garantir la stabilité grâce à la paramétrisation choisie.

3. Contributions Clés

1. Géométrie Iso-Riemannienne : Introduction d'un cadre théorique permettant de « isométrer » n'importe quelle structure riemannienne apprise. Cela garantit une vitesse constante des géodésiques en norme $\ell_2$, résolvant les problèmes d'interprétabilité et de distorsion dans les tâches d'interpolation et de réduction de dimension.
2. Architecture de Flot Régulière et Expressive : Proposition d'une architecture de flot normalisant qui maintient la régularité nécessaire pour éviter les géométries incorrectes tout en conservant une expressivité suffisante pour modéliser des données multimodales complexes.
3. Synergie des Approches : Démonstration que l'application combinée de la géométrie iso-riemannienne sur des géométries apprises via des flots réguliers offre les meilleures performances, surpassant les méthodes isolées.
4. Analyse Théorique et Empirique : Preuve que la réduction de rang isométrisée minimise l'erreur d'approximation globale mieux que les méthodes standards, et validation sur des données synthétiques et réelles.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur des données synthétiques (distribution bimodale, hémisphère) et réelles (MNIST) :

• Interpolation Géodésique :
  • Les géodésiques apprises sans régularité (méthode précédente) traversent les modes de manière non naturelle (ex: entrée latérale dans un mode au lieu du haut).
  • L'approche proposée (flots réguliers) corrige cela.
  • L'ajout de l'isométrie (iso-géodésiques) assure une répartition uniforme des points le long du chemin, éliminant les distorsions temporelles.
• Réduction de Dimension (Approximation de Rang Faible) :
  • Sur la distribution bimodale, l'approximation de rang 1 standard souffre de fortes distorsions (erreur relative RMSE de 0.1741), tandis que l'approche isométrisée réduit cette erreur à 0.0606.
  • Sur le jeu de données MNIST, l'isométrie améliore la fidélité de la reconstruction, bien que l'impact soit plus marqué sur les points éloignés du barycentre (où les erreurs de géodésiques non isométriques s'accumulent).
• Performance Globale :
  • La combinaison des deux techniques (géométrie apprise régulière + isométrie) donne systématiquement les meilleurs résultats, avec des erreurs de reconstruction inférieures et des trajectoires géodésiques plus interprétables.

5. Signification et Impact

Ce travail est significatif car il comble le fossé entre la théorie géométrique rigoureuse et la pratique de l'apprentissage profond :

• Interprétabilité et Équité : En garantissant que les géodésiques suivent des chemins naturels et que les distances sont cohérentes, les modèles deviennent plus interprétables. Cela est crucial pour des applications sensibles où les biais (par exemple, des erreurs de reconstruction plus grandes pour certaines sous-populations de données) doivent être évités.
• Nouvelles Perspectives pour les Flots Normalisants : Le papier remet en question la tendance actuelle à privilégier uniquement l'expressivité au détriment de la régularité dans les flots normalisants, en montrant que pour l'analyse de données géométriques, la régularité est primordiale.
• Cadre Unifié : Il propose un cadre « Iso-Riemannien » qui permet d'adapter n'importe quelle structure riemannienne apprise pour des tâches de traitement de données fiables, offrant une voie prometteuse pour l'analyse de données non linéaires à grande échelle.

En résumé, les auteurs démontrent que pour apprendre efficacement la géométrie des données, il ne suffit pas d'apprendre une variété ; il faut aussi s'assurer que la manière dont on navigue sur cette variété (via les géodésiques) est régulière et isométrique, et que l'architecture du modèle favorise cette régularité.