🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDR est une méthode de réduction de dimensionnalité inversible basée sur les flux de normalisation qui préserve l'information de haute dimension en conservant les coordonnées inutilisées, permettant la génération de visualisations diagnostiques telles que l'étalement conditionnel et le contraste caché pour quantifier la fiabilité et la perte d'information des plongements en 2D.

Auteurs originaux : Abdallah Baraka, Daniel Probst

Publié 2026-07-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Abdallah Baraka, Daniel Probst

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de faire entrer une sculpture géante, tridimensionnelle, dans une photographie plate, en deux dimensions. Peu importe la façon dont vous tournez la sculpture, certaines parties se chevaucheront, certaines distances s'étireront, et certains détails seront écrasés jusqu'à l'inexistence. C'est le combat quotidien des scientifiques des données travaillant avec des « données de haute dimension ». Qu'il s'agisse de millions de pixels dans une image, de milliers de réactions chimiques ou du code génétique complexe d'une seule cellule, cette information vit dans un monde possédant des centaines, voire des milliers de directions. Pour lui donner un sens, nous utilisons la « réduction de dimensionnalité » pour l'écraser sur une carte plate que nous pouvons réellement voir.

Mais voici le piège : quand on écrase un objet 3D en 2D, on perd de l'information. Les outils traditionnels comme t-SNE ou UMAP sont comme des photographes habiles qui prennent une excellente photo, mais qui jettent les données de « profondeur ». Une fois la photo prise, on ne peut plus dire si deux points qui semblent proches sont réellement des voisins dans le monde réel, ou s'ils sont simplement tombés l'un sur l'autre par accident. On ne peut pas non plus savoir quelle partie de la forme originale de l'objet est cachée derrière la surface plane. Les scientifiques craignent depuis longtemps que les gens accordent trop d'importance à ces cartes plates, devinant des distances et des regroupements que la carte est simplement incapable de supporter. La grande question a été : pouvons-nous créer une carte qui soit esthétique, qui préserve la vue d'ensemble, et qui nous dise aussi exactement ce que nous ne savons pas ?

Entrez en scène FloDR, une nouvelle méthode qui agit moins comme un appareil photo que comme un projecteur magique et réversible. Au lieu de simplement prendre un cliché et de jeter le reste des données, FloDR utilise un moteur mathématique spécial appelé « flux normalisant » (normalizing flow). Pensez à ce moteur comme à une feuille transparente et extensible qui peut être pliée et tordue pour aplatir les données, mais avec un superpouvoir : elle ne déchire jamais ni ne perd le tissu. Elle garde l'information de « profondeur » en sécurité dans une poche cachée.

L'article présente FloDR comme un moyen de créer ces cartes 2D tout en conservant une sauvegarde secrète de toute l'information perdue. Lorsque vous regardez la carte, vous voyez les deux premières coordonnées, tout comme une photo normale. Mais sous le capot, FloDR se souvient des $D-2$ autres dimensions (les « résidus »). Parce que les mathématiques sont parfaitement réversibles, les auteurs peuvent faire fonctionner la carte à l'envers pour poser des questions telles que : « Si je choisis cet endroit sur la carte, quelle part des données originales est encore un mystère ? » ou « Quelle quantité d'information concernant un étiquette spécifique (comme un type de cellule) ai-je accidentellement jetée ? »

Les chercheurs ont découvert que FloDR est un sérieux concurrent des outils les plus populaires. Sur quatre ensembles de données de référence différents — incluant des images de chiffres manuscrits et des données de réactions chimiques — FloDR a réussi à préserver les voisinages locaux (les petits groupes de choses similaires) presque aussi bien que les meilleures méthodes existantes, tout en faisant un bien meilleur travail pour préserver la structure globale (la façon dont les grands groupes sont liés entre eux). En fait, sur les ensembles de données testés, FloDR s'est montré meilleur que UMAP pour équilibrer simultanément la structure locale et globale.

Cependant, l'article prend soin de ne pas prétendre que FloDR est parfait en tout. Il note explicitement que si votre seul objectif est de maintenir des voisinages locaux minuscules parfaits, un autre outil appelé openTSNE est encore légèrement meilleur. FloDR admet également que, bien qu'il puisse projeter de nouveaux points de données non vus sur la carte en un instant, ces points pourraient ne pas atterrir dans le exact bon voisinage local à moins d'effectuer une étape d'optimisation supplémentaire rapide. Mais pour l'essentiel, FloDR offre un scénario de « meilleur des deux mondes » : une carte qui semble juste, qui est cohérente, et qui vient avec un « compteur de vérité » intégré.

Ce compteur de vérité est la caractéristique la plus ludique et la plus puissante de l'article. FloDR génère deux « champs de diagnostic » spéciaux que vous pouvez peindre sur la carte :

Dispersion Conditionnelle : Imaginez un brouillard qui s'épaissit dans certaines zones. Ce brouillard vous indique à quel point les données originales varient à cet endroit. Si le brouillard est épais, cela signifie que la carte a compressé ensemble des éléments qui étaient très différents dans le monde réel.
Contraste Caché : C'est comme un « anneau de décodage secret ». Il vous indique quelle quantité d'information sur une étiquette spécifique (comme « est-ce une cellule cancéreuse ? ») est cachée dans les parties des données que vous ne voyez pas. Si le contraste caché est élevé en un point, cela signifie que la carte 2D cache une différence majeure entre les groupes présents là.

Crucialement, les auteurs n'ont pas seulement deviné ces valeurs ; ils les ont testées rigoureusement. Ils ont divisé leurs données, entraîné la carte sur une partie, puis ont tenté de prédire l'autre partie pour voir si les champs de diagnostic disaient la vérité. Ils ont constaté que, pour la plupart des ensembles de données, ces champs passaient le test avec une grande confiance. Par exemple, sur un ensemble de données de cellules de moelle osseuse fœtale humaine, le contraste caché a été certifié avec une p-valeur de 0,01, ce qui signifie que le signal était très fort et n'était pas simplement du bruit aléatoire.

En fin de compte, FloDR ne vous donne pas seulement une jolie image ; il vous donne une image accompagnée d'un manuel qui explique ses propres limites. Il montre où la carte est digne de confiance et où elle n'est qu'une illusion. En gardant les données « résiduelles » en sécurité et en utilisant un tour mathématique réversible, il permet aux scientifiques de voir non seulement la forme de leurs données, mais aussi les ombres qu'elles projettent, garantissant qu'ils ne tirent pas de conclusions que la projection était incapable de supporter.

Résumé Technique : FloDR – Une méthode de réduction de dimensionnalité inversible basée sur un flux normalisant

1. Énoncé du Problème

Les données de haute dimension sont fréquemment visualisées à l'aide de plongements en deux dimensions (ex: t-SNE, UMAP). Cependant, ces méthodes forcent souvent les lecteurs à interpréter les cartes résultantes au-delà de leur support statistique. Les distances entre les clusters, la signification des espaces vides et la quantité de structure cachée à des points spécifiques sont généralement invisibles car les processus d'optimisation des méthodes standards rejettent l'information nécessaire pour soutenir de telles interprétations. De plus, les méthodes existantes font face à un compromis : les plongements de voisinage préservent la structure locale mais déforment la géométrie globale, tandis que les méthodes linéaires (comme la PCA) préservent la structure globale mais brouillent les voisinages locaux. En outre, les approches paramétriques qui permettent un plongement hors échantillon (out-of-sample) reposent souvent sur des paires encodeur-décodeur distinctes et approximatives qui ne sont pas de véritables inverses, mélangeant ainsi les erreurs du modèle dans les explications.

2. Méthodologie

FloDR (Flow-based Dimensionality Reduction) traite ces problèmes en immergeant les données via un flux normalisant inversible (une bijection $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ) plutôt qu'une projection non inversible.

Architecture

Mapping : Le cœur est une composition de $L=4$ couches de couplage affine (style RealNVP) sans couches de mélange. L'entrée est d'abord blanchie et pivotée via une transformation linéaire fixe pour initialiser la disposition sur les deux premières composantes principales.
Plongement vs Résiduel : Le modèle produit $D$ coordonnées. Les deux premières coordonnées ( $y \in \mathbb{R}^2$ ) servent de plongement 2D. Les $D-2$ coordonnées restantes ( $r \in \mathbb{R}^{D-2}$ ) sont conservées en tant que résiduel plutôt que d'être jetées.
Inversibilité : Parce que la carte est une bijection, toute paire $(y, r)$ peut être projetée vers une entrée $x$ (à l'exception des erreurs d'arrondi de virgule flottante) via l'inverse exact $f^{-1}_\theta$ . Cela permet une estimation de densité exacte via la formule du changement de variables.

Objectif d'Entraînement

La disposition est entraînée à l'aide d'une fonction de perte composite appliquée uniquement aux coordonnées 2D $y$ :

Structure Locale : Suit UMAP en construisant un graphe flou de $k$ -plus proches voisins ( $k=15$ ) avec des termes d'attraction et de répulsion.
Structure Globale :
- Un terme d'attraction à portée moyenne bornée pour contrebalancer la répulsion.
- Terme Ordinal : Un terme MDS non métrique qui optimise le signe des comparaisons de distances entre les paires de points dans l'espace d'entrée par rapport à l'espace de plongement. Ce terme est contrôlé par un poids $w$ ajustable par l'utilisateur.
Terme de Densité : Un terme de log-vraisemblance négative est optionnellement introduit durant l'entraînement pour empêcher la carte inverse de trop étirer les coordonnées résiduelles.

Placement Hors Échantillon (Out-of-Sample)

Les nouveaux points de données sont plongés via un passage direct unique ( $y' = f_\theta(x')_{1:2}$ ). Bien que cela préserve la structure globale, cela peut échouer à préserver les voisinages locaux. Pour y remédier, FloDR propose une étape de placement optionnelle (similaire à la transformation de UMAP) où la position d'un nouveau point est optimisée pendant 200 étapes contre le terme d'attraction des voisins d'entraînement, tandis que la carte entraînée reste gelée.

3. Contributions Clés : Diagnostics Certifiés

L'innovation principale de FloDR est la capacité de générer des champs diagnostiques qui sont des propriétés de la distribution des entrées projetées vers une position 2D donnée, plutôt que des artefacts d'un modèle auxiliaire. Ces champs sont dérivés de l'inverse exact et de la distribution résiduelle $p(r|y)$ .

Deux Champs Diagnostiques

Étalement Conditionnel ( $\sigma(y)$ ) :
- Définition : $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ .
- Signification : Mesure la quantité de données d'entrée originales qui restent indéterminées à une position de plongement spécifique $y$ . Des valeurs élevées indiquent que la mise en page a fusionné des entrées qui étaient distinctes dans l'espace de haute dimension d'origine.
- Estimation : Calculée en tirant des résidus de la distribution ajustée $p(r|y)$ et en les projetant en arrière via l'inverse exact.
Contraste Caché ( $h(y)$ ) :
- Définition : $h(y) = I(G; R | Y=y)$ , l'information mutuelle entre un contraste étiqueté $G$ (ex: type de cellule) et le résiduel $R$ , étant donné la position de plongement $Y$ .
- Signification : Mesure la quantité d'information sur un groupe étiqueté qui est écartée par les deux coordonnées tracées. Des valeurs élevées indiquent que des points proches dans l'espace de plongement appartiennent à des groupes différents que le résiduel peut encore distinguer.
- Estimation : Calculée à l'aide de classifieurs à capacité appariée pour estimer $p(G|y)$ et $p(G|y, r)$ .

Processus de Certification

Pour éviter la sur-interprétation, chaque champ subit un processus de certification sur échantillon test :

Les champs sont ajustés sur un ensemble d'entraînement et validés sur un ensemble de test (held-out).
La validation consiste à segmenter l'espace de plongement et à effectuer une régression de la prédiction du champ contre la mesure réelle de l'échantillon de test.
Critères : Un champ est "certifié" s'il suit la cible de validation avec une pente $b \in [0.7, 1.3]$ et un $R^2 \geq 0.6$ .
Test de Nullité : Pour le contraste caché, le champ est comparé à une hypothèse nulle où les étiquettes sont mélangées au sein des segments (bins).
Résultat : Les champs qui échouent à ces tests sont explicitement marqués comme "refusés" dans la visualisation, garantissant que les utilisateurs ne font pas confiance à des diagnostics peu fiables.

4. Résultats

Les auteurs ont évalué FloDR sur quatre ensembles de données de référence (MNIST, Fashion-MNIST, progéniteurs myéloïdes Paul15, données de réaction de Schneider) et trois atlas de cellules uniques (moelle osseuse fœtale humaine, cervelet de souris, graines d'Arabidopsis).

Compromis Global vs Local : FloDR atteint une courbe de compromis quasi verticale. En ajustant le poids ordinal $w$ , la préservation de la structure globale (mesurée par la corrélation de Spearman des distances par paires, CPD) augmente considérablement (passant de 0.337 à 0.562 sur MNIST) avec une perte négligeable de rappel du voisinage local.
Comparaison avec les Références :
- vs UMAP : FloDR surpasse UMAP sur les axes globaux et locaux pour les quatre benchmarks.
- vs openTSNE : openTSNE conserve une structure locale légèrement meilleure mais au prix d'une structure globale nettement moindre.
- vs PCA : La PCA préserve bien la structure globale mais échoue sur les voisinages locaux. FloDR égale ou dépasse la performance globale de la PCA tout en maintenant la structure locale.
- vs SQuadMDS : Bien que SQuadMDS atteigne un CPD global plus élevé sur les atlas de cellules uniques, il ne conserve presque aucune information de voisinage local (rappel $\approx 0$ ).
Performance Hors Échantillon : Le passage direct de FloDR préserve efficacement la structure globale. Lorsque l'étape de placement optionnelle est utilisée, la fidélité locale est récupérée à des niveaux comparables à openTSNE sur les benchmarks.
Efficacité : FloDR est très efficace sur le plan computationnel, complétant les plongements de $10^6$ points en 222 secondes sur un GPU, soit plus rapide que UMAP (403s) et t-SNE (273s).

5. Signification et Revendications

L'article affirme que FloDR représente un changement dans la manière d'interpréter la réduction de dimensionnalité :

Cohérence de l'Objet Unique : Contra à les méthodes utilisant des encodeurs et des décodeurs séparés, la mise en page, l'inverse et la densité de FloDR sont les propriétés d'une seule bijection entraînée. Cela garantit que les visualisations de diagnostic sont dérivées de l'inverse exact du modèle qui a généré la mise en page, et non d'un réseau auxiliaire approximatif.
Revendications Mesurables : La méthode va au-delà de la simple "lecture" d'une carte pour formuler des revendications mesurables à son sujet. En introduisant les champs d'étalement conditionnel et de contraste caché, FloDR quantifie ce qui est caché dans la projection 2D.
Falsifiabilité : L'inclusion d'un processus de certification signifie que les champs de diagnostic ne sont pas seulement des superpositions visuelles, mais sont empiriquement validés. Si un champ échoue au test de validation, il est refusé, empêchant l'utilisateur de tirer des conclusions non fondées.
Portée Modeste : Les auteurs déclarent explicitement qu'ils ne revendiquent pas une qualité de reconstruction supérieure (les décodeurs seraient plus performants que l'inverse), ni qu'ils dominent un axe unique (local ou global) par rapport à toutes les autres méthodes. Au lieu de cela, FloDR est présenté comme une méthode hautement compétitive sur les deux axes simultanément et qui fournit un cadre rigoureux pour interpréter les limites de la carte 2D résultante.