🤖 machine learning

DREAMS: Preserving both Local and Global Structure in Dimensionality Reduction

Cet article présente DREAMS, une méthode de réduction de dimensionnalité qui équilibre efficacement la préservation des structures locales et globales en combinant les forces de t-SNE et de la PCA grâce à un simple terme de régularisation, surpassant ainsi les approches existantes sur plusieurs jeux de données du monde réel.

Auteurs originaux : Noël Kury, Dmitry Kobak, Sebastian Damrich

Publié 2026-06-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Noël Kury, Dmitry Kobak, Sebastian Damrich

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez une boîte géante et désordonnée contenant des milliers de jouets différents. Certains sont de petites figurines d'action très détaillées ; d'autres sont de gros blocs de construction volumineux. Vous voulez les disposer sur une table plate afin de voir comment ils sont liés entre eux.

Le problème est que votre boîte est en 3D (ou même en dimensions supérieures), mais votre table n'est qu'en 2D. Lorsque vous essayez de l'aplatir, vous devez faire un choix :

L'approche « Locale » (t-SNE) : Vous décidez de garder les petites figurines d'action groupées étroitement pour voir leurs détails individuels. Mais ce faisant, vous pourriez accidentellement éparpiller les gros blocs de construction partout, perdant ainsi la vision d'ensemble.
L'approche « Globale » (PCA) : Vous décidez de garder les gros blocs de construction à leurs positions logiques respectives. Mais ce faisant, les petites figurines d'action se retrouvent écrasées ensemble, formant une masse floue et indistincte.

Pendant longtemps, les scientifiques ont dû choisir entre l'une ou l'autre de ces deux vues. Ils ne pouvaient pas avoir à la fois les détails précis et la vue d'ensemble.

Entrée en scène de DREAMS : La méthode du « Meilleur des deux mondes »

L'article présente une nouvelle méthode appelée DREMS (Dimensionality Reduction Enhanced Across Multiple Scales). Considérez DREAMS comme une lentille intelligente et ajustable qui vous permet de voir toute la scène clairement tout en zoomant sur les petits détails.

Voici comment cela fonctionne, en utilisant une analogie simple :

La « Feuille de caoutchouc » et l'« Aimant »
Imaginez que vous étirez une feuille de caoutchouc (c'est la partie t-SNE). Vous écartez les petites figurines d'action pour qu'elles ne se chevauchent pas, préservant ainsi leurs voisinages locaux. C'est excellent pour voir les petits détails.

Cependant, la feuille de caoutchouc pourrait trop s'étirer, rendant l'agencement global un peu déformé. Pour corriger cela, DREAMS ajoute un aimant sous la feuille (c'est la partie PCA). Cet aimant tire doucement la feuille entière vers une forme prédéterminée et logique (la « structure globale »).

Si l'aimant est faible : La feuille de caoutchouc s'étire librement. Vous obtenez une carte détaillée des petites figurines, mais l'image globale peut paraître un peu instable.
Si l'aimant est fort : La feuille est tirée fermement contre la forme logique. Vous obtenez une image globale parfaite, mais les petites figurines sont écrasées.
Le point d'équilibre (La solution DREAMS) : Les auteurs ont trouvé un réglage « Goldilocks » (ni trop chaud, ni trop froid) pour la force de l'aimant. À ce réglage, la feuille de caoutchouc s'étire suffisamment pour montrer les petites figurines clairement, mais l'aimant est assez fort pour maintenir les gros blocs de construction à leurs places logiques respectives.

Qu'ont-ils découvert ?

Les chercheurs ont testé cette méthode d'« aimant ajustable » sur 11 jeux de données réels différents, incluant des données biologiques complexes (comme des cellules cérébrales) et des données d'images (comme des chiffres écrits à la main).

Cela fonctionne mieux que la concurrence : Lorsqu'ils ont comparé DREAMS à d'autres méthodes populaires (comme UMAP, t-SNE et PCA), DREAMS a systématiquement fait le meilleur travail pour préserver à la fois les « voisinages » (structure locale) et les « continents » (structure globale).
Un spectre continu : L'une des caractéristiques les plus cool est que vous pouvez faire glisser un curseur (appelé $\lambda$ ) pour changer la vue. Vous pouvez faire glisser le curseur tout à fait vers le côté « Local » pour voir les détails fins, tout à fait vers le côté « Global » pour voir la vue d'ensemble, ou vous arrêter n'importe où entre les deux pour obtenir un équilibre parfait.
Exemple concret : Dans un jeu de données de cellules cérébrales, les méthodes standards soit vous montraient les catégories larges de cellules (neurones vs non-neurones) mais manquaient les sous-types spécifiques, soit montraient les sous-types spécifiques mais mélangeaient les catégories larges. DREAMS montrait les deux : les groupes larges étaient aux bons endroits, et les types de cellules spécifiques étaient clairement séparés au sein de ces groupes.

L'essentiel

DREAMS est un nouvel outil qui résout un vieux problème : comment aplatir des données complexes et multicouches sans perdre la forêt ou les arbres. En ajoutant simplement une « traction douce » vers une carte globale tout en laissant les détails locaux respirer, il crée des visualisations plus précises et plus faciles à comprendre que les méthodes précédentes.

Les auteurs notent que, bien que cela demande un peu plus de puissance de calcul pour faire fonctionner ce système d'« aimant », le résultat est une image bien plus claire de données complexes, surtout lorsque ces données possèdent une hiérarchie (comme un arbre généalogique ou une carte de ville avec des quartiers et des districts).

Résumé technique : DREAMS – Préserver à la fois la structure locale et globale en réduction de dimensionnalité

Problématique

La réduction de dimensionnalité (DR) est essentielle pour visualiser les données de haute dimension, pourtant les méthodes existantes excellent généralement soit dans la préservation de la structure locale, soit dans celle de la structure globale, mais rarement les deux simultanément.

Structure locale : Des méthodes comme t-SNE et UMAP préservent efficacement les relations de voisinage et les clusters fins (ex: types cellulaires spécifiques) mais déforment souvent les agencements globaux (ex: séparations de classes larges ou trajectoires de développement).
Structure globale : Des méthodes comme PCA et MDS préservent les motifs macroscopiques et la variance des données mais échouent souvent à résoudre les relations locales fines, fusionnant ainsi des clusters distincts.

Dans les jeux de données réels, tels que la transcriptomique en cellule unique (single-cell), les deux échelles de structure sont significatives et complémentaires. Négliger l'une de ces échelles peut conduire à des interprétations incomplètes ou biaisées. Les approches hybrides actuelles peinent souvent à équilibrer ces objectifs concurrents de manière efficace ou ne parviennent pas à récupérer les extrêmes purs (PCA ou t-SNE standard) au sein de leur spectre d'optimisation.

Méthodologie : DREAMS

Les auteurs proposent DREAMS (Dimensionality Reduction Enhanced Across Multiple Scales), une méthode non paramétrique qui combine la sensibilité locale de t-SNE avec la préservation de la structure globale de PCA via un terme de régularisation simple.

Mécanisme central

DREAMS augmente la fonction de perte standard de t-SNE par une pénalité quadratique qui encourage l'incorporation (embedding) en basse dimension à s'aligner sur une référence d'incorporation globale précalculée (par défaut : PCA).

La fonction d'objectif est définie par :
$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$

Où :

$Y$ est l'incorporation en basse dimension en cours d'optimisation.
$L_{t-SNE}(Y)$ est la perte t-SNE standard (divergence de Kullback–Leibler entre les distributions de similitude en haute et basse dimension).
$\tilde{Y}$ est l'incorporation de référence globale précalculée (ex: PCA).
$\lambda \in [0, 1]$ est un hyperparamètre contrôlant le compromis entre la préservation locale et globale.
$\alpha$ est un facteur d'échelle scalaire calculé à chaque itération de la descente de gradient pour faire correspondre l'échelle de l'incorporation t-SNE ( $Y$ ) avec celle de l'incorporation de référence ( $\tilde{Y}$ ), assurant la compatibilité entre l'échelle linéaire de PCA et l'échelle non linéaire de t-SNE.

Détails d'implémentation

Incorporation de référence : Par défaut, DREAMS utilise PCA en raison de sa rapidité et de son interprétabilité. Cependant, le cadre prend en charge d'autres méthodes globales comme MDS (appelé DREAMS-MDS).
Optimisation : La méthode est implémentée sur la base de la bibliothèque openTSNE, en ajoutant le terme de régularisation à l'optimisation par descente de gradient.
Approche alternative : Les auteurs ont également exploré une variante de « Décodage Linéaire » (DREAMS-CNE-Decoder) utilisant un décodeur linéaire entraînable pour reconstruire les données originales à partir de l'incorporation, mais ont constaté que l'approche par référence précalculée était supérieure pour préserver la structure locale.
Spectre : En faisant varier $\lambda$ $λ$ , DREMS génère un spectre continu d'incorporations :
- $\lambda = 0$ : Récupère le t-SNE standard.
- $\lambda = 1$ : Récupère l'incorporation PCA mise à l'échelle.
- $0 < \lambda < 1$ : Fournit un compromis équilibré.

Principales contributions

Stratégie de régularisation : Introduction d'un terme de régularisation simple et efficace qui intègre la préservation de la structure globale (via PCA/MDS) directement dans l'objectif de t-SNE.
Spectre de visualisations : Démonstration d'un spectre d'incorporations ajustable qui offre un compromis de pointe entre la préservation des structures locales et globales.
Évaluation exhaustive : Évaluation de dix algorithmes sur onze jeux de données réels, incluant la transcriptomique en cellule unique, les données génomiques et les jeux de données d'images.
Implémentation Open-Source : Mise à disposition d'une implémentation open-source basée sur les bibliothèques openTSNE et CNE (Contrastive Neighbor Embedding).

Résultats expérimentaux

Les auteurs ont évalué DREAMS par rapport aux bases de référence (t-SNE, UMAP, PCA, MDS) et aux méthodes hybrides (TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP) en utilisant deux métriques principales :

KNN (Local) : Rappel des k-plus proches voisins.
CPD (Global) : Corrélation des distances par paires (corrélation de Spearman).

Constats

Compromis supérieur : Sur 10 jeux de données sur 11, DREAMS (avec $\lambda=0,15$ par défaut) a obtenu le score agrégé local-global le plus élevé. Il maintient systématiquement des scores KNN proches de t-SNE tout en atteignant des scores CPD proches de PCA.
Comparaison aux hybrides : DREAMS surpasse les autres méthodes hybrides comme StarMAP et SQuadMDS-hybrid. Plus précisément, DREAMS préserve la structure locale de manière nettement plus efficace que StarMAP (qui utilise UMAP) et offre un compromis global-local plus favorable que SQuadMDS-hybrid.
Qualité du spectre : Le spectre d'incorporations généré par DREAMS offre une transition plus fluide et plus efficace entre les extrêmes locaux et globaux par rapport aux méthodes concurrentes, qui échouent souvent à récupérer les limites pures PCA ou MDS ou souffrent de dégradation des performances aux extrêmes.
Limites : Sur les jeux de données manquant de structure globale proéminente (ex: MNIST), DREAMS ne peut pas maximiser simultanément les deux métriques, car la structure globale elle-même est faible. Dans ces cas, les performances sont comparables aux autres méthodes.

Signification et affirmations

L'article affirme que DREAMS comble une lacune critique en réduction de dimensionnalité en permettant la préservation simultanée des structures locales et globales sans compromis substantiel.

Interprétabilité : En ancrant l'optimisation de t-SNE à une référence PCA, DREAMS produit des visualisations qui sont à la fois localement détaillées (révélant des clusters fins) et globalement cohérentes (préservant les séparations de classes larges), ce qui les rend plus fidèles à la hiérarchie sous-jacente des données.
Flexibilité : La méthode est adaptable ; les utilisateurs peuvent ajuster $\lambda$ pour prioriser les caractéristiques locales ou globales selon leurs besoins analytiques spécifiques, ou changer l'incorporation de référence (ex: vers MDS) si la PCA est sous-optimale pour la géométrie globale d'un jeu de données spécifique.
Praticité : Les auteurs notent que bien que DREAMS introduise un léger surcoût de calcul dû au terme de régularisation, le réglage par défaut ( $\lambda=0,15$ ) fonctionne de manière robuste sur divers jeux de données sans nécessiter un réglage intensif des hyperparamètres.

Les auteurs concluent que DREAMS fournit un outil de visualisation plus fidèle et plus interprétable, particulièrement pour les jeux de données hiérarchiques où plusieurs échelles de structure sont présentes.