🤖 machine learning

DREAMS: Preserving both Local and Global Structure in Dimensionality Reduction

Dit artikel introduceert DREAMS, een methode voor dimensionaliteitsreductie die effectief de balans tussen het behoud van lokale en globale structuren bewaart door de sterke punten van t-SNE en PCA te combineren via een eenvoudige regularisatieterm, waarmee het bestaande benaderingen overtroeft op meerdere real-world datasets.

Oorspronkelijke auteurs: Noël Kury, Dmitry Kobak, Sebastian Damrich

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Noël Kury, Dmitry Kobak, Sebastian Damrich

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, rommelige doos hebt met duizenden verschillende speeltjes. Sommige zijn kleine, ingewikkelde actiefiguren; andere zijn grote, lompe bouwblokken. Je wilt ze op een platte tafel leggen zodat je kunt zien hoe ze zich tot elkaar verhouden.

Het probleem is dat je doos 3D is (of zelfs hoger dimensionaal), maar je tafel is slechts 2D. Wanneer je probeert te vereffenen, moet je een keuze maken:

De "Lokale" Aanpak (t-SNE): Je besluit om de kleine actiefiguren dicht bij elkaar te houden zodat je hun individuele details goed kunt zien. Maar in dat proces kun je per ongeluk de grote bouwblokken overal over de tafel verspreiden, waardoor je het gevoel voor het "grote plaatje" verliest.
De "Globale" Aanpak (PCA): Je besluit om de grote bouwblokken op hun juiste, logische posities ten opzichte van elkaar te houden. Maar in dat geval worden de kleine actiefiguren samengedrukt tot één enkele, wazige vlek, waardoor je ze niet meer van elkaar kunt onderscheiden.

Voor een lange tijd moesten wetenschappers kiezen tussen een van deze twee weergaven. Ze konden niet beide tegelijk hebben: noch de fijne details, noch het grote overzicht.

Maak kennis met DREAMS: De methode die "het beste van beide werelden" combineert

Het artikel introduceert een nieuwe methode genaamd DREAMS (Dimensionality Reduction Enhanced Across Multiple Scales). Denk aan DREAMS als een slimme, verstelbare lens waarmee je de hele scène duidelijk kunt zien terwijl je tegelijkertijd inzoomt op de kleine details.

Zo werkt het, met behulp van een eenvoudige analogie:

Het "Rubber Vel" en de "Magneet"
Stel je voor dat je een rubber vel uitrekt (dit is het t-SNE deel). Je trekt de kleine actiefiguren uit elkaar zodat ze niet overlappen, waardoor je lokale buurten behouden blijft. Dit is geweldig om de kleine details te zien.

Echter, het rubber vel kan te veel uitrekken, waardoor de hele lay-out vervormd raakt. Om dit op te lossen, voegt DREAMS een magneet toe onder het vel (dit is het PCA deel). Deze magneet trekt het hele vel voorzichtig naar een vooraf bepaalde, logische vorm (de "globale structuur").

Als de magneet zwak is: Het rubber vel rekt vrijuit. Je krijgt een gedetailleerde kaart van de kleine figuurtjes, maar het grote plaatje kan er wat wiebelig uitzien.
Als de magneet sterk is: Het vel wordt strak tegen de logische vorm getrokken. Je krijgt een perfect groot plaatje, maar de kleine actiefiguren worden samengedrukt.
Het Juistheidspunt (De DREAMS-oplossing): De auteurs hebben een "Goldilocks"-instelling gevonden voor de sterkte van de magneet. Bij deze instelling rekt het rubber vel genoeg uit om de kleine figuurtjes duidelijk te tonen, maar is de magneet sterk genoeg om de grote bouwblokken op hun juiste, logische plaatsen te houden.

Wat hebben ze ontdekt?

De onderzoekers hebben deze "verstelbare magneet"-methode getest op 11 verschillende real-world datasets, waaronder complexe biologische data (zoals hersencellen) en beelddata (zoals handgeschreven cijfers).

Het werkt beter dan de concurrentie: Wanneer ze DREAMS vergeleken met andere populaire methoden (zoals UMAP, t-SNE en PCA), deed DREAMS consequent het beste werk om zowel de "buurten" (lokale structuur) als de "continenten" (globale structuur) intact te houden.
Een vloeiend spectrum: Een van de coolste functies is dat je aan een draaiknop (de $\lambda$ ) kunt draaien om het beeld te veranderen. Je kunt de knop helemaal naar de "Lokale" kant draaien om de fijne details te zien, helemaal naar de "Globale" kant om het grote plaatje te zien, of ergens ertussenin stoppen voor een perfecte balans.
Real-world voorbeeld: In een dataset van hersencellen lieten standaardmethoden ofwel de brede categorieën cellen zien (neuronen versus niet-neuronen) maar misten ze de specifieke subtypen, óf ze toonden de specifieke celtypen maar raakten de brede categorieën door elkaar. DREAMS toonde beide: de brede groepen stonden op de juiste plek, en de specifieke celtypen waren duidelijk gescheiden binnen die groepen.

De Kern van het Verhaal

DREAMS is een nieuw hulpmiddel dat een oud probleem oplost: hoe je complexe, gelaagde data kunt vereffenen zonder zowel het bos als de bomen uit het oog te verliezen. Door simpelweg een "zachte trek" toe te voegen richting een globale kaart, terwijl je de lokale details laat ademen, creëert het visualisaties die nauwkeuriger en gemakkelijker te begrijpen zijn dan eerdere methoden.

De auteurs merken op dat het iets meer rekenkracht kost om dit "magneet"-systeem te draaien, maar het resultaat is een veel helderder beeld van complexe data, vooral wanneer die data een hiërarchie heeft (zoals een stamboom of een stadskaart met wijken en districten).

Technische Samenvatting: DREAMS – Het behoud van zowel lokale als globale structuur in dimensionaliteitsreductie

Probleemstelling

Dimensionaliteitsreductie (DR) is essentieel voor het visualiseren van hoogdimensionale gegevens, maar bestaande methoden blinken doorgaans uit in het behouden van óf de lokale structuur óf de globale structuur, maar zelden beide tegelijkertijd.

Lokale Structuur: Methoden zoals t-SNE en UMAP zijn effectief in het behouden van buurtrelaties en fijnmazige clusters (bijv. specifieke celtypen), maar vervormen vaak de globale arrangementen (bijv. brede klassenseparaties of ontwikkelingsstadia).
Globale Structuur: Methoden zoals PCA en MDS behouden macroscopische datapatronen en variantie, maar falen vaak in het oplossen van fijne lokale relaties, waardoor onderscheidende clusters samensmelten.

In real-world datasets, zoals single-cell transcriptomics, zijn beide schalen van structuur betekenisvol en complementair. Het verwaarlozen van één schaal kan leiden tot onvolledige of bevooroordeelde interpretaties. Huidige hybride benaderingen worstelen vaak met het effectief balanceren van deze concurrerende doelstellingen of slagen er niet in om de zuivere extremen (standaard PCA of t-SNE) binnen hun optimalisatiespectrum te herstellen.

Methodologie: DREAMS

De auteurs stellen DREAMS voor (Dimensionality Reduction Enhanced Across Multiple Scales), een niet-parametrische methode die de lokale sensitiviteit van t-SNE combineert met het behoud van de globale structuur van PCA via een eenvoudige regularisatieterm.

Kernmechanisme

DREAMS vergroot de standaard t-SNE loss-functie door een kwadratische straf die de laagdimensionale embedding aanmoedigt om te aligneren met een vooraf berekende globale referentie-embedding (standaard: PCA).

De doelfunctie wordt gedefinieerd als:
$L(Y) = (1 - \lambda)L_{t-SNE}(Y) + \lambda \frac{1}{n} \|Y - \alpha \tilde{Y}\|_F^2$

Waar:

$Y$ de laagdimensionale embedding is die wordt geoptimaliseerd.
$L_{t-SNE}(Y)$ de standaard t-SNE loss is (Kullback–Leibler divergentie tussen hoogdimensionale en laagdimensionale gelijkenisverdelingen).
$\tilde{Y}$ de vooraf berekende globale referentie-embedding is (bijv. PCA).
$\lambda \in [0, 1]$ een hyperparameter is die de afweging tussen lokaal en globaal behoud regelt.
$\alpha$ een scalaire schalfactor is die bij elke gradiëntafdaling wordt berekend om de schaal van de t-SNE embedding ( $Y$ ) af te stemmen op de referentie-embedding ( $\tilde{Y}$ ), wat compatibiliteit tussen de lineaire PCA-schaal en de niet-lineaire t-SNE-schaal waarborgt.

Implementatiedetails

Referentie-embedding: Standaard gebruikt DREAMS PCA vanwege de snelheid en interpreteerbaarheid. Echter, het framework ondersteunt andere globale methoden zoals MDS (verwezen als DREAMS-MDS).
Optimalisatie: De methode is geïmplementeerd op basis van de openTSNE bibliotheek, waarbij de regularisatieterm wordt toegevoegd aan de gradiëntafdaling-optimalisatie.
Alternatieve Benadering: De auteurs verkenden ook een "Linear Decoding" variant (DREAMS-CNE-Decoder) met behulp van een trainbare lineaire decoder om de originele data te reconstrueren uit de embedding, maar vonden de vooraf berekende referentie-benadering superieur in het behoud van de lokale structuur.
Spectrum: Door $\lambda$ $λ$ te variëren, genereert DREAMS een continu spectrum van embeddings:
- $\lambda = 0$ : Herstelt standaard t-SNE.
- $\lambda = 1$ : Herstelt de geschaalde PCA-embedding.
- $0 < \lambda < 1$ : Biedt een gebalanceerde afweging.

Belangrijkste Bijdragen

Regularisatiestrategie: Introductie van een eenvoudige, effectieve regularisatieterm die het behoud van de globale structuur (via PCA/MDS) direct integreert in de t-SNE doelfunctie.
Spectrum van Visualisaties: Demonstratie van een afstembaar spectrum van embeddings dat een state-of-the-art afweging biedt tussen het behoud van lokale en globale structuren.
Uitgebreide Benchmarking: Evaluatie van tien algoritmen over elf real-world datasets, incluschend single-cell transcriptomics, genomische data en beelddatasets.
Open-Source Implementatie: Voorziening van een open-source implementatie gebaseerd op de openTSNE en CNE (Contrastive Neighbor Embedding) bibliotheken.

Experimentele Resultaten

De auteurs evalueerden DREAMS tegenover baselines (t-SNE, UMAP, PCA, MDS) en hybride methoden (TriMap, PaCMAP, PHATE, SQuadMDS-hybrid, StarMAP) met behulp van twee primaire metrieken:

KNN (Lokaal): k-nearest neighbor recall.
CPD (Globaal): Correlatie van paarwise afstanden (Spearman correlatie).

Bevindingen

Superieure Afweging: Op 10 van de 11 datasets bereikte DREAMS (met de standaard $\lambda=0.15$ ) de hoogste geaggregeerde lokale-globale score. Het behield consistent KNN-scores die dicht bij t-SNE lagen, terwijl het CPD-scores bereikte die dicht bij PCA lagen.
Vergelijking met Hybriden: DREAMS presteerde beter dan andere hybride methoden zoals StarMAP en SQuadMDS-hybrid. Specifiek behield DREAMS de lokale structuur aanzienlijk beter dan StarMAP (dat UMAP gebruikt) en bood het een gunstigere globale-lokale afweging dan SQuadMDS-hybrid.
Kwaliteit van het Spectrum: Het door DREAMS gegenereerde spectrum van embeddings bood een vloeiendere en effectievere transitie tussen de lokale en globale extremen vergeleken met concurrerende methoden, die vaak faalden om de zuivere PCA- of MDS-limieten te herstellen of leden onder prestatievermindering bij de extremen.
Beperkingen: Op datasets zonder prominente globale structuur (bijv. MNIST), kon DREAMS niet beide metrieken tegelijkertijd maximaliseren, omdat de globale structuur zelf zwak was. In dergelijke gevallen was de prestatie vergelijkbaar met andere methoden.

Betekenis en Claims

Het artikel claimt dat DREAMS een kritieke kloof in dimensionaliteitsreductie aanpakt door het gelijktijdig behoud van zowel lokale als globale structuren mogelijk te maken zonder substantiële compromissen.

Interpreteerbaarheid: Door de t-SNE optimalisatie te verankeren aan een PCA-referentie, produceert DREAMS visualisaties die zowel lokaal gedetailleerd zijn (het onthullen van fijne clusters) als globaal coherent (het behouden van brede klassenseparaties), waardoor ze getrouwer zijn aan de onderliggende datahiërarchie.
Flexibiliteit: De methode is aanpasbaar; gebruikers kunnen $\lambda$ afstemmen om lokale of globale kenmerken te prioriteren op basis van specifieke analytische behoeften, of de referentie-embedding wisselen (bijv. naar MDS) indien PCA suboptimaal is voor de specifieke globale geometrie van een dataset.
Praktische Bruikbaarheid: De auteurs merken op dat hoewel DREAMS een lichte computationele overhead introduceert door de regularisatieterm, de standaardinstelling ( $\lambda=0.15$ ) robuust werkt over diverse datasets zonder dat uitgebreide hyperparameter-tuning vereist is.

De auteurs concluderen dat DREAMS een meer getrouwe en interpreteerbare visualisatietool biedt, met name voor hiërarchische datasets waar meerdere schalen van structuur aanwezig zijn.