🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDR is een omkeerbare dimensionaliteitsreductiemethode gebaseerd op normalizing flows die hoogdimensionale informatie behoudt door ongebruikte coördinaten te behouden, wat de generatie van diagnostische visualisaties zoals conditional spread en hidden contrast mogelijk maakt om de betrouwbaarheid en informatieverlies van 2D-embeddings te kwantificeren.

Oorspronkelijke auteurs: Abdallah Baraka, Daniel Probst

Gepubliceerd 2026-07-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdallah Baraka, Daniel Probst

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een gigantisch, driedimensionaal beeldhouwwerk in een platte, tweedimensionale foto te passen. Hoe je het beeldhouwwerk ook draait, sommige delen zullen overlappen, sommige afstanden zullen uitrekken en sommige details zullen uit het bestaan worden geperst. Dit is de dagelijkse strijd van datawetenschappers die werken met "hoogdimensionale data". Of het nu gaat om miljoenen pixels in een afbeelding, duizenden chemische reacties, of de complexe genetische code van een enkele cel, deze informatie leeft in een wereld met honderden of zelfs duizenden richtingen. Om er zin van te maken, gebruiken we "dimensiereductie" om het plat te drukken op een platte kaart die we daadwerkelijk kunnen zien.

Maar hier komt de adder onder het gras: wanneer je een 3D-object naar 2D drukt, verlies je informatie. Traditionele tools zoals t-SNE of UMAP zijn als bekwame fotografen die een geweldige foto maken, maar de "diepte"-data weggooien. Zodra de foto is genomen, kun je niet meer zien of twee stippen die dicht bij elkaar lijken te liggen, ook echt buren zijn in de echte wereld, of dat ze gewoon toevallig bovenop elkaar zijn beland. Je kunt ook niet zien hoeveel van de oorspronkelijke vorm van het object verborgen blijft achter het platte oppervlak. Wetenschappers maken zich al lang zorgen dat mensen te veel betekenis geven aan deze platte kaarten, door te gissen naar afstanden en groeperingen die de kaart simpelweg niet kan ondersteunen. De grote vraag is geweest: Kunnen we een kaart maken die er goed uitziet, het grote plaatje behoudt, en ons ook precies vertelt wat we niet weten?

Ontmoet FloDR, een nieuwe methode die minder werkt als een camera en meer als een magische, omkeerbare projector. In plaats van alleen een snapshot te nemen en de rest weg te gooien, gebruikt FloDR een speciaal soort wiskundige motor die een "normalizing flow" wordt genoemd. Denk aan deze motor als een rekbaar, transparant vel dat gevouwen en gedraaid kan worden om de data af te vlakken, maar met een superkracht: het scheurt of verliest nooit het weefsel. Het houdt de "diepte"-informatie veilig in een verborgen zak.

Het artikel introduceert FloDR als een manier om deze 2D-kaarten te maken terwijl een geheim back-up van alle verloren informatie wordt bewaard. Wanneer je naar de kaart kijkt, zie je de eerste twee coördinaten, net als een normale foto. Maar onder de motorkap onthoudt FloDR de andere $D-2$ dimensies (de "residuen"). Omdat de wiskunde perfect omkeerbaar is, kunnen de auteurs de kaart achteruit draaien om vragen te stellen als: "Als ik dit punt op de kaart kies, hoeveel van de oorspronkelijke data is nog steeds een mysterie?" of "Hoeveel informatie over een specifiek label (zoals een celtype) hebben we per ongeluk weggegooid?"

De onderzoekers ontdekten dat FloDR een sterke concurrent is voor de meest populaire tools die er zijn. Op vier verschillende benchmark-datasets—inclusief afbeeldingen van handgeschreven cijfers en chemische reactiedata—slaagde FloDR erin om de lokale buurten (de kleine groepen van gelijkaardige zaken) bijna even goed te behouden als de beste bestaande methoden, terwijl het een veel betere taak volbracht in het behouden van de globale structuur (hoe de grote groepen zich tot elkaar verhouden). Sterker nog, op de geteste datasets was FloDR beter dan UMAP in het tegelijkertijd balanceren van zowel de lokale als de globale structuur.

De paper is echter voorzichtig met het claimen dat FloDR perfect is in alles. Het merkt expliciet op dat als je enige doel is om de kleine lokale buurten perfect te houden, een andere tool genaamd openTSNE nog steeds iets beter is. FloDR geeft ook toe dat hoewel het nieuwe, ongeziene datapunten in een oogwenk op de kaart kan projecteren, die punten misschien niet in de exact juiste lokale buurt terechtkomen, tenzij je een snelle extra optimalisatiestap uitvoend. Maar voor het grootste deel biedt FloDR een "best of both worlds"-scenario: een kaart die er goed uitziet, goed aanvoelt en komt met een ingebouwde "waarheidsmeter".

Deze waarheidsmeter is de meest speelse en krachtige functie van de paper. FloDR genereert twee speciale "diagnostische velden" die je over de kaart kunt schilderen:

Conditionele Spreiding: Stel je een mist voor die in bepaalde gebieden dikker wordt. Deze mist vertelt je hoeveel de oorspronkelijke data varieert op die plek. Als de mist dik is, betekent dit dat de kaart dingen heeft samengedrukt die in de echte wereld eigenlijk heel verschillend waren.
Verborgen Contrast: Dit is als een "geheime codeerring". Het vertelt je hoeveel informatie over een specifief label (zoals "is dit een kankercel?") verborgen zit in de delen van de data die je niet kunt zien. Als het verborgen contrast op een plek hoog is, betekent dit dat de 2D-kaart een groot verschil tussen de groepen die daar zitten, verbergt.

Cruciaal is dat de auteurs deze waarden niet alleen geraden hebben; ze hebben ze rigoureus getest. Ze splitsten hun data, trainden de kaart op een deel, en probeerden vervolgens het andere deel te voorspellen om te zien of de diagnostische velden daadwerkelijk de waarheid spraken. Ze vonden dat voor de meeste datasets deze velden de test met hoge betrouwbaarheid doorstonden; bijvoorbeeld, op een dataset van menselijke foetale beenmergcellen werd het verborgen contrast gecertificeerd met een p-waarde van 0,01, wat betekent dat het signaal zeer sterk was en niet slechts willekeurige ruis.

Uiteindelijk geeft FloDR je niet alleen een mooi plaatje; het geeft je een plaatje met een handleiding die de eigen beperkingen uitlegt. Het laat je zien waar de kaart betrouwbaar is en waar het slechts een illusie is. Door de "residuele" data veilig te houden en een omkeerbare wiskundige truc te gebruiken, stelt het wetenschappers in staat om niet alleen de vorm van hun data te zien, maar ook de schaduwen die zij werpt, zodat ze geen conclusies trekken die de projectie nooit had kunnen ondersteunen.

Technische Samenvatting: FloDR – Een Inverteerbare Dimensiereductiemethode Gebaseerd op een Normalising Flow

1. Probleemstelling

Hoogdimensionale data wordt veelal gevisualiseerd met behulp van tweedimensionale embeddings (bijv. t-SNE, UMAP). Deze methoden dwingen lezers echter vaak om de resulterende kaarten te interpreteren voorbij hun statistische ondersteuning. Afstanden tussen clusters, de betekenis van lege ruimtes en de hoeveelheid structuur die verborgen is bij specifieke punten zijn over het algemeen onzichtbaar, omdat de optimalisatieprocessen van standaardmethoden de informatie weggooien die nodig is om dergelijke interpretaties te ondersteunen. Bovendien kampen bestaande methoden met een afruil: neighbor embeddings behouden lokale structuur maar vervormen de globale geometrie, terwijl lineaire methoden (zoals PCA) de globale structuur behouden maar lokale buurten vervagen. Daarnaast vertrouwen parametrische benaderingen die out-of-sample embedding mogelijk maken vaak op aparte, benaderende encoder-decoder paren die geen echte inversen zijn, waardoor model-fouten worden vermengd met verklaringen.

2. Methodologie

FloDR (Flow-based Dimensionality Reduction) pakt deze problemen aan door data te embedden via een inverteerbare normalising flow (een bijjectie $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ) in plaats van een niet-inverteerbare projectie.

Architectuur

Mapping: De kern is een compositie van $L=4$ affine coupling layers (RealNVP-stijl) zonder mixing layers. De input wordt eerst gewit en geroteerd via een vaste lineaire transformatie om de lay-out te initialiseren op de eerste twee hoofdcomponenten.
Embedding vs. Residue: Het model geeft $D$ coördinaten uit. De eerste twee coördinaten ( $y \in \mathbb{R}^2$ ) dienen als de 2D-embedding. De resterende $D-2$ coördinaten ( $r \in \mathbb{R}^{D-2}$ ) worden behouden als een residue in plaats van te worden weggegooid.
Inverteerbaarheid: Omdat de kaart een bijjectie is, kan elk paar $(y, r)$ via de exacte inverse $f^{-1}_\theta$ worden teruggekaatst naar een input $x$ (tot aan de precisie van drijvende komma-berekeningen). Dit maakt exacte dichtheidsschatting mogelijk via de change of variables formule.

Trainingsdoelstelling

De lay-out wordt getraind met een samengestelde verliesfunctie die alleen wordt toegepast op de 2D-coördinaten $y$ :

Lokale Structuur: Volgt UMAP door een fuzzy $k$ -nearest-neighbor graaf ( $k=15$ ) te construeren met aantrekkings- en afstotingstermen.
Globale Structuur:
- Een begrensde mid-range aantrekkingsterm om afstoting tegen te gaan.
- Ordinale Term: Een niet-metrische MDS-term die de tekenwaarde van afstandvergelijkingen tussen paren punten in de inputruimte versus de embeddingruimte optimaliseert. Deze term wordt gecontroleerd door een door de gebruiker aanpasbare gewicht $w$ .
Dichtheidsterm: Een optionele negatieve log-likelihood term die tijdens de training geleidelijk wordt ingezet om te voorkomen dat de inverse kaart de residuele coördinaten te veel uitrekt.

Out-of-Sample Plaatsing

Nieuwe datapunten worden geëmbed via een enkele forward pass ( $y' = f_\theta(x')_{1:2}$ ). Hoewel dit de globale structuur behoudt, kan het falen in het behoud van lokale buurten. Om dit aan te pakken, biedt FloDR een optionele plaatsingsstap (vergelijkbaar met de transform van UMAP) waarbij de positie van een nieuw punt wordt geoptimaliseerd gedurende 200 stappen tegen de aantrekkingsterm van de trainingsburen, terwijl de getrainde kaart bevroren blijft.

3. Belangrijkste Bijdragen: Gecertificeerde Diagnostiek

De primaire innovatie van FloDR is het vermogen om diagnostische velden te genereren die eigenschappen zijn van de distributie van inputs geprojecteerd naar een gegeven 2D-positie, in plaats van artefacten van een hulpmodel. Deze velden worden afgeleid van de exacte inverse en de residuele distributie $p(r|y)$ .

Twee Diagnostische Velden

Conditionele Spreiding ( $\sigma(y)$ ):
- Definitie: $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ .
- Betekenis: Meet hoeveel van de oorspronkelijke inputdata onbepaald blijft bij een specifieke embeddingpositie $y$ . Hoge waarden duiden erop dat de lay-out inputs heeft samengevoegd die in de oorspronkelijke hoogdimensionale ruimte verschillend waren.
- Schatting: Berekend door residuen te trekken uit de passende $p(r|y)$ en deze terug te mappen via de exacte inverse.
Verborgen Contrast ( $h(y)$ ):
- Definitie: $h(y) = I(G; R | Y=y)$ , de wederzijdse informatie tussen een gelabeld contrast $G$ (bijv. celtype) en het residue $R$ , gegeven de embeddingpositie $Y$ .
- Betekenis: Meet hoeveel informatie over een gelabelde groep verloren gaat door de twee geplotte coördinaten. Hoge waarden geven aan dat punten die dicht bij elkaar liggen verschillende groepen zijn die het residue nog steeds kan onderscheiden.
- Schatting: Berekend met behulp van capacity-matched classifiers om $p(G|y)$ en $p(G|y, r)$ te schatten.

Certificeringsproces

Om overinterpretatie te voorkomen, ondergaat elk veld een gecertificeerd validatieproces:

Velden worden gefit op een trainingsset en gevalideerd op een held-out set.
Validatie omvat het binnendozen (binning) van de embeddingruimte en het regresseren van de voorspelling van het veld tegen de werkelijke held-out meting.
Criteria: Een veld is "gecertificeerd" als het de validatietarget volgt met een helling $b \in [0.7, 1.3]$ en $R^2 \geq 0.6$ .
Null-test: Voor verborgen contrast wordt het veld vergeleken met een nulhypothese waarbij labels binnen bins zijn gehusseld.
Resultaat: Velden die deze tests niet doorstaan, worden expliciet gemarkeerd als "geweigerd" in de visualisatie, zodat gebruikers geen onbetrouwbare diagnostiek vertrouwen.

4. Resultaten

De auteurs hebben FloDR geëvalueerd op vier benchmark-datasets (MNIST, Fashion-MNIST, Paul15 myeloid progenitors, Schneider reaction data) en drie single-cell atlassets (menselijk foetaal beenmerg, muis cerebellum, Arabidopsis zaad).

Global vs. Local Trade-off: FloDR bereikt een bijna verticale trade-off curve. Door de ordinale gewicht $w$ aan te passen, neemt de preservatie van de globale structuur (gemeten via de Spearman correlatie van paarwijze afstanden, CPD) aanzienlijk toe (bijv. van 0.337 naar 0.562 op MNIST) met een verwaarloosbaar verlies in lokale buurt-recall.
Vergelijking met Baselines:
- vs. UMAP: FloDR presteert beter dan UMAP op zowel de globale als de lokale assen over alle vier de benchmarks.
- vs. openTSNE: openTSNE behoudt een iets betere lokale structuur, maar tegen een aanzienlijke kost voor de globale structuur.
- vs. PCA: PCA bewaart de globale structuur goed, maar faalt bij lokale buurten. FloDR evenaart of overtreft de globale prestaties van PCA terwijl het de lokale structuur behoudt.
- vs. SQuadMDS: Hoewel SQuadMDS een hogere globale CPD bereikt op single-cell atlassets, behoudt het bijna geen lokale buurtinformatie (recall $\approx 0$ ).
Out-of-Sample Prestaties: De forward pass van FloDR behoudt de globale structuur effectief. Wanneer de optionele plaatsingsstap wordt gebruikt, wordt de lokale fideliteit hersteld tot niveaus die vergelijkbaar zijn met openTSNE op de benchmarks.
Efficiëntie: FloDR is computationeel efficiënt en voltooit embeddings van $10^6$ punten in 222 seconden op een GPU, sneller dan UMAP (403s) en t-SNE (273s).

5. Betekenis en Claims

Het artikel beweert dat FloDR een verschuiving vertegenwoordigt in hoe dimensionaliteitsreductie wordt geïnterpreteerd:

Consistentie van enkelvoudige objecten: In tegenstelling tot methoden die aparte encoders en decoders gebruiken, zijn de lay-out, inverse en dichtheid van FloDR eigenschappen van één enkele getrainde bijjectie. Dit zorgt ervoor dat diagnostische visualisaties worden afgeleid van de exacte inverse van het model dat de lay-out genereerde, en niet van een benaderend hulpnetwerk.
Meetbare Claims: De methode gaat verder dan het "lezen" van een kaart door meetbare claims te maken over de kaart. Door de introductie van de conditionele spreiding en het verborgen contrast veld, kwantificeert FloDR wat er verborgen is in de 2D-projectie.
Falsifieerbaarheid: De inclusie van een certificeringsproces betekent dat diagnostische velden niet slechts visuele overlays zijn, maar empirisch gevalideerd worden. Als een veld de held-out test faalt, wordt het geweigerd, wat voorkomt dat de gebruiker ongegronde conclusies trekt.
Bescheiden Omvang: De auteurs stellen expliciet dat zij niet beweren superieure reconstructiekwaliteit te hebben (decoders zouden de inverse overtreffen), noch beweren zij de dominante methode te zijn op één enkele as (lokaal of globaal) over alle andere methoden. In plaats daarvan wordt FloDR gepresenteerd als een methode die zeer competitief is op beide assen tegelijkertijd en een rigoureus kader biedt voor het interpreteren van de beperkingen van de resulterende 2D-kaart.