🤖 machine learning

FloDR: An invertible dimensionality reduction method based on a normalising flow

FloDR ist eine invertierbare Methode zur Dimensionsreduktion, die auf Normalizing Flows basiert und hochdimensionale Informationen durch das Beibehalten ungenutzter Koordinaten bewahrt, wodurch die Generierung diagnostischer Visualisierungen wie Conditional Spread und Hidden Contrast ermöglicht wird, um die Zuverlässigkeit und den Informationsverlust von 2D-Einbettungen zu quantifizieren.

Ursprüngliche Autoren: Abdallah Baraka, Daniel Probst

Veröffentlicht 2026-07-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abdallah Baraka, Daniel Probst

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, dreidimensionale Skulptur in eine flache, zweidimensionale Fotografie einzupassen. Egal, wie Sie die Skulptur drehen, einige Teile werden sich überlagern, einige Abstände werden sich dehnen und einige Details werden aus der Existenz gepresst werden. Dies ist der tägliche Kampf von Datenwissenschaftlern, die mit „hochdimensionalen Daten“ arbeiten. Ob es Millionen von Pixeln in einem Bild, tausende chemische Reaktionen oder der komplexe genetische Code einer einzelnen Zelle sind – diese Informationen leben in einer Welt mit hunderten oder sogar tausenden Richtungen. Um sie begreifbar zu machen, nutzen wir „Dimensionalitätsreduktion“, um sie auf eine flache Karte zu stauchen, die wir tatsächlich sehen können.

Aber hier liegt der Haken: Wenn man ein 3D-Objekt in 2D staucht, verliert man Informationen. Traditionelle Werkzeuge wie t-SNE oder UMAP sind wie geschickte Fotografen, die ein tolles Bild machen, aber dabei die „Tiefen“-Daten wegwerfen. Sobald das Foto aufgenommen ist, kann man nicht mehr sagen, ob zwei Punkte, die nah beieinander aussehen, im wirklichen Leben tatsächlich Nachbarn sind oder ob sie nur zufällig übereinander gelandet sind. Man kann auch nicht sagen, wie viel des ursprünglichen Objekts durch die flache Oberfläche verborgen bleibt. Wissenschaftler haben sich lange Zeit Sorgen gemacht, dass Menschen zu viel in diese flachen Karten hineinlesen und Abstände sowie Gruppierungen vermuten, die die Karte schlichtweg nicht unterstützen kann. Die große Frage war: Können wir eine Karte erstellen, die gut aussieht, das große Ganze bewahrt und uns gleichzeitig genau sagt, was wir nicht wissen?

Hier kommt FloDR ins Spiel, eine neue Methode, die weniger wie eine Kamera und mehr wie ein magischer, reversibler Projektor wirkt. Anstatt nur eine Momentaufnahme zu machen und den Rest wegzuwerfen, nutzt FloDR eine spezielle Art von mathematischem Motor, einen sogenannten „Normalizing Flow“. Denken Sie an diesen Motor als ein elastisches, transparentes Tuch, das gefaltet und verdreht werden kann, um die Daten zu flach zu legen, aber mit einer Superkraft: Es reißt oder verliert niemals das Gewebe. Es hält die „Tiefen“-Informationen sicher in einer versteckten Tasche auf.

Das Paper stellt FloDR als eine Möglichkeit vor, diese 2D-Karten zu erstellen, während es gleichzeitig ein geheimes Backup aller verlorenen Informationen bewahrt. Wenn man auf die Karte schaut, sieht man die ersten zwei Koordinaten, genau wie bei einem normalen Bild. Aber unter der Haube erinnert sich FloDR jedoch an die anderen $D-2$ Dimensionen (die „Residuals“). Da die Mathematik perfekt reversibel ist, können die Autoren die Karte rückwärts laufen lassen, um Fragen zu stellen wie: „Wenn ich diesen Punkt auf der Karte wähle, wie viel der ursprünglichen Daten bleibt noch ein Mysterium?“ oder „Wie viel Information über ein bestimmtes Label (wie etwa einen Zelltyp) haben wir versehentlich weggeworfen?“

Die Forscher fanden heraus, dass FloDR ein starker Konkurrent zu den populärsten Werkzeugen da draußen ist. Auf vier verschiedenen Benchmark-Datensätzen – darunter Bilder handgeschriebener Ziffern und chemische Reaktionsdaten – gelang es FloDR, die lokalen Nachbarschaften (die kleinen Gruppen ähnlicher Dinge) fast so gut zu erhalten wie die besten existierenden Methoden, während es gleichzeitig viel besser darin war, die globale Struktur (wie die großen Gruppen zueinander stehen) zu bewahren. Tatsächlich war FloDR bei den getesteten Datensätzen besser als UMAP darin, sowohl lokale als auch globale Strukturen gleichzeitig in Einklang zu bringen.

Das Paper ist jedoch vorsichtig damit, zu behaupten, FloDR sei in allem perfekt. Es merkt explizit an, dass, wenn Ihr einziger Fokus darauf liegt, winzige lokale Nachbarschaften perfekt zu halten, ein anderes Werkzeug namens openTSNE immer noch etwas besser ist. FloDR gibt auch zu, dass es zwar neue, bisher ungesehene Datenpunkte in einem Augenblick auf die Karte projizieren kann, diese Punkte aber nicht unbedingt im exakt richtigen lokalen Nachbarschaftsbereich landen, sofern man nicht einen schnellen zusätzlichen Optimierungsschritt durchführt. Aber im Großen und Ganzen bietet FloDR ein „Best-of-both-worlds“-Szenario: Eine Karte, die richtig aussieht, sich richtig anfühlt und mit einem eingebauten „Wahrheitsmesser“ ausgestattet ist.

Dieser Wahrheitsmesser ist das spielerischste und zugleich mächtigste Feature des Papers. FloDR erzeugt zwei spezielle „Diagnosefelder“, die man über die Karte legen kann:

Bedingte Streuung (Conditional Spread): Stellen Sie sich einen Nebel vor, der in bestimmten Bereichen dichter wird. Dieser Nebel sagt Ihnen, wie stark die ursprünglichen Daten an dieser Stelle variieren. Wenn der Nebel dicht ist, bedeutet das, dass die Karte Dinge zusammengestaucht hat, die in der Realität eigentlich sehr verschieden waren.
Verborgener Kontrast (Hidden Contrast): Dies ist wie ein „Geheimschlüssel“. Er verrät Ihnen, wie viel Information über ein spezifisches Label (wie „ist dies eine Krebszelle?“) in den Teilen der Daten verborgen ist, die Sie nicht sehen können. Wenn der verborgene Kontrast an einer Stelle hoch ist, bedeutet das, dass die 2D-Karte einen großen Unterschied zwischen den dort sitzenden Gruppen verbirgt.

Entscheidend ist, dass die Autoren diese Werte nicht nur geraten haben; sie haben sie rigoros getestet. Sie spalteten ihre Daten auf, trainierten die Karte auf einem Teil und versuchten dann, den anderen Teil vorherzusagen, um zu sehen, ob die Diagnosefelder tatsächlich die Wahrheit sagen. Sie fanden heraus, dass diese Felder für die meisten Datensätze die Tests mit hoher Konfidenz bestanden. Beispielsweise wurde der verborgene Kontrast bei einem Datensatz menschlicher fetaler Knochenmarkzellen mit einem p-Wert von 0,01 zertifiziert, was bedeutet, dass das Signal sehr stark und nicht bloß zufälliges Rauschen war.

Letztendlich liefert FloDR nicht nur ein hübsches Bild; es liefert ein Bild mit einer Bedienungsanleitung, die seine eigenen Grenzen erklärt. Es zeigt Ihnen, wo die Karte vertrauenswürdig ist und wo sie nur eine Illusion ist. Indem es die „Residual“-Daten sicher verwahrt und einen reversiblen mathematischen Trick anwendet, ermöglicht es Wissenschaftlern, nicht nur die Form ihrer Daten zu sehen, sondern auch die Schatten, die diese werfen – und stellt sicher, dass sie keine Schlussfolgerungen ziehen, die die Projektion gar nicht zu unterstützen vermag.

Technisches Resümee: FloDR – Eine invertierbare Methode zur Dimensionsreduktion basierend auf einem Normalizing Flow

1. Problemstellung

Hochdimensionale Daten werden häufig mittels zweidimensionaler Embeddings visualisiert (z. B. t-SNE, UMAP). Diese Methoden zwingen den Leser jedoch oft dazu, die resultierenden Karten über deren statistische Unterstützung hinaus zu interpretieren. Abstände zwischen Clustern, die Signifikanz leerer Räume und das Ausmaß der verborgenen Struktur an spezifischen Punkten sind im Allgemeinen unsichtbar, da die Optimierungsprozesse standardmäßiger Methoden die Informationen verwerfen, die für eine solche Interpretation erforderlich wären. Darüber hinaus stehen bestehende Methoden vor einem Zielkonflikt: Neighbor-Embeddings bewahren die lokale Struktur, verzerren aber die globale Geometrie, während lineare Methoden (wie PCA) die globale Struktur bewahren, aber lokale Nachbarschaften verschleiern. Zudem verlassen sich parametrische Ansätze, die Out-of-Sample-Embeddings ermöglichen, oft auf separate, approximative Encoder-Decoder-Paare, die keine echten Inversen sind und dadurch Modellfehler in die Erklärungen mischen.

2. Methodik

FloDR (Flow-based Dimensionality Reduction) adressiert diese Probleme durch die Einbettung von Daten mittels eines invertierbaren Normalizing Flows (eine Bijektion $f_\theta: \mathbb{R}^D \to \mathbb{R}^D$ ) anstatt einer nicht-invertierbaren Projektion.

Architektur

Mapping: Der Kern besteht aus einer Komposition von $L=4$ Affine Coupling Layern (RealNVP-Stil) ohne Mixing-Layer. Der Input wird zunächst über eine feste lineare Transformation geweißt (whitened) und rotiert, um das Layout auf den ersten zwei Hauptkomponenten zu initialisieren.
Embedding vs. Residuum: Das Modell gibt $D$ Koordinaten aus. Die ersten zwei Koordinaten ( $y \in \mathbb{R}^2$ ) dienen als 2D-Embedding. Die verbleibenden $D-2$ Koordinaten ( $r \in \mathbb{R}^{D-2}$ ) werden als Residuum beibehalten, anstatt sie zu verwerfen.
Invertierbarkeit: Da die Abbildung eine Bijektion ist, kann jedes Paar $(y, r)$ über die exakte Inverse $f^{-1}_\theta$ zu einem Input $x$ zurückgeführt werden (bis auf Fließkomma-Rundungsfehler). Dies ermöglicht eine exakte Dichteschätzung mittels der Change-of-Variables-Formel.

Trainingsziel

Das Layout wird unter Verwendung einer zusammengesetzten Verlustfunktion trainiert, die nur auf die 2D-Koordinaten $y$ angewendet wird:

Lokale Struktur: Folgt UMAP durch Konstruktion eines Fuzzy $k$ -Nearest-Neighbor-Graphen ( $k=15$ ) mit Attraktions- und Repulsions-Termen.
Globale Struktur:
- Ein begrenzter Mid-Range-Attraktionsterm, um der Repulsion entgegenzuwirken.
- Ordinaler Term: Ein nicht-metrischer MDS-Term, der das Vorzeichen von Distanzvergleichen zwischen Paaren von Punkten im Input-Raum gegenüber dem Embedding-Raum optimiert. Dieser Term wird durch ein benutzeranpassbares Gewicht $w$ gesteuert.
Dichteterm: Ein optionaler Negative-Log-Likelihood-Term wird während des Trainings hochgefahren, um zu verhindern, dass die inverse Abbildung die Residuen-Koordinaten übermäßig dehnt.

Out-of-Sample Platzierung

Neue Datenpunkte werden via eines einzigen Forward-Passes eingebettet ( $y' = f_\theta(x')_{1:2}$ ). Während dies die globale Struktur bewahrt, kann es die lokalen Nachbarschaften vernachlässigen. Um dies zu adressieren, bietet FloDR einen optionalen Placement-Schritt (ähnlich dem UMAP-Transform), bei dem die Position eines neuen Punktes über 200 Schritte gegen den Attraktionsterm der Trainings-Nachbarn optimiert wird, während die trainierte Map eingefroren bleibt.

3. Kernbeitrag: Zertifizierte Diagnostik

Die primäre Innovation von FloDR ist die Fähigkeit, diagnostische Felder zu generieren, die Eigenschaften der Verteilung der Inputs sind, die auf eine gegebene 2D-Position projiziert wurden, anstatt Artefakte eines Hilfsmodells zu sein. Diese Felder werden aus der exakten Inversen und der Residuenverteilung $p(r|y)$ abgeleitet.

Zwei diagnostische Felder

Bedingte Streuung ( $\sigma(y)$ ):
- Definition: $\sigma(y) = \sqrt{\text{trace}(\text{Cov}(x | y))}$ .
- Bedeutung: Misst, wie viel der ursprünglichen Input-Daten an einer spezifischen Embedding-Position $y$ unbestimmt bleiben. Hohe Werte deuten darauf hin, dass das Layout Inputs zusammengeführt hat, die im hochdimensionalen Raum unterscheidbar waren.
- Schätzung: Berechnet durch Ziehen von Residuen aus der gefitteten $p(r|y)$ und deren Rückprojektion durch die exakte Inverse.
Verborgener Kontrast ( $h(y)$ ):
- Definition: $h(y) = I(G; R | Y=y)$ , die gegenseitige Information zwischen einem gelabelten Kontrast $G$ (z. B. Zelltyp) und dem Residuum $R$ , gegeben die Embedding-Position $Y$ .
- Bedeutung: Misst, wie viel Information über eine gelabelte Gruppe durch die zwei geplotteten Koordinaten verworfen wird. Hohe Werte deuten darauf hin, dass Punkte, die nah beieinander liegen, unterschiedliche Gruppen repräsentieren, die das Residuum noch unterscheiden kann.
- Schätzung: Berechnet mittels Kapazitäts-angepasster Klassifikatoren zur Schätzung von $p(G|y)$ und $p(G|y, r)$ .

Zertifizierungsprozess

Um Überinterpretation zu vermeiden, durchläuft jedes Feld einen Held-out-Zertifizierungsprozess:

Felder werden auf einem Trainingssatz gefittet und auf einem Held-out-Satz validiert.
Die Validierung erfolgt durch Binning des Embedding-Raums und Regression der Vorhersage des Feldes gegen die tatsächliche Held-out-Messung.
Kriterien: Ein Feld ist „zertifiziert“, wenn es das Validierungsziel mit einer Steigung $b \in [0.7, 1.3]$ und $R^2 \geq 0.6$ verfolgt.
Nulltest: Für den verborgenen Kontrast wird das Feld gegen eine Nullhypothese getestet, bei der Labels innerhalb der Bins gemischt wurden.
Ergebnis: Felder, die diese Tests nicht bestehen, werden explizit als „verweigert“ (refused) markiert, um sicherzustellen, dass Nutzer keine unzuverlässigen Diagnosen interpretieren.

4. Ergebnisse

Die Autoren evaluierten FloDR auf vier Benchmark-Datensätzen (MNIST, Fashion-MNIST, Paul15 Myeloid Progenitors, Schneider Reaction Data) und drei Single-Cell-Atlanten (menschliches fetales Knochenmark, Maus-Kleinhirn, Arabidopsis-Samen).

Globaler vs. lokaler Trade-off: FloDR erreicht eine nahezu vertikale Trade-off-Kurve. Durch Abstimmung des Ordinal-Gewichts $w$ steigt die Bewahrung der globalen Struktur (gemessen an der Spearman-Korrelation paarweiser Distanzen, CPD) erheblich (z. B. von 0.337 auf 0.562 bei MNIST) bei vernachlässigbarem Verlust der lokalen Nachbarschafts-Recall.
Vergleich mit Baselines:
- vs. UMAP: FloDR übertrifft UMAP sowohl auf der globalen als auch auf der lokalen Achse über alle vier Benchmarks hinweg.
- vs. openTSNE: openTSNE behält eine etwas bessere lokale Struktur bei, jedoch um den Preis einer signifikanten Verschlechterung der globalen Struktur.
- vs. PCA: PCA bewahrt die globale Struktur gut, scheitert aber an lokalen Nachbarschaften. FloDR erreicht oder übertrifft die globale Performance von PCA bei gleichzeitiger Aufrechterhaltung der lokalen Struktur.
- vs. SQuadMDS: Während SQuadMDS eine höhere globale CPD auf Single-Cell-Atlanten erreicht, bewahrt es fast keine lokale Nachbarschaftsinformation (Recall $\approx 0$ ).
Out-of-Sample Performance: Der Forward-Pass von FloDR bewahrt die globale Struktur effektiv. Wenn der optionale Placement-Schritt verwendet wird, wird die lokale Treue auf ein Niveau vergleichbar mit openTSNE auf den Benchmarks wiederhergestellt.
Effizienz: FloDR ist recheneffizient und schließt Embeddings von $10^6$ Punkten in 222 Sekunden auf einer GPU ab, was schneller ist als UMAP (403s) und t-SNE (273s).

5. Bedeutung und Ansprüche

Das Paper behauptet, dass FloDR einen Paradigmenwechsel in der Interpretation der Dimensionsreduktion darstellt:

Konsistenz des Einzelobjekts: Im Gegensatz zu Methoden, die separate Encoder und Decoder verwenden, sind das Layout, die Inverse und die Dichte von FloDR Eigenschaften einer einzigen trainierten Bijektion. Dies stellt sicher, dass diagnostische Visualisierungen aus der exakten Inversen des Modells abgeleitet werden, das das Layout erzeugt hat, und nicht aus einem approximativen Hilfsnetzwerk.
Messbare Behauptungen: Die Methode geht über das bloße „Lesen“ einer Karte hinaus und ermöglicht messbare Aussagen über diese. Durch die Einführung der Felder für bedingte Streuung und verborgenen Kontrast quantifiziert FloDR, was in der 2D-Projektion verborgen bleibt.
Falsifizierbarkeit: Die Einbeziehung eines Zertifizierungsprozesses bedeutet, dass diagnostische Felder nicht nur visuelle Overlays sind, sondern empirisch validiert werden. Wenn ein Feld den Held-out-Test nicht besteht, wird es abgelehnt, um zu verhindern, dass der Nutzer unbegründete Schlussfolgerungen zieht.
Bescheidener Umfang: Die Autoren betonen explizit, dass sie nicht beanspruchen, eine überlegene Rekonstruktionsqualität zu liefern (Decoder würden die Inverse übertreffen), noch dass sie eine einzelne Achse (lokal oder global) gegenüber allen anderen Methoden dominieren. Stattdessen wird FloDR als eine Methode präsentiert, die auf beiden Achsen gleichzeitig hochgradig kompetitiv ist und einen rigorosen Rahmen zur Interpretation der Limitationen der resultierenden 2D-Karte bietet.