Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry

Diese Arbeit adressiert Verzerrungen und Modellierungsfehler beim Lernen von Riemannscher Geometrie für multimodale Daten durch die Isometrisierung der gelernten Struktur und die Balance zwischen Regularität und Ausdrucksstärke der Diffeomorphismen-Parametrisierung, um so die Leistungsfähigkeit und Interpretierbarkeit von Manifold-Learning-Methoden zu verbessern.

Das Wesentliche

🗺️ Die Reise durch die Daten-Welt: Eine Reisekarte für KI

Stellen Sie sich vor, Sie haben einen riesigen Haufen von Daten – vielleicht Millionen von Fotos von Katzen und Hunden. Auf den ersten Blick scheinen diese Daten chaotisch und hochkomplex zu sein (wie ein riesiger, unübersichtlicher Dschungel). Aber die Forscher sagen: „Nein, eigentlich liegen diese Daten auf einer unsichtbaren, glatten Landkarte, die nur wenige Dimensionen hat."

Das nennt man die Manifold-Hypothese. Stellen Sie sich vor, der Dschungel ist eigentlich nur ein schmaler, gewundener Pfad, der sich durch den Raum schlängelt. Wenn Sie diesen Pfad verstehen, können Sie die Daten viel besser sortieren, vergleichen und verstehen.

Das Problem ist: Wie zeichnet man diese Karte? Und wie stellt man sicher, dass man auf dieser Karte nicht verrückt wird?

Diese Arbeit von Willem Diepeveen und Deanna Needell löst genau dieses Problem mit zwei genialen Tricks.

---

🚗 Problem 1: Der unfaire Fahrstuhl (Die Verzerrung)

Stellen Sie sich vor, Sie wollen von Punkt A (eine Katze) zu Punkt B (ein Hund) reisen. Auf Ihrer neuen Karte gibt es einen Pfad dorthin.

Das Problem bei bisherigen Methoden war: Die Geschwindigkeit ist nicht konstant.

• In dichten Bereichen (wo es viele Katzen gibt) fährt man sehr langsam.
• In leeren Bereichen (wo es kaum Daten gibt) rast man wie ein Blitzer.

Die Folge: Wenn Sie versuchen, eine „Mischung" zwischen Katze und Hund zu erstellen (Interpolation), landet Ihre KI plötzlich in einer leeren Gegend, die gar nicht existiert, weil die „Reisezeit" dort zu lang war. Es ist, als würde ein Fahrstuhl in den leeren Stockwerken ewig stehen bleiben und nur in den vollen Stockwerken schnell fahren. Das Ergebnis ist eine verzerrte Welt, in der seltene Daten überbewertet werden.

Die Lösung: Der „Iso-Riemannische" Fahrstuhl
Die Autoren schlagen vor, die Karte so umzubauen, dass man immer mit derselben Geschwindigkeit fährt, egal wo man ist.

• Sie nennen dies Isometrisierung.
• Die Analogie: Stellen Sie sich vor, Sie haben eine Landkarte, auf der die Entfernungen nicht durch die Straßenlänge, sondern durch die Reisezeit gemessen werden. Wenn Sie diese Karte „isometrisieren", stellen Sie sicher, dass 10 Minuten Fahrt immer genau 10 Minuten auf der Uhr bedeuten, egal ob Sie durch den Stadtverkehr oder die Wüste fahren.
• Der Vorteil: Wenn Sie nun von Katze zu Hund reisen, passiert nichts Seltsames mehr. Die KI findet den natürlichen Weg und erstellt perfekte Mischbilder, ohne in leere, sinnlose Bereiche abzugleiten.

---

🎭 Problem 2: Der überaktive Akrobat (Die Unregelmäßigkeit)

Um diese Karten zu lernen, nutzen KI-Modelle sogenannte „Normalizing Flows". Stellen Sie sich diese als einen Akrobaten vor, der die Daten durch einen Tunnel wirbelt, um sie zu ordnen.

• Das alte Problem: Um komplexe Daten (wie viele verschiedene Katzenrassen) zu verstehen, ließen die Forscher den Akrobaten extrem wild turnen. Er machte Purzelbäume, verdrehte sich und war extrem flexibel (ausdrucksstark).
• Die Gefahr: Weil er so wild turnte, vergaß er die Regeln der Physik. An manchen Stellen wurde er so unregelmäßig, dass die Karte an einigen Stellen zerriss oder sich seltsam verformte. Besonders bei Daten mit zwei getrennten Gruppen (z. B. Katzen und Hunde) wusste der Akrobat nicht, wie er sanft von einer Gruppe zur anderen wechseln sollte. Er sprang einfach wild rüber.

Die Lösung: Der disziplinierte Akrobat
Die Autoren sagen: „Wir brauchen immer noch einen flexiblen Akrobaten, aber er muss disziplinierter sein."

• Sie kombinieren alte, solide Techniken (die früher etwas in Vergessenheit geraten waren) mit den neuen, flexiblen Methoden.
• Die Analogie: Statt dem Akrobaten zu erlauben, sich willkürlich zu verdrehen, geben wir ihm ein Gitternetz an die Hand. Er darf sich noch immer bewegen und die Daten formen, aber er darf das Gitter nicht reißen. Er muss sanfte, vorhersehbare Kurven fahren.
• Der Vorteil: Die KI lernt die komplexen Formen der Daten (die vielen Katzenrassen), macht aber keine wilden Sprünge zwischen den Gruppen. Sie findet den sanftesten, logischsten Weg von der Katze zum Hund.

---

🏆 Das große Finale: Die perfekte Kombination

Die Forscher haben in ihren Experimenten (mit künstlichen Daten und echten Bildern wie dem MNIST-Datensatz für Handschriften) gezeigt, dass die Kombination aus beiden Tricks das Beste ergibt:

1. Der disziplinierte Akrobat zeichnet die Karte so, dass sie die Form der Daten korrekt erfasst, ohne wild zu wackeln.
2. Der isometrische Fahrstuhl sorgt dafür, dass man auf dieser Karte immer gleich schnell und fair reist.

Das Ergebnis:

• Wenn man zwei Bilder mischt (z. B. die Zahl „2" in eine „6" verwandelt), sieht der Übergang natürlich aus.
• Wenn man Daten komprimiert (verkleinert), gehen keine wichtigen Informationen verloren.
• Die KI ist fairer: Sie behandelt alle Datenpunkte gleich gut, egal ob sie häufig oder selten vorkommen.

Zusammenfassung in einem Satz

Diese Arbeit zeigt, wie man KI-Modelle so baut, dass sie die Welt der Daten nicht nur formen können, sondern dabei auch die Regeln der Geometrie einhalten, damit die Ergebnisse nicht verzerrt, sondern fair und verständlich sind. Es ist der Unterschied zwischen einem wilden, unvorhersehbaren Ritt und einer sicheren, komfortablen Reise.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert zwei zentrale Herausforderungen beim Lernen von Riemannschen Geometrien auf Datenmanigfaltigkeiten mittels Normalizing Flows (NF), insbesondere im Kontext von multimodalen Daten:

1. Verzerrungen durch fehlende Isometrie: Wenn eine Riemannsche Struktur aus Daten gelernt wird (Pullback-Geometrie), fehlt oft die lokale $\ell_2$-Isometrie auf dem Datenstützgebiet. Dies führt dazu, dass Geodäten (die kürzesten Pfade zwischen Punkten) keine konstante Geschwindigkeit im euklidischen Sinne haben.
   • Folge: Bei der Interpolation (z. B. zwischen zwei Datenpunkten) verbringt die Geodäte unverhältnismäßig viel Zeit in Regionen mit geringer Datendichte. Dies verzerrt die Interpretierbarkeit („welche Datenpunkte liegen typischerweise dazwischen?") und verschlechtert die Leistung bei nicht-linearen Dimensionsreduktionen, da Fehler in der Tangentialraum-Projektion beim Zurückabbilden (Rekonstruktion) verstärkt werden.
2. Irregularität und Modellierungsfehler: Um komplexe, multimodale Datenmanigfaltigkeiten zu lernen, werden oft hochausdrucksstarke (expressive) Normalizing Flows (z. B. affine Couplings oder Spline-Flows) verwendet. Diese benötigen jedoch oft starke Regularisierung, um die gewünschte Isometrie zu erzwingen.
   • Folge: Die Regularisierung verlangsamt das Training und garantiert in datenarmen Regionen (zwischen den Modi) keine lokale Isometrie. Dies führt zu „falschen" Geodäten, die nicht den natürlichen Übergang zwischen den Modi abbilden, und zu inkonsistenten Rekonstruktionsfehlern über den Datensatz hinweg (Ungerechtigkeit/Unfairness).

2. Methodik

Die Autoren schlagen einen zweigleisigen Ansatz vor, um Regularität und Ausdrucksstärke zu vereinen und die geometrischen Verzerrungen zu eliminieren:

A. Iso-Riemannsche Geometrie (Isometrisierung)

Um die Verzerrungen bei der Interpolation und Dimensionsreduktion zu beheben, ohne die zugrunde liegende gelernte Geometrie zu ändern, führen die Autoren eine systematische Reparametrisierung der Mannigfaltigkeits-Abbildungen ein:

• Iso-Geodäten: Eine Umparametrisierung der Geodäten $\gamma(t)$, sodass sie eine konstante $\ell_2$-Geschwindigkeit haben. Dies wird durch eine Zeit-Transformation $\tau(t)$ erreicht, die das Integral der Geschwindigkeit normiert.
• Iso-Logarithmus und Iso-Exponential: Die Abbildungen $\log$ und $\exp$ werden entsprechend skaliert, sodass die Länge des Vektors im Tangentialraum der Bogenlänge der Geodäte entspricht.
• Iso-Paralleltransport: Eine Korrektur des Paralleltransports, um die $\ell_2$-Länge entlang der Geodäte zu erhalten.
• Ziel: Diese Konstruktion definiert eine „Iso-Riemannsche Geometrie", die die gleichen geodätischen Pfade nutzt, aber eine konsistente Geschwindigkeit und Distanzmessung im euklidischen Raum sicherstellt. Dies ermöglicht die direkte Anwendung von Dimensionsreduktionsalgorithmen (wie PCA im Tangentialraum) ohne die durch variable Geschwindigkeit verursachten Verzerrungen.

B. Regelmäßige Normalizing Flows (Parametrisierung und Training)

Um die Modellierungsfehler bei multimodalen Daten zu reduzieren, schlagen die Autoren eine neue Parametrisierung für die Diffeomorphismen vor, die Regularität priorisiert, ohne die Ausdrucksstärke zu opfern:

• Architektur: Anstatt rein nicht-linearer, volumenverändernder Flows, werden Diffeomorphismen als Komposition aus invertierbaren linearen Schichten und additiven Coupling-Schichten mit beschränkten Ableitungen aufgebaut.
  • Die nicht-linearen Aktivierungsfunktionen werden als Summe von $\tanh$-Funktionen mit kleinen Koeffizienten definiert, um die Lipschitz-Konstante zu begrenzen.
  • Die linearen Schichten nutzen orthogonal parametrisierte Matrizen (Householder-Zerlegung) oder Faltungen, die einen konstanten Determinantenwert garantieren (aber nicht zwingend volumenerhaltend im strengen Sinne sind).
• Training: Anstatt komplexer Regularisierungsterme (wie in früheren Arbeiten nötig, um Isometrie zu erzwingen), verwenden die Autoren den standardmäßigen Normalizing-Flow-Verlust (Negative Log-Likelihood) kombiniert mit Weight Decay.
  • Begründung: Durch die Architektur wird die Beschränkung der Ableitungen und ein konstanter Determinant bereits implizit erzwungen. Dies vereinfacht das Training erheblich und verhindert, dass der Flow in datenarmen Regionen „überangepasst" wird.

3. Wichtige Beiträge

1. Iso-Riemannsche Geometrie: Ein formales Framework zur Isometrisierung beliebiger Riemannscher Strukturen auf $\mathbb{R}^d$. Dies löst das Problem der verzerrten Interpolation und verbessert die Stabilität von Dimensionsreduktionsalgorithmen (Rank-$r$-Approximation) signifikant.
2. Regelmäßige, aber expressive Pullback-Geometrie: Eine neue Architektur für Normalizing Flows, die speziell für das Lernen von Pullback-Geometrien entwickelt wurde. Sie kombiniert die Stabilität linearer/regularisierter Schichten mit der Flexibilität nicht-linearer Couplings.
3. Vereinfachtes Training: Der Nachweis, dass bei der richtigen Parametrisierung auf komplexe Regularisierungsterme verzichtet werden kann, was das Training beschleunigt und die Generalisierung auf multimodale Daten verbessert.
4. Synergie-Effekt: Die Kombination aus Iso-Riemannischer Geometrie und regularisierten Flows führt zu den besten Ergebnissen, wobei beide Komponenten unterschiedliche Fehlerquellen adressieren (Modellierungsfehler vs. Abbildungsverzerrungen).

4. Ergebnisse

Die Autoren validieren ihre Methoden an synthetischen Daten (Hemisphäre, bimodale Normalverteilung) und realen Daten (MNIST):

• Interpretierbarkeit: Iso-Geodäten verlaufen natürlicher zwischen den Modi multimodaler Verteilungen und vermeiden das „Verweilen" in niedrigen Dichtebereichen.
• Dimensionsreduktion:
  • Bei synthetischen Daten (Hemisphäre) zeigte die Iso-Riemannsche Approximation (Algorithmus 2) deutlich geringere Rekonstruktionsfehler (relativer RMSE) im Vergleich zur Standard-Pullback-Methode (Algorithmus 1). Der Fehler sank von ca. 0,168 auf 0,115.
  • Bei MNIST war der relative Gewinn kleiner (0,5147 vs. 0,5042), aber die Iso-Methode zeigte eine konsistentere Fehlerverteilung, insbesondere bei Datenpunkten weit vom Baryzentrum entfernt.
• Geodäten-Geschwindigkeit: Die „Geodesic rel-RMSE" (Abweichung von konstanter Geschwindigkeit) wurde durch die Iso-Methode drastisch reduziert (z. B. von 0,2428 auf 0,0156 bei der gelernten Pullback-Struktur).
• Visualisierung: Die Visualisierungen zeigen, dass die Iso-Methoden Verzerrungen eliminieren, die bei der Standard-Pullback-Geometrie zu falschen Darstellungen der Datenstruktur führen (z. B. falsche Abstände im Tangentialraum).

5. Bedeutung und Fazit

Das Paper leistet einen wesentlichen Beitrag zur interpretierbaren und fairen maschinellen Lernforschung durch die Einführung einer stabilen Riemannschen Datenanalyse.

• Theoretische Bedeutung: Es überbrückt die Lücke zwischen der Notwendigkeit von Volumen-erhaltenden (oder isometrischen) Flows für geometrische Stabilität und der Notwendigkeit von volumen-verändernden Flows für generative Modellierung.
• Praktische Relevanz: Die vorgeschlagenen Methoden ermöglichen es, komplexe, multimodale Datenstrukturen zu lernen, ohne dass die resultierenden geometrischen Operationen (Interpolation, Clustering, Dimensionsreduktion) durch Artefakte der Lernmethode verzerrt werden.
• Zukunftsausblick: Die Arbeit legt den Grundstein für skalierbare, datengetriebene Riemannsche Geometrie, die sowohl für interpretierbare KI als auch für Anwendungen, bei denen Fairness und Konsistenz entscheidend sind (z. B. durch Vermeidung von überproportionalen Fehlern in bestimmten Datenclustern), geeignet ist.

Zusammenfassend demonstrieren die Autoren, dass durch die Kombination von Isometrisierung der Abbildungen und Regularisierung der Parametrisierung die Grenzen des aktuellen Manifold-Learnings überwunden werden können.