GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need

Diese Arbeit stellt eine neue Methode vor, die die verallgemeinerte Singulärwertzerlegung (GSVD) nutzt, um einen interpretierbaren „Winkel-Score" zu berechnen, der für jede einzelne Stichprobe quantifiziert, ob sie eher durch den einen oder den anderen Datensatz geometrisch erklärt wird.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschung, basierend auf dem vorliegenden Papier.

Der Kern: Ein geometrischer Kompass für Daten

Stellen Sie sich vor, Sie haben zwei riesige Bibliotheken voller Bücher.

• Bibliothek A enthält nur Bücher über Küchenrezepte.
• Bibliothek B enthält nur Bücher über Raumfahrt.

Normalerweise vergleichen wir solche Bibliotheken, indem wir einen Experten fragen: „Ist dieses neue Buch eher ein Kochbuch oder ein Raumfahrtbuch?" Das ist wie ein Klassifikator im maschinellen Lernen.

Die Autoren dieses Papers sagen jedoch: „Warten Sie mal! Schauen wir uns nicht nur den Inhalt an, sondern die Struktur der Bibliotheken selbst."

Ihre Idee ist, dass jede Bibliothek einen eigenen „Raum" oder eine eigene „Geometrie" hat. Ein Kochbuch passt perfekt in die Küche (Bibliothek A), aber es fühlt sich in der Raumfahrt-Bibliothek (Bibliothek B) fremd an, wie ein Kochlöffel im Cockpit eines Raumschiffs.

Das Werkzeug: GSVD (Der gemeinsame Übersetzer)

Um diese beiden Welten zu vergleichen, brauchen wir einen gemeinsamen Boden. Die Autoren nutzen eine mathematische Methode namens GSVD (Generalized Singular Value Decomposition).

Stellen Sie sich die GSVD wie einen gemeinsamen Übersetzer oder einen neuen Koordinaten-Raum vor, der beide Bibliotheken gleichzeitig betrachtet.

• Dieser Übersetzer findet heraus: „Okay, in diesem Raum gibt es Richtungen, die nur in der Küche wichtig sind (z. B. 'Zutaten'). Es gibt Richtungen, die nur in der Raumfahrt wichtig sind (z. B. 'Triebwerke'). Und es gibt Richtungen, die in beiden wichtig sind (z. B. 'Logik' oder 'Struktur')."

Das Besondere an dieser Methode ist, dass sie nicht nur sagt, ob zwei Dinge ähnlich sind, sondern wie sie ähnlich sind. Sie trennt das „Gemeinsame" vom „Spezifischen".

Der Hauptakteur: Der „Ausrichtungs-Winkel" (Alignment Angle)

Das Herzstück des Papers ist eine einfache Zahl, die sie den Ausrichtungs-Winkel ($\theta$) nennen.

Stellen Sie sich vor, Sie halten eine neue Buchseite in der Hand (ein neues Datenpunkt, z. B. ein Bild einer Ziffer). Sie fragen sich: „Passt dieses Bild eher zur Küche (A) oder zur Raumfahrt (B)?"

Der Winkel gibt Ihnen die Antwort:

• Winkel nahe 0°: Das Bild passt perfekt in die Küche (Bibliothek A). Es ist ein klassisches Kochbuch.
• Winkel nahe 90°: Das Bild passt perfekt in die Raumfahrt (Bibliothek B). Es ist ein klassisches Technikbuch.
• Winkel genau 45°: Das Bild ist eine Mischung. Vielleicht ist es ein Buch über „Essen im Weltraum". Es passt zu beiden Bibliotheken gleichermaßen.

Warum ist das genial?
Statt nur zu sagen „Das ist ein Kochbuch", sagt der Winkel: „Das ist ein Kochbuch, aber es hat 10 % Raumfahrt-Charakter." Das ist viel informativer!

Ein konkretes Beispiel: Die Ziffern 4 und 9

Die Autoren haben dies mit dem MNIST-Datensatz getestet (Handgeschriebene Ziffern).

• Sie verglichen die Ziffer 4 mit der Ziffer 9.
• Bei den meisten Bildern war der Winkel klar: Entweder war es eine 4 (nahe 0°) oder eine 9 (nahe 90°).
• Aber bei manchen Bildern (die krumm geschrieben waren) landete der Winkel genau in der Mitte (45°). Das bedeutet: Diese krumme 4 sieht so aus wie eine 9, und umgekehrt.

Die Methode kann also nicht nur klassifizieren, sondern auch diagnostizieren: „Aha, dieses Bild ist verwirrend, weil es geometrisch genau in der Mitte zwischen den beiden Kategorien liegt."

Was können wir damit anfangen?

1. Fehler finden: Wenn ein Bild, das eigentlich eine „1" sein sollte, einen Winkel von 85° hat (also eher wie eine „5" aussieht), wissen wir sofort: „Hier stimmt etwas nicht mit dem Bild oder dem Modell."
2. Versteckte Muster sehen: Man kann die „extremen Richtungen" visualisieren. Das sind die idealisierten Bilder, die nur zur Ziffer 4 gehören oder nur zur Ziffer 9. Man kann diese als „Geisterbilder" ansehen, die zeigen, was jede Kategorie wirklich ausmacht.
3. Bessere Entscheidungen: Anstatt blind zu vertrauen, dass ein Computer sagt „Das ist eine 4", können wir den Winkel prüfen. Ist der Winkel 46°? Dann sind wir uns nicht sicher. Ist er 5°? Dann sind wir uns zu 100% sicher.

Zusammenfassung in einem Satz

Die Autoren haben einen neuen mathematischen Kompass entwickelt, der nicht nur sagt, zu welcher Gruppe ein Datenpunkt gehört, sondern wie stark er zu dieser Gruppe passt und wo er sich genau zwischen den Welten befindet – alles basierend auf der geometrischen Form der Daten, nicht nur auf oberflächlichen Ähnlichkeiten.

Es ist wie ein Detektiv, der nicht nur fragt „Wer war der Täter?", sondern auch „Wie sehr passt dieser Verdächtige in das Profil des Verbrechens?"

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „GSVD FOR GEOMETRY-GROUNDED DATASET COMPARISON: AN ALIGNMENT ANGLE IS ALL YOU NEED" auf Deutsch.

1. Problemstellung und Motivation

Das Paper adressiert das Problem des Vergleichs von Datensätzen im Bereich des maschinellen Lernens. Herkömmliche Methoden vergleichen Datensätze oft indirekt über trainierte Modelle oder Distanzen zwischen Embeddings. Diese Ansätze können jedoch die zugrunde liegenden geometrischen Gründe für Ähnlichkeiten oder Unterschiede verschleiern.

Die Autoren argumentieren für einen geometrie-basierten Ansatz („Geometry-Grounded Learning"). Viele reale Datensätze konzentrieren sich auf niedrigdimensionale Strukturen und weisen teilweise gemeinsame latente Faktoren sowie domänenspezifische Richtungen auf. Wenn zwei Datensätze $A$ und $B$ in einem gemeinsamen umgebenden Merkmalsraum (z. B. Rohpixel oder feste Embeddings) existieren, ist ihre geometrische Beziehung an sich aussagekräftig.

Das zentrale Ziel ist es, eine minimale, interpretierbare Metrik zu entwickeln, die für eine einzelne Stichprobe $z$ quantifiziert, ob diese eher durch den Datensatz $A$, eher durch $B$ oder durch beide (gemeinsame Struktur) erklärt wird.

2. Methodik

Die vorgeschlagene Methode basiert auf der Formulierung linearer Beziehungen zwischen zwei Datenmatrizen und der Nutzung der Generalisierten Singulärwertzerlegung (GSVD).

2.1 Das Primitive: Co-Span-Beziehung

Statt Punktzuordnungen (Pointwise Correspondences) zwischen den Datensätzen zu erzwingen, definieren die Autoren eine lineare Relation im „Co-Span":
$$Ax = By = z$$
Dabei sind $A \in \mathbb{R}^{d \times p}$ und $B \in \mathbb{R}^{d \times q}$ die Datenmatrizen (Spalten sind Beobachtungen), $x$ und $y$ Koeffizientenvektoren und $z \in \mathbb{R}^d$ ein gemeinsamer Vektor im umgebenden Raum. Diese Gleichung drückt aus, dass $z$ sowohl durch $A$ als auch durch $B$ darstellbar ist.

2.2 GSVD als gemeinsames Koordinatensystem

Um diese Beziehung zu operationalisieren, wird die GSVD verwendet. Für Matrizen $A$ und $B$ mit gleicher Zeilendimension $d$ liefert die GSVD eine Zerlegung:
$$A = HCU, \quad B = HSV$$
mit $C^\top C + S^\top S = I$.

• $H$: Definiert ein gemeinsames, umgebendes Referenzsystem (Basis).
• $U, V$: Orthogonale Matrizen.
• $C, S$: Diagonale (oder block-diagonale) Matrizen mit nicht-negativen Einträgen.

Die Struktur von $C$ und $S$ ist entscheidend:

• Einträge, bei denen $C$ dominiert, entsprechen Richtungen, die primär durch $A$ erklärt werden.
• Einträge, bei denen $S$ dominiert, entsprechen Richtungen, die primär durch $B$ erklärt werden.
• Vergleichbare Größenordnungen beider Matrizen deuten auf gemeinsame Struktur hin.

2.3 Der Ausrichtungs-Winkel $\theta(z)$

Aus den GSVD-Faktoren wird ein interpretierbarer Score für jede Stichprobe $z$ abgeleitet, der Ausrichtungs-Winkel (Alignment Angle) $\theta(z) \in [0, \pi/2]$.

Für eine Stichprobe $z$ werden die minimalen $\ell_2$-Norm-Koeffizienten $x$ und $y$ berechnet, die $Ax = By = z$ erfüllen (unter der Bedingung $x \perp \text{Ker}(A)$ und $y \perp \text{Ker}(B)$). Der Winkel wird definiert als:
$$\theta(z) = \arctan\left(\frac{\|x\|_2}{\|y\|_2}\right)$$

Interpretation:

• $\theta(z) \approx 0$: Die Stichprobe wird effizienter durch $A$ erklärt („mehr A").
• $\theta(z) \approx \pi/2$: Die Stichprobe wird effizienter durch $B$ erklärt („mehr B").
• $\theta(z) \approx \pi/4$: Die Stichprobe wird von beiden Datensätzen ähnlich gut erklärt (gemeinsame Struktur).

In der Praxis wird $\theta(z)$ effizient über die GSVD-Faktoren berechnet:
$$\theta(z) = \arctan\left(\frac{\|C^\dagger c(z)\|_2}{\|S^\dagger c(z)\|_2}\right), \quad \text{mit } c(z) = H^\dagger z$$
wobei $C^\dagger$ und $S^\dagger$ die Moore-Penrose-Pseudoinversen sind.

2.4 Extremrichtungen und Visualisierung

Das Paper zeigt auch, wie man repräsentative Vektoren findet, die den Winkel maximieren oder minimieren. Diese entsprechen bestimmten Spalten der Matrix $H$ und visualisieren die „reinsten" Merkmale von $A$ bzw. $B$ sowie gemischte Merkmale.

3. Wichtige Beiträge

1. Co-Span-Primitive: Einführung der linearen Relation $Ax=By=z$ als grundlegendes, geometrie-basiertes Werkzeug zum Vergleich von Datensätzen ohne Notwendigkeit von Punktzuordnungen.
2. GSVD als Joint Frame: Nutzung der GSVD, um gemeinsame und domänenspezifische Richtungen explizit durch die Diagonalmatrizen $C$ und $S$ zu trennen.
3. Interpretierbarer Winkel-Score: Ableitung von $\theta(z)$ als metrisches Maß für die relative Erklärungskraft eines Datensatzes pro Stichprobe. Dies ermöglicht eine binäre Klassifikation und diagnostische Analysen.
4. Geometrische und probabilistische Interpretation: Verbindung des linearen Winkels zur Informationstheorie. Es wird gezeigt, dass $\theta(z)$ eine Bernoulli-Posterior-Wahrscheinlichkeit induziert und die Fisher-Rao-Distanz zwischen den Winkel-Histogrammen als Maß für die globale Trennbarkeit der Datensätze dient.

4. Ergebnisse (Experimente auf MNIST)

Die Methode wurde auf dem MNIST-Datensatz (Ziffern 0–9) evaluiert.

• Setup: Zwei Ziffernklassen (z. B. „1" vs. „5") wurden als Matrizen $A$ und $B$ konstruiert. Für Testbilder wurde $\theta(z)$ berechnet.
• Verteilungen:
  • Bei visuell unterschiedlichen Klassen (z. B. „1" vs. „5") konzentrieren sich die Histogramme von $\theta(z)$ klar an den Extremen (nahe 0 für Klasse A, nahe $\pi/2$ für Klasse B).
  • Bei visuell ähnlichen Klassen (z. B. „4" vs. „9") überlappen sich die Verteilungen stark um $\pi/4$, was auf hohe geometrische Ambiguität hinweist.
• Visualisierung: Die aus der GSVD abgeleiteten Extremrichtungen ($z_{max}, z_{min}$) wurden als Bilder rekonstruiert. Sie zeigen prototypische Merkmale der jeweiligen Ziffern (z. B. scharfe Kanten für „4", runde Formen für „9") sowie gemischte Merkmale für den Mittelbereich.
• Fisher-Rao-Distanz: Die berechnete Distanz zwischen den Winkel-Histogrammen korreliert stark mit der intuitiven Trennbarkeit der Ziffernpaare. Große Distanzen bedeuten geringe Überlappung und hohe Trennschärfe.

5. Bedeutung und Ausblick

Signifikanz:
Das Paper bietet einen neuen, mathematisch fundierten Blickwinkel auf den Datensatzvergleich. Anstatt nur globale Ähnlichkeitsmaße zu liefern, ermöglicht der Ansatz eine stichprobenweise Diagnose („per-sample diagnostic"). Dies ist wertvoll für:

• Auditing: Identifikation von Ausreißern oder falsch gelabelten Daten (Stichproben, deren Winkel nicht mit dem Label übereinstimmen).
• Transfer Learning: Filtern von Quell-Daten, die besser zur Ziel-Domäne passen.
• Interpretierbarkeit: Visualisierung dessen, was zwei Datensätze gemeinsam haben und was sie unterscheidet, direkt im Merkmalsraum.

Limitationen und zukünftige Arbeit:

• Die Komplexität der GSVD liegt bei $O(d^3)$, was bei sehr großen Dimensionen ein Flaschenhals sein kann (wobei dies als Vorverarbeitungsschritt akzeptabel ist).
• Die Stabilität gegenüber Rauschen und der Wahl des Rangs (Rank Truncation) muss weiter untersucht werden.
• Das Framework wurde bisher nur auf zwei Domänen und Pixel-Daten getestet. Eine Erweiterung auf mehrere Domänen (Multi-way GSVD) und die Anwendung auf hochdimensionale Embeddings von neuronalen Netzen (z. B. Transformer) sind vielversprechende Richtungen für zukünftige Forschung.

Zusammenfassend stellt das Paper einen eleganten Brückenschlag zwischen klassischer linearer Algebra (GSVD) und modernem maschinellem Lernen dar, der es erlaubt, die „Geometrie" von Datensätzen direkt zu messen und zu visualisieren.