GSVD for Geometry-Grounded Dataset Comparison: An Alignment Angle Is All You Need

Dit paper introduceert een interpreteerbare 'hoekscore' gebaseerd op de gegeneraliseerde singuliere waardenontbinding (GSVD) om individuele steekproeven te diagnosticeren en te bepalen of ze beter worden verklaard door het ene of het andere dataset-geometrische model.

De kern

Stel je voor dat je twee verschillende bibliotheken hebt. In de ene bibliotheek staan alleen boeken over koken, en in de andere alleen boeken over ruimtevaart. Je wilt weten: hoe vergelijkbaar zijn deze twee bibliotheken? En als je een nieuw boek binnenkrijgt, kun je dan zeggen of het meer bij de kookboeken of bij de ruimtevaartboeken hoort?

Meestal kijken computers naar de "inhoud" van de boeken (de tekst) om dit te bepalen. Maar deze auteurs van het paper kijken naar de structuur en de vorm van de bibliotheken. Ze vragen zich af: "Hoe lijken de ruimtes waarin deze boeken staan op elkaar?"

Hier is wat ze hebben bedacht, vertaald naar alledaags taal:

1. Het Probleem: "Vergelijken zonder te tellen"

Stel je voor dat je twee groepen mensen hebt: groep A (voetballers) en groep B (zwemmers). Je wilt weten of een nieuwe persoon (z) meer op een voetballer of een zwemmer lijkt.
Normaal gesproken zou je kijken naar hun lengte, gewicht en spiermassa. Maar wat als ze allebei lang zijn? Dan is dat niet genoeg. Je moet kijken naar de richting waarin ze bewegen. Voetballers bewegen zich op een bepaalde manier (richting A), zwemmers op een andere (richting B).

De auteurs zeggen: "Laten we niet kijken naar de individuele mensen, maar naar de ruimte die ze vullen."

2. De Oplossing: Een "Gemeenschappelijke Landkaart" (GSVD)

Om deze twee groepen te vergelijken, gebruiken ze een wiskundig trucje genaamd GSVD (Generalized Singular Value Decomposition).

• De Analogie: Stel je voor dat je twee verschillende kaarten hebt van hetzelfde landschap, maar getekend door twee verschillende mensen. De ene gebruikt een rooster van vierkanten, de andere van driehoeken.
• De GSVD is als een super-landkaart die beide systemen op één manier kan vertalen. Het creëert een gemeenschappelijk referentiekader.
• Op deze kaart zie je nu drie soorten wegen:
  1. Wegen die alleen door voetballers worden gebruikt (richting A).
  2. Wegen die alleen door zwemmers worden gebruikt (richting B).
  3. Wegen die door beide groepen worden gebruikt (de gedeelde structuur).

3. De Hoek: De "Kompasnaald" (De Alignment Angle)

Dit is het belangrijkste deel van het papier. Als je een nieuwe persoon (een sample) ziet, kun je op deze gemeenschappelijke kaart kijken: "In welke richting wijst deze persoon?"

Ze meten dit met een hoek (een hoek in graden):

• 0 graden: De persoon wijst precies naar de "Voetballer-richting". Hij is duidelijk een voetballer.
• 90 graden: De persoon wijst precies naar de "Zwemmer-richting". Hij is duidelijk een zwemmer.
• 45 graden: De persoon wijst precies in het midden. Hij heeft kenmerken van beide, of hij zit in een grijs gebied waar de twee groepen elkaar overlappen.

Deze hoek is hun "magische score". Het vertelt je niet alleen wat iets is, maar hoe sterk het bij de ene groep past versus de andere.

4. Waarom is dit cool? (De Toepassing)

In het paper testen ze dit op MNIST, een beroemde dataset met handgeschreven cijfers (0 tot 9).

• Voorbeeld: Ze kijken naar cijfer 1 en cijfer 5.
  • Een echte '1' krijgt een hoek dicht bij 0 (want hij past perfect in de '1'-ruimte).
  • Een echte '5' krijgt een hoek dicht bij 90.
  • Een '1' die er raar uitziet (misschien een '7' die op een '1' lijkt) krijgt een hoek ergens in het midden.
• Het mooie resultaat: Ze kunnen zelfs de "uiterste punten" van deze kaart visualiseren. Ze kunnen een afbeelding genereren van: "Wat is het meest perfecte, meest '1-achtige' cijfer dat wiskundig mogelijk is?" en "Wat is het meest '5-achtige' cijfer?". Dit helpt om te zien waarom de computer ze onderscheidt.

5. De Diepere Betekenis: Onzekerheid

Als je kijkt naar de hoeken van heel veel cijfers, zie je een patroon:

• Als de hoeken van de '1's en '5's ver uit elkaar liggen (bijna 0 en bijna 90), dan weet de computer zeker wat hij ziet.
• Als de hoeken van de '1's en '5's elkaar overlappen (veel cijfers rond de 45 graden), dan is het lastig om ze te onderscheiden. De computer is dan "onzeeker".

Samenvatting in één zin

In plaats van te proberen een nieuw cijfer te "herkennen" door het te vergelijken met duizenden voorbeelden, kijken ze naar de hoek die het cijfer maakt in een gemeenschappelijke wiskundige ruimte, om te zien of het meer op het ene of het andere cijfer lijkt.

Het is alsof je niet vraagt: "Is dit een appel of een peer?", maar je vraagt: "Hoeveel graden wijst dit fruit naar de 'appel-richting' en hoeveel naar de 'peer-richting'?" En dat antwoord geeft je direct inzicht in hoe goed je het kunt onderscheiden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "GSVD FOR GEOMETRY-GROUNDED DATASET COMPARISON: AN ALIGNMENT ANGLE IS ALL YOU NEED" in het Nederlands.

1. Probleemstelling

Het vergelijken van datasets is een terugkerend probleem in machine learning en data-analyse, bijvoorbeeld bij het detecteren van dataset-shift, het vergelijken van representaties van verschillende modellen, of het diagnosticeren van verschillen tussen klassen. Bestaande methoden vergelijken datasets vaak indirect via getrainde modellen of door afstanden tussen embeddings te meten. Deze benaderingen kunnen echter de onderliggende geometrische redenen waarom twee datasets lijken of verschillen, verbergen.

De auteurs stellen dat veel real-world datasets zich concentreren rondom laag-dimensionale structuren en deeltjes gemeenschappelijke latente factoren hebben, naast richtingen die specifiek zijn voor één domein. Het doel is om datasets te vergelijken door hun geometrie te analyseren in een gedeelde omgevingsruimte (ambient space), zonder dat er punt-voor-punt correspondenties tussen de samples nodig zijn.

2. Methodologie

De kern van de voorgestelde methode bestaat uit drie stappen: het definiëren van een lineaire relatie, het toepassen van de Generalized Singular Value Decomposition (GSVD), en het afleiden van een interpreteerbare uitlijningshoek.

A. Lineaire Relaties (Co-span)

In plaats van een directe mapping tussen samples te eisen, definiëren de auteurs een "co-span" relatie tussen twee dataset-matrices $A$ en $B$ (waarbij kolommen observaties zijn):
$$Ax = By = z$$
Hierbij is $z$ een gedeelde vector in de omgevingsruimte, en $x$ en $y$ coëfficiënten. Deze relatie encodeert compatibiliteit in de ruimte zonder dat de datasets exact dezelfde samples hoeven te bevatten.

B. Generalized Singular Value Decomposition (GSVD)

Om deze relatie operationeel te maken, gebruiken de auteurs de GSVD als een gezamenlijk coördinatenstelsel voor de twee deelruimten. Voor matrices $A$ en $B$ wordt de decompositie gegeven door:
$$A = HCU, \quad B = HSV$$
waarbij:

• $H$ een gedeelde referentieframe is (inverteerbaar).
• $U$ en $V$ orthogonale matrices zijn.
• $C$ en $S$ diagonale (of blok-diagonale) matrices zijn met niet-negatieve waarden, zodanig dat $C^\top C + S^\top C = I$.

De matrices $C$ en $S$ scheiden de richtingen in de data:

• Richtingen waar $C$ domineert, worden voornamelijk verklaard door dataset $A$.
• Richtingen waar $S$ domineert, worden voornamelijk verklaard door dataset $B$.
• Richtingen met vergelijkbare waarden in $C$ en $S$ vertegenwoordigen gedeelde structuur.

C. De Uitlijningshoek $\theta(z)$

De belangrijkste innovatie is het definiëren van een uitlijningshoek $\theta(z)$ voor een individuele sample $z$. Deze hoek kwantificeert hoe goed $z$ wordt verklaard door $A$ versus $B$.

De hoek wordt gedefinieerd als:
$$\theta(z) = \arctan\left(\frac{\|x\|_2}{\|y\|_2}\right)$$
waarbij $x$ en $y$ de coëfficiënten zijn met de minimale $\ell_2$-norm die voldoen aan $Ax = By = z$. In termen van de GSVD-factoren kan dit efficiënt worden berekend als:
$$\theta(z) = \arctan\left(\frac{\|C^\dagger c(z)\|_2}{\|S^\dagger c(z)\|_2}\right)$$
met $c(z) = H^\dagger z$ (de coördinaten van $z$ in het gedeelde frame).

Interpretatie van de hoek:

• $\theta(z) \approx 0$: De sample wordt efficiënter verklaard door $A$ ("meer A").
• $\theta(z) \approx \pi/2$: De sample wordt efficiënter verklaard door $B$ ("meer B").
• $\theta(z) \approx \pi/4$: De sample wordt ongeveer even goed verklaard door beide (gedeelde structuur).

3. Belangrijkste Bijdragen

1. Geometrisch Primitief: Het introduceren van lineaire relaties in de vorm $Ax = By = z$ als een minimaal, op geometrie gebaseerd primitief voor dataset-vergelijking.
2. GSVD als Gezamenlijk Stelsel: Het gebruik van GSVD om een gezamenlijk coördinatenstelsel te creëren dat gedeelde versus datasetspecifieke richtingen expliciet maakt via de diagonale factoren $(C, S)$.
3. Interpreteerbare Score: Het afleiden van de hoekscore $\theta(z)$, die een per-sample diagnose biedt van relatieve dataset-uitlijning en een basis vormt voor binaire classificatie.
4. Extreme Richtingen: Het identificeren van representatieve "extreme" vectoren ($z_{max}$ en $z_{min}$) die de uiterste grenzen van de gedeelde ruimte visualiseren (bijv. wat een "zuivere" 4 of 9 eruit ziet in de gedeelde ruimte).

4. Resultaten en Experimenten

De auteurs testen de methode op het MNIST-dataset (handgeschreven cijfers) en Fashion-MNIST.

• Verdelingen van de hoek: Voor verschillende paren cijfers (bijv. "1" vs "5" of "4" vs "9") worden histogrammen van $\theta(z)$ voor testsamples getoond.
  • Paren met duidelijke visuele verschillen (zoals 1 vs 5) tonen gescheiden verdelingen: samples van klasse A hebben hoeken dicht bij 0, en samples van klasse B dicht bij $\pi/2$.
  • Paren met visuele overeenkomst (zoals 4 vs 9) tonen meer overlap rondom $\pi/4$, wat aangeeft dat er meer gedeelde geometrische structuren zijn.
• Visualisatie van Richtingen: De auteurs reconstrueren de extreme vectoren ($z_{max}$ en $z_{min}$) als afbeeldingen. Deze tonen duidelijk de kenmerkende trekken van de respectievelijke klassen (bijv. scherpe lijnen voor een "4" en ronde vormen voor een "9"), evenals een "gemengde" richting die elementen van beide bevat.
• Classificatie: Een eenvoudige binaire classifier wordt getoond die een sample toewijst aan $A$ of $B$ op basis van een drempelwaarde $\tau = \pi/4$. Hoewel dit niet als een state-of-the-art classifier wordt gepresenteerd, demonstreert het de bruikbaarheid van de hoek als diagnose-tool.
• Fisher-Rao Afstand: De auteurs introduceren de Fisher-Rao afstand tussen de hoek-histogrammen als een scalaire maat voor globale geometrische scheiding. Grote afstanden corresponderen met weinig overlap en hoge scheiding, wat overeenkomt met visuele intuïtie.

5. Betekenis en Toekomstperspectief

De paper biedt een fundamentele, wiskundig onderbouwde manier om datasets te vergelijken die gebaseerd is op geometrie in plaats van alleen op statistische distributies of modelprestaties.

• Interpretabiliteit: In tegenstelling tot "black-box" afstanden, biedt $\theta(z)$ een directe, visueel interpreteerbare diagnose van waarom een sample tot een bepaalde klasse behoort of niet.
• Diagnostiek: De methode is nuttig voor het detecteren van uitschieters, het auditen van datasets, en het begrijpen van wat twee domeinen gemeen hebben en wat ze onderscheidt.
• Toekomst: De auteurs wijzen op uitdagingen zoals de rekenkosten van GSVD ($O(d^3)$) voor zeer grote datasets en de noodzaak om de robuustheid van de methode te bestuderen bij ruis en partiële mismatch. Ze suggereren dat de methode ook toepasbaar is op feature embeddings van moderne modellen (zoals transformers), waar lineaire subruimten vaak een betere benadering zijn voor semantische structuren.

Kortom, de paper stelt dat "een uitlijningshoek alles is wat je nodig hebt" om de geometrische relatie tussen twee datasets te kwantificeren, te diagnosticeren en te visualiseren.