Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry

Dit artikel introduceert een methode om de beperkingen van bestaande Riemanniaanse manifold-leerbenaderingen bij multi-modale data aan te pakken door de geleerde geometrie te isometriseren en een evenwicht te vinden tussen regulariteit en expressiviteit in normalizing flows.

De kern

Manifold Learning met Normalizing Flows: Een Reis door de Data-Wereld

Stel je voor dat je een enorme berg met data hebt. In de echte wereld zijn deze data-punten (zoals foto's van gezichten of stemmen van mensen) vaak heel complex en zitten ze in duizenden dimensies. Maar het geheim is: deze data liggen eigenlijk niet willekeurig verspreid in de ruimte. Ze liggen op een onzichtbaar, gekruld oppervlak, net als een dunne, kronkelende slang die door een enorme, lege kamer slingert.

In de wiskunde noemen we dit een manifold. Het idee is dat als je alleen langs die slang loopt (de "ware" weg), je de data veel beter begrijpt dan als je door de lege lucht vliegt (de rechte lijn).

Dit artikel van Willem Diepeveen en Deanna Needell gaat over hoe we die slang kunnen vinden, meten en gebruiken zonder dat we de boel verprutsen. Ze gebruiken een slimme techniek genaamd Normalizing Flows (stroomlijnen), maar ze hebben twee grote problemen opgelost die eerder vaak optraden.

Hier is de uitleg, vertaald naar alledaagse taal met een paar creatieve vergelijkingen:

1. Het Probleem: De Versnelde Auto en de Kromme Spoorbaan

Stel je voor dat je een auto hebt die over die gekrulde slang (de data-slang) moet rijden. Je wilt weten hoe je van punt A naar punt B komt zonder de weg te verlaten.

Probleem A: De Versnelde Auto (Isometrie)
In de oude methoden gebeurde er iets vreemds met de snelheid van de auto.

• Op drukke plekken (waar veel data is) reed de auto langzaam.
• Op lege plekken (waar weinig data is) schoot de auto als een raket vooruit.

De analogie: Stel je voor dat je een film maakt van een wandeling door een stad. In de drukke markt (veel mensen) loop je langzaam en zie je alles goed. Maar zodra je in een leeg park komt, versnelt de film plotseling tot 100x snelheid. Als je dan probeert te raden wat er "tussenin" gebeurt, krijg je een rare, vertekende film. Je ziet de lege plekken veel belangrijker lijken dan ze zijn, omdat de auto daar zo snel gaat.

• De oplossing: De auteurs bedachten een manier om de snelheid van de auto constant te houden, ongeacht of je in de drukke markt of in het lege park bent. Ze noemen dit Iso-Riemanniaanse meetkunde. Het is alsof je een cruise control instelt die altijd precies dezelfde snelheid houdt, zodat je de reis eerlijk kunt bekijken.

Probleem B: De Verkeerde Route (Regelmatigheid)
Soms is de "slang" zo complex dat de computer probeert om hem te vinden door de auto dwars door muren te sturen of in onmogelijke bochten te laten draaien.

• De analogie: Stel je voor dat je een robot wilt leren om een doolhof te lopen. Als je de robot te veel vrijheid geeft (te "expressief"), gaat hij soms door de muren heen of maakt hij onnodig grote bochten die er niet zijn. Hij vindt wel een weg, maar het is niet de natuurlijke weg die de mensen (de data) hebben gebruikt.
• De oplossing: De auteurs zeggen: "Geef de robot iets meer regels." Ze gebruiken een specifiek type architectuur (een soort bouwplan voor de robot) die dwingt om de rustigste, meest rechte lijn te kiezen tussen twee punten, zonder de complexiteit van de slang te verliezen. Ze noemen dit Regelmatige Normalizing Flows. Het is alsof je de robot een "mooiste route"-app geeft die hem verbiedt om rare, onnatuurlijke bochten te maken.

2. De Oplossing: De Perfecte Combinatie

De auteurs hebben twee nieuwe tools ontwikkeld die samenwerken als een goed team:

1. Iso-Riemanniaanse Meetkunde (De Cruise Control): Dit zorgt ervoor dat je de data kunt "aflezen" zonder dat de snelheid van je interpretatie verandert. Het maakt de afstand tussen punten eerlijk.
2. Regelmatige Stroomlijnen (De Rustige Robot): Dit zorgt ervoor dat de computer de slang leert kennen zonder in de war te raken of rare routes te verzinnen.

Waarom is dit geweldig?
Als je deze twee combineert, krijg je het beste van twee werelden:

• Je kunt de data interpoleren (tussen twee foto's een nieuwe, logische foto maken) zonder dat de nieuwe foto eruitziet als een rare, vloeibare vlek.
• Je kunt de data samenvatten (bijvoorbeeld: "Wat is het gemiddelde gezicht?") zonder dat het gemiddelde eruitziet als een monster.

3. Wat hebben ze getest?

Ze hebben dit getest op twee dingen:

• Synthetische data: Een kunstmatige "halve bol" (een halve planeet). Hier zagen ze dat hun methode de route perfect volgde, terwijl de oude methode de auto soms de verkeerde kant op stuurde.
• Echte data (MNIST): Foto's van handgeschreven cijfers (0 t/m 9).
  • Voorbeeld: Als je een '2' wilt veranderen in een '6', laat de oude methode de '2' soms eerst rare vormen aannemen voordat hij een '6' wordt. De nieuwe methode maakt een soepele, natuurlijke transformatie, alsof je de '2' langzaam omvormt tot een '6' zonder dat het eruitziet als een wazige vlek.

Conclusie in één zin

Dit onderzoek leert computers hoe ze door complexe data-werelden moeten navigeren door de snelheid van hun interpretatie constant te houden en hun routeplanner te dwingen de meest natuurlijke weg te kiezen, waardoor ze data veel beter begrijpen en eerlijker kunnen analyseren.

Het is alsof je van een ruwe, hobbelige wandeling door een onbekend landschap verandert in een soepele rit met een auto op een perfect onderhouden weg, waarbij je altijd precies weet waar je bent en hoe ver je nog moet gaan.

Technische samenvatting

Probleemstelling

Moderne machine learning-methoden gaan er vaak van uit dat hoogdimensionale data zich bevinden in de buurt van een laagdimensionale, niet-lineaire variëteit (manifold). Om dit te benutten, wordt vaak gebruikgemaakt van Riemanniaanse meetkunde om de geometrische structuur van de data te modelleren. Een veelbelovende aanpak is het leren van een pullback-structuur via normalizing flows (diffeomorfismen die data naar een eenvoudige verdeling afbeelden).

Echter, bij het toepassen van deze methoden op multi-modale data (data met meerdere clusters of manieren) treden twee fundamentele problemen op:

1. Vervormingen door gebrek aan isometrie: Wanneer de geleerde diffeomorfismen geen lokale $\ell_2$-isometrie zijn op de data-ondersteuning, ontstaan er vervormingen. Geodesische lijnen (de kortste paden op de variëteit) hebben geen constante snelheid in de $\ell_2$-ruimte. Dit leidt tot interpretatieproblemen: interpolatie tussen twee punten kan onnatuurlijk zijn (bijvoorbeeld door gebieden met lage data-dichtheid te "verspillen" of te veel tijd door te brengen in zeldzame gebieden). Ook worden dimensiereductie-taken (zoals low-rank benadering) onnauwkeurig omdat fouten in de tangentruimte worden versterkt bij reconstructie.
2. Onregelmatigheid en expressiviteit: Bestaande methoden (zoals in eerdere werken [7]) gebruiken vaak zeer expressieve flows (zoals affine couplings of spline flows) om complexe manifolds te leren. Deze flows missen echter vaak de nodige regulariteit (gladheid). Bij multi-modale data leidt dit tot het leren van de "verkeerde" geometrie: de flow kiest een onnatuurlijk pad tussen twee modi (bijvoorbeeld van de zijkant in plaats van van boven), wat resulteert in foute geodesische paden en slechte dimensiereductie.

Methodologie

De auteurs stellen een tweeledige aanpak voor om deze problemen op te lossen: het introduceren van een Iso-Riemanniaanse geometrie en het gebruik van reguliere normalizing flows.

1. Iso-Riemanniaanse Geometrie (Isometrisatie)

Om de vervormingen door variërende snelheid op te lossen, stellen de auteurs een systematische methode voor om de Riemanniaanse structuur te "isometriseren".

• Concept: In plaats van de standaard geodesische afbeeldingen te gebruiken, worden deze herschikt (reparametrisatie) zodat ze een constante $\ell_2$-snelheid hebben.
• Iso-afbeeldingen: Er worden nieuwe afbeeldingen gedefinieerd:
  • Iso-geodesie: Een herschikt pad $\gamma^{iso}$ met constante snelheid.
  • Iso-logaritme en Iso-exponentieel: De inverse afbeeldingen die de tangentruimte en de data-ruimte verbinden, waarbij de $\ell_2$-lengte overeenkomt met de booglengte van de geodesie.
  • Iso-parallel vervoer: Een aanpassing van parallel vervoer die de $\ell_2$-lengte behoudt.
• Toepassing: Deze afbeeldingen worden gebruikt in algoritmen voor dimensiereductie (Algorithm 2). In plaats van de standaard logaritme/expontieel te gebruiken, worden de iso-versies toegepast. Dit zorgt ervoor dat de projectie op de tangentruimte en de reconstructie naar de data-ruimte consistent zijn en geen onnodige vervormingen introduceren.

2. Reguliere Normalizing Flows

Om de onregelmatigheid van de diffeomorfismen aan te pakken, wordt een nieuwe parametrisatie voorgesteld die balans houdt tussen expressiviteit en regulariteit.

• Architectuur: De flow bestaat uit een samenstelling van blokken die bestaan uit:
  • Additieve coupling layers: Deze zijn volumebehoudend en hebben beperkte afgeleiden (door het gebruik van specifieke activeringsfuncties, zoals een som van tanh-functies).
  • Inverteerbare lineaire lagen: Deze zorgen voor expressiviteit. In tegenstelling tot eerdere volumebehoudende eisen, worden hier lagen gebruikt met een constante determinant (maar niet noodzakelijk 1), gecombineerd met orthogonale matrices (via Householder-decompositie) of convoluties.
• Training: De auteurs stellen voor om terug te keren naar de standaard loss-functie voor normalizing flows (negatieve log-likelihood + weight decay), in plaats van de complexe regularisatie-termen uit eerdere werken die specifiek eisten dat de flow lokaal isometrisch was. De parametrisatie garandeert voldoende regulariteit (constante determinant en beperkte afgeleiden) zodat de flow toch de juiste geometrie leert zonder zware regularisatie.

Belangrijkste Bijdragen

1. Iso-Riemanniaanse Geometrie: Een wiskundig kader dat bestaande Riemanniaanse data-analyse-methoden (zoals geodesische interpolatie en low-rank benadering) transformeert naar een vorm die vrij is van snelheidsvervormingen, door het garanderen van constante $\ell_2$-snelheid.
2. Reguliere yet Expressieve Flows: Een nieuwe architectuur voor normalizing flows die complexe manifolds kan modelleren (expressiviteit) maar tegelijkertijd de regulariteit behoudt die nodig is voor stabiele en interpreteerbare geometrie. Dit combineert de voordelen van oude lineaire architecturen met moderne niet-lineaire innovaties.
3. Synergie: Het aantonen dat het combineren van beide technieken (isometrisatie + reguliere flows) leidt tot superieure prestaties vergeleken met het gebruik van slechts één van de twee.

Resultaten

De auteurs testen hun methode op synthetische data (een bimodale verdeling en een halve bol) en real-world data (MNIST cijfers).

• Synthetische Data (Bimodaal):
  • Zonder isometrisatie en met onregelmatige flows leert het model een onnatuurlijk pad tussen de modi (zie Figuur 4).
  • Met de voorgestelde reguliere flow leert het model het juiste pad, maar met vervormingen in de snelheid.
  • Door isometrisatie toe te passen op de reguliere flow, worden de geodesische paden perfect en is de reconstructie-error (low-rank rel-RMSE) aanzienlijk lager (van 0.1146 naar 0.0868 in het geteste geval).
• Halve Bol (Hemisphere):
  • Isometrisatie is hier cruciaal. Zonder isometrisatie lijken data-punten aan de ene kant van de tangentruimte verder weg dan aan de andere kant, wat leidt tot grote fouten in de dimensiereductie. Met isometrisatie wordt de benadering veel nauwkeuriger.
• MNIST:
  • Bij real-world data (handgeschreven cijfers) is het effect van isometrisatie op de geodesische interpolatie zichtbaar (natuurlijkere overgangen tussen cijfers), maar heeft het minder impact op de low-rank benadering vergeleken met synthetische data. Desondanks levert de combinatie van reguliere flows en isometrisatie de beste resultaten op.

Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen de theoretische eisen van Riemanniaanse data-analyse (stabiliteit, interpretatie) en de praktische eisen van moderne deep learning (expressiviteit voor complexe data).

• Interpretatie en Fairness: Door vervormingen in geodesische paden en dimensiereductie te elimineren, worden de resultaten van machine learning-modellen betrouwbaarder en eerlijker (geen systematische fouten voor bepaalde data-subgroepen).
• Scalabiliteit: De voorgestelde loss-functie en parametrisatie maken het mogelijk om deze geometrische methoden op grote schaal en op complexe, multi-modale datasets toe te passen zonder de complexiteit van zware regularisatie.
• Toekomst: De auteurs pleiten voor een verschuiving in de focus van generatieve normalizing flows (die vaak volume-veranderend zijn) naar flows die specifiek zijn ontworpen voor data-driven Riemanniaanse geometrie, waarbij regulariteit en isometrie centraal staan.

Samenvattend biedt dit paper een robuust kader voor het leren van niet-lineaire data-manifolds dat zowel wiskundig zuiver (via iso-Riemanniaanse geometrie) als praktisch effectief (via reguliere flows) is.