🤖 machine learning

Geodesic Calculus on Implicitly Defined Latent Manifolds

Dit artikel stelt een robuust raamwerk voor het uitvoeren van discrete Riemanniaanse calculus op impliciet gedefinieerde latente manifolds van autoencoders door een benaderde projectie te leren via een denoising-doelstelling, waardoor de berekening van geodetische paden en exponentiële mappen onafhankelijk van de onderliggende autoencoder-architectuur mogelijk wordt.

Oorspronkelijke auteurs: Florine Hartwig, Josua Sassen, Juliane Braunsmann, Martin Rumpf, Benedikt Wirth

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Florine Hartwig, Josua Sassen, Juliane Braunsmann, Martin Rumpf, Benedikt Wirth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, rommelige stapel data hebt—duizenden foto's van gezichten, duizenden 3D-modellen van menselijke houdingen, of duizenden afbeeldingen van een draaiende speelgoedkoe. In de wereld van machine learning gebruiken we vaak een hulpmiddel dat een autoencoder wordt genoemd om al die hoogdimensionale chaos samen te persen tot een kleine, overzichtelijke "latente ruimte" (een kleine, gecomprimeerde kaart).

Beschouw deze latente ruimte als een vlak vel papier. Maar hier komt de crux: de werkelijke data vult niet het hele vel. In plaats daarvan leeft het op een specifieke, gekreukte, gedraaide vorm binnenin dat vel. Misschien is het een platte cirkel, misschien een gedraaide torus (zoals een donut), of misschien een complex, onzichtbaar oppervlak.

Het probleem is dat standaard machine learning-tools deze latente ruimte vaak behandelen alsof deze perfect vlak en overal leeg is. Als je een rechte lijn probeert te trekken tussen twee punten op deze gekreukte vorm, kan die lijn dwars door "lege lucht" (data die niet bestaat) snijden, wat leidt tot vreemde, gebroken resultaten wanneer je de data probeert terug te vertalen naar een afbeelding of een 3D-model.

Dit artikel stelt een nieuwe manier voor om door deze gekreukte vorm te navigeren. Hier is de uitsplitsing van hun aanpak met behulp van eenvoudige analogieën:

1. Het Probleem: De "Rechte Lijn" Valstrik

Stel je voor dat je over het oppervlak van de aarde loopt. Als je van New York naar Londen wilt reeten, is een "rechte lijn" die door het centrum van de aarde gaat (door de kern heen tunnelen) wiskundig gezien recht, maar het is nutteloos voor een reiziger. Je moet de kromming van de aarde volgen.

In machine learning, als je gewoon een rechte lijn tekent tussen twee datapunten in de latente ruimte, tunnel je door de "kern" van de data-manifold. Het resultaat? Wanneer je die lijn terug vertaalt naar een afbeelding, krijg je onzin of vervormde vormen (zoals een persoon met een schouder binnenin zijn hoofd).

2. De Oplossing: De "Onzichtbare Trampoline" (Impliciete Representatie)

De auteurs realiseerden zich dat in plaats van te proberen elk punt op deze gekreukte vorm in kaart te brengen (wat moeilijk en vaak onmogelijk is), ze de vorm als een onzichtbare grens moeten behandelen.

Ze gebruiken een speciale neurale netwerk om een "projectie" te leren. Stel je een trampoline voor met een specifieke vorm voor. Als je ergens in de buurt van de trampoline een bal laat vallen, vertelt de projectiefunctie je precies waar op het oppervlak van de trampoline die bal zou landen.

De Innovatie: Ze hoeven niet de exacte formule voor de vorm van de trampoline te kennen. Ze trainen alleen een netwerk om te fungeren als een magneet die elk punt in de latente ruimte terug naar het "data-oppervlak" trekt.
De "Denoising" Truc: Om dit netwerk te leren, nemen ze een reeks geldige datapunten, voegen een beetje "ruis" toe (ze schudden ze op) en trainen het netwerk om ze terug naar hun oorspronkelijke, schone positie te duwen. Dit leert het netwerk hoe het "echte" oppervlak eruitziet, zelfs als de data een beetje rommelig is.

3. Het Hulpmiddel: "Elastiek" Geodesics

Zodra ze deze "onzichtbare trampoline" (de impliciete representatie) hebben, moeten ze een manier vinden om eroverheen te lopen. Ze gebruiken een methode die ze Discrete Geodesic Calculus noemen.

Beschouw een geodesic als het kortste pad tussen twee punten terwijl je op het oppervlak blijft.

De Analogie: Stel je voor dat je een ketting van kralen (een discreet pad) hebt die punt A met punt B verbindt. Je wilt ze strak trekken zodat ze het kortste pad vormen, maar er is een regel: Elke enkele kraal moet aan het oppervlak van de trampoline vastgeplakt blijven.
De Fysica: Ze behandelen de ketting als een reeks elastieken. Ze trekken de ketting strak (energie minimaliseren) terwijl ze constant controleren of er geen kraal van de trampoline afvalt. Als een kraal in de "lege lucht" probeert te zweven, duwt een "straf" (penalty) deze terug naar beneden.
Het Resultaat: Dit creëert een vloeiend, gebogen pad dat de data perfect volgt. Wanneer ze dit pad terug vertalen naar afbeeldingen of 3D-modellen, is de overgang natuurlijk en realistisch (bijv. een persoon die soepel zijn hoofd draait, in plaats van dat zijn hoofd plotseling smelt).

4. Waarom dit ertoe doet (volgens het artikel)

De auteurs hebben dit getest op drie verschillende soorten data:

3D-vormen: Ze konden de ene menselijke houding in de andere laten overgaan zonder dat de ledematen door elkaar heen bewogen (een veelvoorkomend probleem bij rechte lijnen).
Motion Capture: Ze konden een skelet natuurlijk laten bewegen, waarbij rekening wordt gehouden met de complexe geometrie van hoe gewrichten daadwerkelijk bewegen.
Afbeeldingen: Ze konden een 3D-object in een afbeelding vloeiend laten roteren, waarbij het object er echt uitzag.

De Kernboodschap

Het artikel beweert niet een nieuw type AI of een nieuwe medische scanner uit te vinden. In plaats daarvan biedt het een beter navigatiesysteem voor de "verborgen kaarten" die AI al creëert.

Door de verborgen dataruimte te behandelen als een specifiek, gebogen oppervlak (gedefinieerd door een "projectie"-functie) en door een "elastiek"-methode te gebruiken om over dat oppervlak te lopen, kunnen ze vloeiende, realistische overgangen tussen datapunten creëren. Het is alsof je de AI een paar schoenen geeft met grip op het terrein, zodat het niet van de rand van de realiteit afglijdt wanneer het probeert te bewegen van het ene idee naar het andere.

Technische Samenvatting: Geodetische Calculus op Impliciet Gedefinieerde Latente Manifolds

Probleemstelling

In machine learning bieden autoencoders laagdimensionale latente representaties van hoogdimensionale data (bijv. afbeeldingen, vormen) op basis van de manifold-hypothese. Echter, deze latente ruimtes missen doorgaans een expliciete geometrische structuur, wat rigoureuze geometrische operaties zoals interpolatie, extrapolatie of geodetische berekeningen bemoeilijkt. Hoewel vormanalyse uitgebreid gebruikmaakt van Riemanniaanse manifolds om collecties vormen te modelleren (bijv. via LDDMM), is het toepassen van deze instrumenten op de latente ruimtes van autoencoders uitdagend omdat:

Gebrek aan Expliciete Parametrisatie: Latente manifolds hebben vaak een niet-nul codimensie in de omringende latente ruimte, waardoor globale parametrisaties moeilijk of onmogelijk zijn vanwege topologische obstructies.
Imperfecte Representaties: Praktische impliciete representaties (geleerd van data) zijn vaak onnauwkeurig of "imperfect", waardoor standaard numerieke methoden falen of paden produceren die afwijken van de ware datastructuur.
Metric-afhankelijkheid: Bestaande methoden beperken geodetische berekeningen vaak tot specifieke autoencoder-architecturen of specifieke keuzes voor de metriek (bijv. Euclidisch), waardoor het niet mogelijk is om applicatie-afhankelijke metrieken (bijv. pullback-metrieken van de data-manifold) te integreren.

De kernuitdaging is om latente manifolds uit te rusten met een bruikbare geometrische structuur die de berekening van geodetische paden (interpolatie en extrapolatie) mogelijk maakt die voldoen aan de latente steekproefverdeling, zelfs wanneer de manifold-representatie imperfect is.

Methodologie

Het voorgestelde framework pakt deze uitdagingen aan via drie componenten: een impliciete representatie van de latente manifold, een discrete variationele geodetische calculus, en een leerstrategie voor de projectie-operator.

1. Impliciete Representatie via Geleerde Projectie

In plaats van een globale parametrisatie te leren, beschrijven de auteurs de latente manifold $Z \subset \mathbb{R}^l$ als een impliciete sub-manifold gedefinieerd door de nul-niveauverzameling van een functie $\zeta$ .

Definitie: $\zeta(z) = z - \Pi(z)$ , waarbij $\Pi: \mathbb{R}^l \to \mathbb{R}^l$ een projectie-mapping is die elk punt in de latente ruimte naar het dichtstbijzijnde punt op de manifold $Z$ brengt.
Leerstrategie: Omdat de ware projectie $\Pi$ $Π$ onbekend is, stellen de auteurs voor om een benaderde projectie $\Pi_\sigma$ $Π_{σ}$ te leren door een denoising-doelstelling te minimaliseren. Deze doelstelling, geïnspireerd door denoising autoencoders (Alain & Bengio, 2014), behandelt de latente steekproeven als een puntenwolk en leert $\Pi_\sigma$ $Π_{σ}$ om de verwachte gekwadrateerde afstand tussen een ruisige steekproef en zijn projectie te minimaliseren.
- De verliesfunctie is $Q(\Pi) = \int \int |z - \Pi(y)|^2 f_\sigma(z-y) \, dz \, dy$ , waarbij $f_\sigma$ een Gaussische kernel is.
- Deze aanpak is onafhankelijk van de onderliggende autoencoder-architectuur en ondersteunt willekeurige codimensies.

2. Discrete Variationele Geodetische Calculus

Om geodeten te berekenen op deze potentieel imperfecte impliciete manifolds, gebruiken de auteurs een tijd-discrete variationele aanpak (gebaseerd op Rumpf & Wirth, 2015).

Discrete Pad-energie: Een continue pad $z(t)$ wordt benaderd door een discrete sequentie $z = (z_0, \dots, z_K)$ . De pad-energie wordt benaderd door een som van lokale afstand-benaderingen $W(z_{k-1}, z_k)$ :
$E_K(z_0, \dots, z_K) = \sum_{k=1}^K W(z_{k-1}, z_k)$
Metrische Flexibiliteit: Het framework ondersteunt verschillende Riemanniaanse metrieken via de keuze van $W$ $W$ :
- Euclidisch: $W_E(z, \tilde{z}) = |\tilde{z} - z|^2$ (geërfd van de omringende ruimte).
- Pullback Metriek: $W_{PB}(z, \tilde{z}) = |\psi(z) - \psi(\tilde{z})|^2$ (afstand in de dataruimte).
- Algemene Riemanniaanse Metriek: $W_M(z, \tilde{z}) = \text{dist}_M^2(\psi(z), \psi(\tilde{z}))$ (gebruikmakend van de intrinsieke metriek van de data-manifold).
Optimalisatie: De geodeet wordt gevonden door $E_K$ te minimaliseren onder de restrictie $\zeta(z_k) = 0$ voor alle $k$ . De auteurs gebruiken een Augmented Lagrangian-methode om deze beperkte optimalisatie op te lossen. Deze methode is robuust tegen "imperfecte" restricties (waarbij $\zeta_\sigma$ niet exact nul is) door afwijkingen van de manifold te bestraffen terwijl de Lagrange-multiplicatoren iteratief worden bijgewerkt.

3. Discrete Exponentiële Map

Voor geodetische extrapolatie (shooting) definiëren de auteurs een discrete exponentiële map $\text{Exp}_K$ . Gegeven een initieel punt $z_0$ en een discrete snelheid (gedefinieerd door $z_1$ ), minimaliseert de methode iteratief een functional $F$ die de zadelpuntcondities van de discrete geodetische vergelijking en de manifold-restrictie afdwingt. Dit maakt het genereren van geodetische paden mogelijk die verder reiken dan de gegeven eindpunten.

Belangrijkste Bijdragen

Tijd-discrete Geodetische Calculus voor Imperfecte Manifolds: Het artikel introduceert een numeriek framework voor het berekenen van geodeten op impliciete latente manifolds die niet perfect gerepresenteerd zijn. De methode is robuust tegen de onnauwkeurigheden van de impliciete functie $\zeta_\sigma$ .
Denoising-gebaseerde Projectie-lering: Een nieuwe aanpak om een benaderde projectie op een latente manifold van onbekende codimensie te leren door een denoising-doelstelling te minimaliseren, onafhankelijk van de specifieke autoencoder die wordt gebruikt.
Flexibele Metriek-integratie: Het framework maakt het mogelijk om applicatie-afhankelijke Riemanniaanse metrieken (bijv. pullback-metrieken) direct in de geodetische berekening te integreren zonder dat een expliciete parametrisatie van de manifold vereist is.
Empirische Validatie: De aanpak wordt geëvalueerd op diverse autoencoders (isometrisch, sferisch VAE, low-bending) getraind op synthetische en echte data (discrete shells, motion capture, rotaties van afbeeldingen), waarbij wordt aangetoond dat het leidt tot realistische interpolatie en extrapolatie vergeleken met lineaire interpolatie.

Resultaten

De auteurs evalueren de methode over vier verschillende scenario's:

Discrete Shells (Isometrische Autoencoder): Op de SCAPE-dataset van menselijke poses slaagt geodetische interpolatie op de geleerde latente manifold erin om zelfintersecties te vermijden die optreden bij lineaire interpolatie in de latente ruimte.
Motion Capture (Sferische VAE): Gebruikmakend van een sferische VAE op CMU motion data, berekent de methode geodeten met behulp van een pullback sferische metriek. De resulterende gedecodeerde poses zijn realistisch, terwijl lineaire interpolatie onnatuurlijke gewrichtscontracties en zelf-intersecterende ledematen produceert.
Afbeeldingsdata (Low Bending/Distortion): Op een dataset van roterende 3D-objecten voert de methode geodetische interpolatie en extrapolatie uit in een 16-dimensionale latente ruimte, wat resulteert in vloeiende transities in de gedecodeerde afbeeldingen.
Pose-NDF (Afstandsfunctie): De methode wordt uitgebreid om te werken met neurale afstandvelden (Pose-NDF) als de impliciete representatie, waarbij succesvol geodeten worden berekend op de manifold van plausibele menselijke poses waar lineaire interpolatie faalt.

In alle gevallen volgen de berekende geodeten de geometrie van de data-manifold en vermijden ze de "lege ruimte" die door lineaire interpolatie wordt doorkruist. De discrete exponentiële map genereert succesvol geëxtrapoleerde paden die de kromming van de manifold volgen.

Betekenis en Claims

Het artikel claimt een praktisch en robuust instrument te bieden voor het uitvoeren van geometrische operaties op latente manifolds, waarmee de kloof wordt overbrugd tussen de theoretische rijkdom van de Riemanniaanse meetkunde en de praktische beperkingen van geleerde latente representaties.

Robuustheid: De primaire betekenis ligt in het vermogen van de methode om te functioneren met "imperfecte" impliciete representaties, een veelvoorkomende realiteit in praktische machine learning toepassingen waar exacte beschrijvingen van de manifold niet beschikbaar zijn.
Generaliteit: Door de geometrische calculus te ontkoppelen van de specifieke autoencoder-architectuur en door willekeurige metrieken toe te staan, maakt het framework nieuwe reduced-order methoden voor vorm-ruimtes en generatieve modellering mogelijk.
Toekomstige Richtingen: De auteurs suggereren bescheiden dat toekomstig werk de projectie-gebaseerde representaties met afstand-gebaseerde representaties kan verbinden, de calculus kan uitbreiden naar latente distributies (bijv. in VAE's) en discrete parallel transport kan gebruiken voor detailoverdracht. Ze erkennen beperkingen met betrekking tot de schaalbaarheid naar zeer hoge dimensies en het gebrek aan een volledige wiskundige foutanalyse die leerfouten combineert met discretisatiefouten.

Het werk beoogt nieuwe manieren te openen om latente representaties in machine learning te benutten door geodetische interpolatie en extrapolatie mogelijk te maken die de onderliggende data-geometrie respecteren.