Multiscaling in Wasserstein Spaces

Titel: Multischaal-analyse in Wasserstein-ruimten

1. Probleemstelling

De auteurs richten zich op de analyse van sequenties van kansverdelingen (probability measures) binnen Wasserstein-ruimten ($P_p(\mathbb{R}^d)$). Hoewel deze ruimten fundamenteel zijn geworden in optimal transport, meetkunde en functietheorie, en toepassingen vinden in beeldverwerking, deep learning en data-analyse, blijft multischaal-analyse (het analyseren van data op verschillende resoluties) binnen deze niet-lineaire ruimten grotendeels onontgonnen terrein.

Bestaande methoden voor multischaal-analyse (zoals wavelets en subdelerings-schema's) zijn ontworpen voor lineaire vectorruimten. Het toepassen van deze concepten op Wasserstein-ruimten is complex vanwege de intrinsieke meetkunde: de ruimte is niet lineair, en het definiëren van operatoren zoals "optellen" en "aftrekken" tussen verdelingen vereist een aanpassing aan de optimal transport-theorie. De uitdaging is om een framework te creëren dat zowel voor absoluut continue als discrete verdelingen werkt, en dat de geodetische structuur van de ruimte behoudt.

2. Methodologie

Het paper introduceert een nieuw multischaal-framework dat gebaseerd is op de intrinsieke meetkunde van optimal transport. De kern van de methodologie bestaat uit de volgende componenten:

• Operatoren voor Optimal Transport:
  De auteurs definiëren twee binaire operatoren die analoog zijn aan optellen en aftrekken:

  • Aftrekken ($\ominus$): $\nu \ominus \mu = T^\nu_\mu - I$, waarbij $T^\nu_\mu$ de Monge-afbeelding is die $\mu$ naar $\nu transporteert en$I$ de identiteitsafbeelding is. Dit resultaat ligt in de raakruimte (tangent space) van $\mu$.
  • Optellen ($\oplus$): $\mu \oplus \psi = (I + \psi)_\# \mu$, waarbij een maat $\mu$ wordt getransformeerd via een vectorveld $\psi$.
    Deze operatoren maken het mogelijk om "verschillen" en "gemiddelden" in de niet-lineaire ruimte te berekenen.

• Verfijning en Subdelerings-schema's (Refinement):
  Er wordt een verfijningsoperator geïntroduceerd die gebaseerd is op McCann's interpolanten. Voor twee maatvoeringen $\mu_0$ en $\mu_1$ definieert deze operator een constante-snelheid geodeet (de kortste weg in de Wasserstein-ruimte).

  • Voor absoluut continue maatvoeringen wordt dit berekend via de Monge-afbeelding.
  • Voor discrete maatvoeringen (puntwolken) wordt dit berekend via een koppelingsmatrix (coupling matrix) uit het Kantorovich-probleem.
    Dit schema fungeert als een "upsampling"-operator die ontbrekende data voorspelt op fijnere schalen.

• Het Multischaal-Transform:
  Het proces volgt een pyramide-structuur (vergelijkbaar met wavelets):

  1. Analyse: Een sequentie wordt verlaagd (downsampled) en het verschil (detailcoëfficiënten $\psi$) wordt berekend tussen de originele data en de voorspelde data via het verfijningsschema.
  2. Synthese: De originele sequentie kan perfect worden gereconstrueerd door de grove benadering en de detailcoëfficiënten weer op te tellen via de $\oplus$-operator.

• Optimaliteitsgetal (Optimality Number):
  Een nieuwe scalair $\omega$ wordt geïntroduceerd om afwijkingen van een ideale geodeet te kwantificeren. Het is de som van de normen van de detailcoëfficiënten over alle schalen.

  • Een waarde van 0 impliceert dat de sequentie exact langs een constante-snelheid geodeet beweegt (perfect optimal transport).
  • Een hogere waarde duidt op irregulariteiten, ruis of anomalieën in de dynamiek van de verdelingen.

3. Belangrijkste Bijdragen

1. Universeel Framework: Een multischaal-transformatie die werkt voor zowel absoluut continue als discrete maatvoeringen, en hybride sequenties.
2. Geometrische Behoud: Het gebruik van McCann's interpolanten zorgt ervoor dat de geodetische structuur van de Wasserstein-ruimte behouden blijft tijdens het schalen.
3. Theoretische Garanties:
   • Stabiliteit: Bewezen dat kleine verstoringen in de detailcoëfficiënten leiden tot proportioneel kleine fouten in de gereconstrueerde sequentie.
   • Geometrische Decay: Bewezen dat als een sequentie wordt bemonsterd van een gladde kromme in de Wasserstein-ruimte, de detailcoëfficiënten geometrisch afnemen naarmate de schaal fijner wordt. Dit is cruciaal voor compressie en ruisreductie.
4. Nieuwe Diagnostische Tool: De introductie van het "Optimaliteitsgetal" als een maatstaf voor de "gladheid" en optimaliteit van een verdelingsstroom.

4. Resultaten en Numerieke Experimenten

De auteurs demonstreren de methodologie in drie verschillende scenario's:

• Gaussische Stroom (Absoluut Continu):

  • Toepassing op synthetische sequenties van Gaussische verdelingen.
  • Denoising: Door detailcoëfficiënten met een hoge norm (ruis) op nul te zetten en de sequentie te reconstrueren, wordt ruis effectief verwijderd.
  • Anomaliedetectie: Sprongdiscontinuïteiten in de stroom worden duidelijk zichtbaar als grote detailcoëfficiënten op specifieke locaties.
  • Het optimaliteitsgetal neemt toe naarmate de curve verder afwijkt van de ideale geodeet.

• Puntwolken (Discrete Maatvoeringen):

  • Analyse van de evolutie van een puntwolk onder invloed van een elektrisch veld (Coulomb's wet).
  • De methode detecteert dat de stroom glad is (geometrische decay van coëfficiënten) wanneer de deeltjes zich ver van de ladingen bevinden, maar toont grote afwijkingen (hoge optimaliteitsgetallen) wanneer de deeltjes dicht bij de ladingen zijn en sterke versnellingen ondergaan.
  • Toegevoegde ruis in de trajecten resulteert in het ontbreken van geometrische decay, wat de robuustheid van de methode voor ruisdetectie bevestigt.

• Neurale Netwerken (Deep Learning):

  • Analyse van de leertrajecten van een CNN (Convolutional Neural Network) tijdens het trainen op het MNIST-dataset.
  • De verdelingen van de output-kansen worden geanalyseerd als een sequentie in de Wasserstein-ruimte.
  • De resultaten tonen een gladde convergentie naar de Dirac-maat (de juiste klas) op grove schalen, terwijl de fijne schalen de stochastische fluctuaties van de optimizer (Adam) weergeven.
  • Het optimaliteitsgetal wordt voorgesteld als een model-onafhankelijke metriek om de efficiëntie van leertrajecten te beoordelen.

5. Betekenis en Impact

Dit werk opent nieuwe onderzoeksvlakken door multischaal-analyse naar niet-lineaire ruimten te brengen. De implicaties zijn breed:

• Data-analyse: Het biedt een wiskundig onderbouwde manier om complexe, structurele data (zoals beelden of puntwolken) te analyseren zonder ze te forceren in een lineaire vectorruimte, wat informatieverlies voorkomt.
• Deep Learning: Het introduceert een nieuwe manier om de dynamiek van neurale netwerken te visualiseren en te diagnosticeren. Het "Optimaliteitsgetal" kan dienen als een nieuwe metriek voor generatieve modellen (zoals Flow Matching) om te beoordelen hoe goed een model de optimale transport-afbeelding benadert.
• Robuustheid: De theoretische stabiliteit en de mogelijkheid tot ruisreductie maken de methode geschikt voor praktische toepassingen in ruwe data-omgevingen.

Kortom, het paper levert een fundamentele bijdrage aan de meetkunde van kansverdelingen en biedt een krachtig, interpreteerbaar instrument voor het analyseren van dynamische systemen in de moderne datawetenschap.