Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds

Technische Samenvatting: Intrinsic-Hybrid Latent Diffusion Models voor Generatieve Modellering op Onbekende Manifolds

Probleemstelling
Diffusiemodellen (DM's) hebben een state-of-the-art prestatie bereikt in hoogdimensionale datasynthese, maar kampen met twee primaire beperkingen: een zware afhankelijkheid van grote trainingsdatasets en een verwaarlozing van intrinsieke geometrische structuren. Hoewel Latent Diffusion Models (LDMs) de dimensionaliteit verminderen door een latente ruimte te leren, leggen zij doorgaans een Euclidische structuur op aan deze ruimte. Deze aanname slaagt er niet in de onderliggende Riemanniaanse geometrie van de data-manifold te vangen, een gebrek dat bijzonder problematisch wordt in regimes met schaarse data. Bestaande intrinsieke benaderingen vereisen expliciete kennis van manifold-operatoren (bijv. Laplace-Beltrami eigenbases), wat in de praktijk zelden beschikbaar is. Bovendien missen standaard manifold-leermethoden vaak robuustheid in regio's met een lage datadichtheid, wat leidt tot hoge reconstructiefouten en onzekerheid in de mapping.

Methodologie
De auteurs stellen het Intrinsic Hybrid Latent Diffusion Model (ILDM) voor, een framework dat probabilistische dimensionaliteitsreductie integreert met geometrie-bewuste hybride diffusieprocessen op onbekende manifolds.

1. Manifold-parametrisatie en Metric Learning:

   • De latente ruimte wordt geïnterpreteerd als een chart van een onbekende Riemanniaanse manifold.
   • Een probabilistische decoder (ofwel een Gaussian Process (GP) decoder of een Variational Autoencoder (VAE)) wordt vooraf getraind om latente coördinaten naar de dataruimte te mappen.
   • Een Riemanniaanse metriek-tensor ($g$) wordt afgeleid van de Jacobiaan van de decoder. Voor GP-decoders volgt deze metriek een noncentrale Wishart-distributie, die zowel de intrinsieke geometrie als de onzekerheid van de latent-naar-data mapping codeert.
   • De latente ruimte wordt behandeld als een "data noise manifold", waarbij wordt erkend dat punten ver van de trainingsdata reconstructies opleveren die gedomineerd worden door ruis.

2. Hybride Forward-proces:

   • Het forward diffusieproces is ontworpen als een mengeling van Riemanniaanse Brownian Motion (BM) en Euclidische BM.
   • Een schakelmechanisme wordt beheerd door de predictieve variantie ($\sigma^2(x)$) van de mapping $\phi$.
   • In regio's met lage onzekerheid (waar de metriek betrouwbaar is), volgt het proces de Riemanniaanse BM-dynamiek gedefinieerd door de metriek $g$.
   • In regio's met hoge onzekerheid (ver van de trainingsdata), schakelt het proces over naar standaard Euclidische BM om flexibele exploratie mogelijk te maken zonder te vertrouwen op onbetrouwbare geometrische schattingen.
   • Dit hybride SDE wordt numeriek gesimuleerd met behulp van de Euler-Maruyama methode.

3. Score Estimatie (Approximate Denoising Score Matching):

   • Omdat de transitiedichtheid van het hybride SDE onhandelbaar (intractable) is, kan standaard Denoising Score Matching (DSM) niet direct worden toegepast.
   • De auteurs introduceren Approximate Denoising Score Matching (ADSM). Deze methode benadert de onhandelbare transitiedichtheid met behulp van een Gaussische distributie geparametriseerd door het steekproefgemiddelde en de variantie van gesimuleerde forward trajecten.
   • Een neuraal netwerk (U-Net) wordt getraind om de scorefunctie ($\nabla_x \log p_t(x)$) te voorspellen met behulp van dit benaderde objectief.
   • Een alternatieve Sliced Score Matching (SSM) wordt evene kind overwogen, maar wordt opgemerkt dat deze trager convergeert in hoge dimensies vergeleken met ADSM.

4. Hybride Backward-proces:

   • Het generatieve (backward) proces maakt gebruik van Hybrid Langevin Dynamics.
   • Vergelijkbaar met het forward-proces schakelen de dynamieken tussen Riemanniaanse Langevin-updates (in regio's met lage onzekerheid, gebruikmakend van de natuurlijke gradiënt) en Euclidische Langevin-updates (in regio's met hoge onzekerheid).
   • Het proces wordt gestuurd door de geleerde scorefunctie en de positieafhankelijke metriek-tensor.

5. Conditionele Generatie:

   • Het framework ondersteunt classifier-free guidance door gezamenlijk conditionele en onconditionele score-netwerken te trainen, wat controleerbare generatie op basis van klasse-labels mogelijk maakt.

Belangrijkste Bijdragen

• Geometrische Bewustheid in de Latente Ruimte: ILDM interpreteert de latente ruimte als een chart van een onbekende Riemanniaanse manifold, waarbij de metriek-tensor expliciet wordt gemodelleerd om lokale geometrische distorties te verklaren.
• Onzekerheid-bewuste Hybride Dynamiek: Het model schakelt dynamisch tussen Riemanniaanse en Euclidische diffusie op basis van de mapping-onzekerheid, waarmee de problemen van "geometrische mismatch" en "degradatie door schaarse data" worden aangepakt die inherent zijn aan standaard LDMs.
• Approximate Denoising Score Matching (ADSM): Een nieuw trainingsdoel dat is afgestemd op hybride diffusie-instellingen waar closed-form transitiedichtheden niet beschikbaar zijn, wat efficiënte score-estimatie via gesimuleerde trajecten mogelijk maakt.
• Robuustheid bij Schaarse Data: Het framework is specifiek ontworpen om effectief te presteren in scenario's met schaarse data, waar conventionele diffusiemodellen moeite hebben.

Experimentele Resultaten
De auteurs hebben ILDM geëvalueerd op drie benchmark-datasets onder condities van schaarse data:

1. COIL-100: Specifiek de 'Lucky Cat' object (72 afbeeldingen).
2. Cardiac MRI: Scans van de linker ventrikel.
3. MNIST: Subsets van de dataset.

• Kwantitatieve Prestaties: ILDM presteerde consistent beter dan standaard Diffusiemodellen (DM) en Latent Diffusion Models (LDM), met lagere Fréchet Inception Distance (FID) en Learned Perceptual Image Patch Similarity (LPIPS) scores.
• Kwalitatieve Prestaties: Visualisaties van de geleerde vectorenvelden toonden aan dat de score-schattingen van ILDM accuraat in de richting van de datadistributie wezen, waarbij de lokale manifold-geometrie werd gevangen. In contrast hiermee produceerden standaard LDMs vectorenvelden die naar het centrum van de latente ruimte wezen, waardoor de onderliggende structuur niet werd gereflecteerd.
• Ablatie: Experimenten met de schakeldrempel-parameter ($\alpha$) toonden aan dat het afstemmen van deze hyperparameter de steekproefkwaliteit verbeterde vergeleken met standaard LDMs.

Significantie en Claims
Het artikel claimt dat ILDM een significante vooruitgang vertegenwoordigt voor generatieve modellering in scenario's waar data schaars is en de onderliggende manifold-geometrie onbekend is. Door probabilistische dimensionaliteitsreductie te verenigen met geometrie-bewuste diffusie, overwint het framework de beperkingen van Euclidische aannames in latente ruimtes. De auteurs stellen dat hun benadering de generatieve modellering vereenvoudigt door de ambient-dimensionaliteit te reduceren terwijl de intrinsieke structuur wordt gerespecteerd, wat een robuuste oplossing biedt voor hoogwaardige synthese in door data beperkte omgevingen. Het werk demonstreert dat het integreren van onzekerheidskwantificering in de diffusie-dynamiek cruciaal is voor het behoud van de generatiekwaliteit wanneer de trainingsdata beperkt is.