Technische Samenvatting: Meten en Decomponeren van Modusgescheidenheid via de Canonieke Diffusie

1. Probleemstelling

Het artikel behandelt de moeilijkheid om modusgescheidenheid te kwantificeren—de geometrische eigenschap van hoe scherp een kansdichtheid fragmenteert in door barrières gescheiden clusters—in hoogdimensionale ruimten. Bestaande hulpmiddelen falen in het onderscheid maken tussen dispersie (hoe wijd massa is verspreid) en fragmentatie (hoe massa wordt opgesplitst door barrières):

• Differentiële entropie neemt toe met de spreiding, ongeacht of de verdeling unimodaal of gefragmenteerd is.
• PCA ordent richtingen op basis van variantie, zonder onderscheid te maken tussen een brede enkele modus en twee smalle, gescheiden modi.
• Mutuele informatie vereist toegang tot de mengseldisintegratie (latente labels), die in de praktijk doorgaans niet beschikbaar is.

De auteurs zoeken een intrinsieke, continue grootheid die gevoelig is voor barrières en een methode om de lineaire richtingen te identificeren waarlangs deze barrières het meest uitgesproken zijn, uitsluitend gebruikmakend van steekproeven en een scorefunctie.

2. Methodologie

De Canonieke Diffusie

De kern van het kader is een unieke reversibele Itô-diffusie gekoppeld aan een doeldichtheid $f$. Dit proces wordt gedefinieerd door twee beperkingen:

1. Stationariteit: $f$ is de stationaire verdeling.
2. Constante Scalare Diffusie: De diffusiematrix is $A_0 = \sigma_f^2 I_d$, waarbij $\sigma_f^2 = \text{tr}(\text{Cov}_f(X))/d$ de scalare variantie van $f$ is.

Onder deze voorwaarden is de drift uniek bepaald als $b(x) = \frac{1}{2}\sigma_f^2 \nabla \log f(x)$. De generator van deze diffusie heeft een discreet spectrum $0 = \mu_1 < \mu_2 \le \mu_3 \dots$, waarbij kleine eigenwaarden corresponderen met trage relaxatiemodi die hoge energiebarrières oversteken.

Twee Aflezingen uit Autocovariantie

Het kader extrahere twee grootheden uit de stationaire autocovariantiematrix $C(\tau) = \mathbb{E}_f[Y_\tau Y_0^\top]$ van het gecentreerde proces $Y_t = X_t - \bar{x}_f$:

1. SSA (Som van Gekwadrateerde Autocorrelaties):
   Een scalare maatstaf voor multimodaliteit, gedefinieerd als de tijdsintegraal van de kwadraat van de op trace genormaliseerde autocorrelatie:
   $$S(f) = \int_0^\infty \rho(\tau)^2 d\tau, \quad \text{waarbij } \rho(\tau) = \frac{\text{tr}C(\tau)}{\text{tr}C(0)}$$
   Spectraal geldt $S(f) = \sum_{k,\ell \ge 2} \frac{w_k w_\ell}{\mu_k + \mu_\ell}$. Het is monotoon in de eigenwaarden van de generator en verzadigt met het aantal modi, en meet effectief de "barrièrehoge" in plaats van slechts het aantal.

2. DA (Dominante Autocorrelatierichtingen):
   Een directionele decompositie verkregen via de eigendecompositie van $C(\tau)$ op een specifieke lag $\tau$. De eigenvectoren $v_j(\tau)$ worden gesorteerd op grootte van de eigenwaarde. Naarmate $\tau \to \infty$, convergeren de leidende eigenvectoren naar de richtingen die moduscentra verbinden (specifiek de projectiecoëfficiënten van de trage eigenfuncties), gesorteerd op metastabiliteit in plaats van variantie.

Theoretische Garanties en Ruisvloer

• Nul-spectrum (Stelling 2): Onder een isotrope Gaussische nul, convergeert het empirische autocovariantiespectrum naar de vrije additieve convolutie van twee geschaalde Marchenko–Pastur-wetten. Dit levert een gesloten-formule analytische bovenrand $\lambda_+(\tau)$ op, die dient als een scherpe ruisvloer om signaaleigenwaarden te onderscheiden van ruis door eindige steekproeven.
• Lag-selectie: De ruisvloer $\lambda_+(\tau)$ maakt een principiële selectie mogelijk van een eindige lag $\tau^*$ waarbij trage modi nog detecteerbaar zijn boven de ruis, waarbij een evenwicht wordt gezocht tussen spectrale convergentie (vereist grote $\tau$) en signaal-ruisverhouding (verslechtert bij grote $\tau$).

Implementatie met Score-gebaseerde Modellen

De methode vereist de dichtheid $f$ niet expliciet, alleen de score $\nabla \log f$. Voor hoogdimensionale data (bijv. afbeeldingen) maken de auteurs gebruik van voorgeregelde score-gebaseerde generatieve modellen (zoals SDXL) via Tweedie's identiteit, die de score levert $\nabla \log f_t(x) \approx -\epsilon_\theta(x, t)/\sigma_t$. Dit maakt het mogelijk om de canonieke diffusie te simuleren in latente ruimten of hoogdimensionale kenmerkruimten zonder expliciete dichtheidsschatting.

3. Belangrijkste Bijdragen

1. Constructie van Canonieke Diffusie: Een uniek, similariteit-invariant stochastisch proces dat uitsluitend wordt gedefinieerd door de score en de eerste twee momenten van een dichtheid, specifiek ontworpen om barrièrestructuren te onthullen.
2. SSA- en DA-maatstaven:
   • SSA: Een scalare maatstaf die mutuele informatie volgt in synthetische mengsels en fragmentatie vastlegt die door entropie wordt gemist.
   • DA: Een lineaire decompositie die trage, metastabiele richtingen herwint (bijv. het scheiden van modi), zelfs wanneer deze niet de richtingen van maximale variantie zijn (in tegenstelling tot PCA).
3. Analytische Ruistheorie: De afleiding van het limietspectrum voor de gesymmetriseerde lag-1 autocovariantie onder een Gaussische nul, wat een gesloten-formule drempel $\lambda_+(\tau)$ biedt die analoog is aan de Marchenko–Pastur-wet voor PCA.
4. Score-gebaseerde Integratie: Een praktische pijplijn voor het toepassen van deze concepten op hoogdimensionale data met behulp van voorgeregelde denoisers, waarmee de vloek van de dimensionaliteit in op kernel gebaseerde methoden wordt omzeild.

4. Experimentele Resultaten

Synthetische Gaussische Mengsels

• SSA versus Mutuele Informatie (MI): In 10D Gaussische mengsels volgt SSA de rangorde van MI over diverse parameterverkenningen (scheiden, variantie, gewicht, aantal modi). In tegenstelling tot MI, dat verzadigt naarmate barrières dieper worden, groeit SSA exponentieel met de barrièrehoge.
• SSA versus Entropie: In een 2D-vergelijking identificeerde SSA correct een bimodale verdeling (parallelle ellipsen) als meer gefragmenteerd dan een unimodale isotrope Gaussische verdeling met hogere entropie, terwijl entropie en PCA het onderscheid in fragmentatie niet maakten.
• DA versus PCA: Op de parallelle ellipsen herwon DA de richting die de twee modi verbindt (de inter-modus barrière), terwijl PCA de richting van maximale variantie binnen de modus selecteerde.

SDXL Tekst-naar-Afbeelding Generaties

• Analyse van Gidsingschaal: Toegepast op SDXL-outputs over 11 prompts en 4 gidsingschalen ($w$).
  • Entropie nam monotoon af naarmate de gidsing toenam (de verdeling werd meer geconcentreerd).
  • SSA piekte bij een tussenliggende gidsing ($w \approx 7.5$), waarbij het het "sweet spot" vastlegde waar de verdeling fragmenteert in distincte, coherente types (bijv. verschillende stijlen van een persoon) voordat het instort in bijna-identieke herhalingen bij hoge gidsing.
• Directionele Decompositie: Voor de prompt "een portret van een oudere persoon" scheidde DA1 de verdeling langs een genderas (Spearman $|\rho|=0.90$), terwijl PC1 gender mixte met realisme en stijl. Voor "een foto van een kraan" vingen zowel DA1 als PC1 de splitsing tussen de betekenis van het vogel en het bouwmateriaal, wat aantoont dat DA alleen met PCA overeenkomt wanneer de fragmentatie-as samenvalt met de variantie-as.

Moleculaire Dynamica (Alanine Dipeptide)

• Herwinnen van Trage Coördinaten: Met behulp van statische steekproeven uit een 22-atomig alaninedipeptide-systeem, herwon DA de bekende trage ruggengraat-dihedrale coördinaten ($\phi, \psi$) zonder toegang tot tijdreeks-trajectgegevens.
• Vergelijking met TICA: DA bereikte dezelfde ordening van trage coördinaten als Time-lagged Independent Component Analysis (TICA), een standaard trajectgebaseerde methode, maar uitsluitend gebruikmakend van statische steekproeven en een score-orakel afgeleid van een kernel-dichtheidsschatting.

5. Betekenis en Beweringen

Het artikel claimt een fundamenteel geometrisch hulpmiddel te bieden voor het meten van modusgescheidenheid dat structureel onderscheidend is van dispersie. De betekenis hiervan ligt in:

• Overbruggen van Statische en Dynamische Analyse: Het maakt het mogelijk om metastabiele structuur (die doorgaans lange trajecten vereist) uit statische steekproeven te extraheren door gebruik te maken van de spectrale eigenschappen van een canonieke diffusie.
• Toepasbaarheid in Hoogdimensies: Door te vertrouwen op score-gebaseerde modellen, schaalt het naar dimensies waar op kernel gebaseerde methoden (zoals Diffusion Maps) falen, waardoor de analyse van complexe outputs van generatieve modellen en moleculaire landschappen mogelijk wordt.
• Theoretische Strenge: De levering van een analytische ruisvloer ($\lambda_+(\tau)$) biedt een principiële, datagedreven methode voor het selecteren van lags en het bepalen van het aantal metastabiele richtingen, waarmee een belangrijke beperking in spectrale clustering en trage-modusanalyse wordt aangepakt.

De auteurs blijven bescheiden, noteren dat het kader lineair is (kan geen niet-lineaire modusgeometrie vastleggen) en afhankelijk is van de kwaliteit van de invoerscore. Ze positioneren het werk als een diagnostisch hulpmiddel voor bestaande generatieve modellen en een methode voor het extraheren van trage collectieve variabelen uit statische data, in plaats van een nieuwe generatieve capaciteit op zich.