Technische Samenvatting: De Geometrie van Memorisatie

Probleemstelling

Continue-time generatieve frameworks, zoals Flow Matching, construeren waarschijnlijkheidspaden tussen basis- en doeldomeinen door tijd-afhankelijke snelheidsvelden te optimaliseren. Hoewel optimale transporttheorie suggereert dat rechte trajecten bij globale optimaliteit de norm zijn, ontwikkelen empirisch getrainde neurale netwerken vaak complexe, niet-lineaire paddeformaties die worden beïnvloed door architectuur en datasetkenmerken.

Een cruciale uitdaging in dit domein is het diagnosticeren van generatieve memorisatie, waarbij modellen met een hoge capaciteit overfitting vertonen door continue latente ruimtes te laten inklappen op discrete trainingsvoorbeelden. Bestaande diagnostische methoden zijn overwegend extrinsiek en data-afhankelijk, en vertrouwen op post-hoc nearest-neighbor zoekopdrachten tegen trainingspools of membership inference attacks. Deze benaderingen vereisen toegang tot de trainingsdata en externe baselines, wat hun nut beperkt in audit-scenario's waar dataprivacy of beschikbaarheid beperkt is. Bovendien is het volgen van de interne geometrie van deze modellen via exacte ruimtelijke afgeleiden (bijv. het construeren van de volledige ruimtelijke Jacobiaan) computationeel onhaalbaar voor hoog-dimensionale beeldmodellen, omdat dit $O(d)$ backward passes vereist voor een ambante dimensie $d$.

Methodologie: Finite-Time Spectral Sensitivity (FTSS)

Om deze beperkingen aan te pakken, introduceert het artikel Finite-Time Spectral Sensitivity (FTSS), aangeduid als $g(t)$. Dit is een gradiëntvrije, forward-pass metriek die ontworpen is om de geometrie van flow matching-modellen bloot te leggen door de root-mean-square (RMS) enkelvoudige waarde van de toestands-transitiematrix te volgen.

Wiskundige Fundamenten

De FTSS is gedefinieerd op basis van de propagatie van infinitesimale perturbaties $\delta_t$ langs een traject dat wordt beheerst door de gewone differentiaalvergelijking (ODE) $d x_t / dt = v_\theta(x_t, t)$.

1. Definitie: $g(t)$ meet de verwachte directionele norm van de flow map $\phi_{t \to 1}$ werkend op isotrope perturbaties op de eenheidssfeer $S^{d-1}$.
2. Spectrale Interpretatie: Propositie 2.2 stelt vast dat $g(t)$ direct equivalent is aan de RMS enkelvoudige waarde van de toestands-transitiematrix $\Phi(1, t; x_t)$. Specifiek vertegenwoordigt $g(t)^2$ de verwachte gemiddelde kwadratische enkelvoudige waarde:
   $$g(t)^2 = \frac{1}{d} \mathbb{E}_{x_t} \left[ \sum_{i=1}^d \sigma_i^2(t; x_t) \right]$$
3. Voordeel ten opzichte van Determinanten: In tegenstelling tot de Jacobiaan-determinant, die dimensionale ineenstorting kan maskeren als één as expandeert terwijl een andere contraheert (bijv. $\sigma_1 \to 0, \sigma_2 \to \infty$), aggregeert FTSS het spectrum additief. Dit zorgt ervoor dat lokale dimensionale ineenstorting niet wordt verhuld door uitschieter-expansies.
4. Entropie-grens: Het artikel leidt een bovengrens af voor de differentiële entropie van de gegenereerde doelverdeling, waarbij wordt aangetoond dat een daling in de globale FTSS $g(0)$ de informatiecapaciteit van de gegenereerde distributie fundamenteel beperkt.

Computationele Implementatie

Om de $O(d)$ kosten van de constructie van een dichte Jacobiaan te omzeilen, stellen de auteurs Algoritme 1 voor, een geparallelliseerde, gradiëntvrije Monte Carlo-schatter.

• Mechanisme: Het algoritme injecteert isotrope perturbaties $\epsilon u$ in gecachte intermediaire toestanden, propageert deze naar de finale tijd via forward-pass trajectsimulaties, en berekent de RMS-winst.
• Complexiteit: De kosten zijn $O(K \cdot T \cdot \text{Cost}(\phi))$, waarbij $K$ het aantal trajecten is en $T$ de grootte van het tijdrooster. Dit vereist alleen forward passes, waardoor het schaalbaar is voor hoog-dimensionale modellen.

Belangrijkste Bijdragen

1. Formalisering van FTSS: Het artikel formaliseert $g(t)$ als een intrinsieke geometrische observeerbare, bewijst de equivalentie ervan aan de RMS enkelvoudige waarde van de toestands-transitiematrix en vestigt het als een continue proxy voor stabiele rang.
2. Theoretische Grenzen: Met behulp van de rekenkundig-meetkundig gemiddelde ongelijkheid begrenzen de auteurs de absolute Jacobiaan-determinant puntgewijs door de lokale RMS enkelvoudige waarde. Dit leidt tot een bewijs van een expliciete bovengrens op de differentiële entropie van de gegenereerde distributie (Propositie 2.5).
3. Spectrale Ineenstortingsratio ($M$): De auteurs definiëren een metriek $M := g_{\min} / g_{\min}^{\text{full}}$, waarbij $g_{\min}$ de minimale FTSS-waarde tijdens de trajectgeneratie is. Zij demonstreren dat deze ratio de transitie van generalisatie naar memorisatie karakteriseert.
4. Interne Geometrische Audit: Het artikel stelt een framework voor (Algoritme 2) dat generatieve memorisatie detecteert met behulp van zuiver interne trajectdynamiek. Dit elimineert de noodzaak voor externe membership-queries of externe baseline-datavergelijkingen.

Empirische Resultaten

Het artikel presenteert empirische karakteriseringen van spectrale ineenstorting over verschillende trainingsdatasetgroottes, modelarchitecturen en datasets.

• Fenomeen van Spectrale Ineenstorting: In low-data regimes waar modellen memoriseren, vertoont de FTSS-curve een duidelijke "spectrale ineenstorting" tijdens de late stadia van de trajectgeneratie ($t \to 1$). Het snelheidsveld "knijpt" de hoog-dimensionale flow van paden samen naar een lagere dimensie om een bereikbare, discrete trainingsdoel te bereiken.
• Diagnostische Nauwkeurigheid: De Spectrale Ineenstortingsratio $M$ identificeert accuraat overfitte continue-time modellen. Generaliserende modellen behouden stabiele effectieve dimensies (stabiele $g(t)$), terwijl overfitting een significante daling in $g_{\min}$ veroorzaakt, wat leidt tot een lage $M$-waarde.
• Schaalbaarheid: De methode slaagt erin modellen te auditeren waarbij exacte Jacobiaan-gebaseerde diagnostiek computationeel onhaalbaar zou zijn.

Betekenis en Claims

Het artikel claimt dat FTSS een schaalbare, intrinsieke diagnostiek biedt voor generatieve memorisatie. Door de focus te verschuiven van extrinsieke datavergelijkingen naar interne geometrische eigenschappen, stelt het framework de detectie van overfitting mogelijk zonder toegang tot de trainingspool. De auteurs stellen dat memorisatie niet louter een statistisch artefact is, maar een structurele pathologie van de transportmap, gekenmerkt door de ineenstorting van de spectrale eigenschappen van de flow. Deze benadering biedt een nieuw perspectief op het auditen van generatieve modellen door de geometrie van het snelheidsveld direct te koppelen aan de informatiecapaciteit en stabiliteit van de gegenereerde distributie.