Technische Samenvatting: Evaluatie van de Representatieruimte van Diffusiemodellen via Zelfgestuurde Principes

1. Probleemstelling

Diffusiemodellen hebben zichzelf gevestigd als state-of-the-art generatieve systemen en, recenter nog, als krachtige zelfgestuurde (self-supervised) representatie-lerende systemen. De theoretische en praktische verbinding tussen hun generatieve vermogens en hun eigenschappen voor het leren van representaties blijft echter onderbelicht. In tegenstelling tot traditionele zelfgestuurde leermethoden (SSL) die expliciet optimaliseren voor invariantie ten opzichte van data-augmentaties, worden diffusiemodellen getraind via een denoising-doelstelling om schone signalen te herstellen uit door Gaussische ruis gecorrumpeerde inputs.

Dit onderscheid roept fundamentele vragen op: In welke mate leggen diffusie-representaties impliciet de geometrische eigenschappen vast van "goede" representaties (zoals invariantie en expansie) die gezocht worden in SSL? Bovendien, hoe evolueren deze eigenschappen over verschillende ruisniveaus en gedurende de trainingsdynamiek, met name in scenario's met beperkte data waarbij modellen overgaan van generalisatie naar memorisatie? Huidige evaluatiemetrieken, zoals de Fréchet Inception Distance (FID), zijn vaak onvoldoende om vroege memorisatie te detecteren of om intrinsieke, label-vrije signalen tijdens de training te bieden.

2. Methodologie

2.1 Invariantie-Residu Decompositie

De auteurs stellen een raamwerk voor dat geworteld is in SSL-principes om diffusie-features te analyseren. Voor een gegeven trainingsbeeld $\mathbf{x}_0$ beschouwen zij een willekeurige perturbatie $a$ die zowel standaard semantisch-behoudende augmentaties als de additieve Gaussische ruis die inherent is aan het diffusieproces omvat. Laat $\mathbf{h}(a(\mathbf{x}_0))$ de representatie zijn die wordt geëxtraheerd uit een vaste laag van het diffusiemodel.

De auteurs deconstrueren deze representatie in twee componenten:

1. Invariante Component ($\mathbf{s}$): Het conditionele gemiddelde van de representatie over de perturbaties, $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$. Dit vangt stabiele, semantische attributen die resistent zijn tegen corruptie.
2. Residuele Component ($\boldsymbol{\xi}$): De afwijking van het gemiddelde, $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$. Dit vangt view-specifieke, augmentatie-gevoelige variaties.

Deze decompositie leidt tot een totale covariantie-decompositie: $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$, waarbij $\boldsymbol{\Sigma}_s$ de spreiding van invariante identiteiten vertegenwoordigt en $\boldsymbol{\Sigma}_\xi$ de geaggregeerde residuele variatie.

2.2 De Invariante Contaminatie Ratio (ICR)

Om de "gezondheid" van de representatieruimte te kwantificeren, introduceren de auteurs de Invariant Contamination Ratio (ICR). Zij formuleren een gegeneraliseerd eigenwaardeprobleem:
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
waarbij $\lambda_i$ de signaal-ruisverhouding (SNR) langs de $i$-de Fisher-richting $\mathbf{v}_i$ vertegenwoordigt. Een hoge $\lambda_i$ duidt op een richting die gedomineerd wordt door een stabiele invariante structuur, terwijl een lage $\lambda_i$ duidt op dominantie door residuele ruis.

De ICR wordt gedefinieerd als:
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
waarbij $d$ de feature-dimensie is.

• Lage ICR: Geeft aan dat het invariante signaal de residuele variatie domineert (hoge SNR), wat wijst op een robuuste representatie.
• Hoge ICR: Geeft aan dat residuele variatie (contaminatie) een aanzienlijk deel van de representatieruimte inneemt.

Cruciaal is dat ICR label-vrij is en volledig berekend kan worden uit trainingsfeatures zonder externe evaluatoren of een hold-out testset.

3. Belangrijkste Bijdragen

1. Een op representatie gebaseerde evaluatiemetriek: Het artikel introduceert de ICR, een enkele scalaire metriek afgeleid van een invariantie-residu decompositie. Het meet de mate waarin augmentatie- en ruisgevoelige variatie de stabiele structuur van de feature-ruimte contamineert.
2. Identificatie van een Semantisch Venster: De auteurs demonstreren dat diffusie-ruis-schedules een intermediair "semantisch venster" toestaan waar de ICR wordt geminimaliseerd. Dit minimum valt samen met de ruisniveaus die de hoogste lineaire classificatie-accuratesse opleveren, wat een eenvoudige, SSL-gebaseerde regel biedt voor het selecteren van optimale ruisschalen voor downstream taken.
3. Het volgen van Generalisatie versus Memorisatie: Het artikel onthult onderscheidende leerniveaus in de representatieruimte:
   • Data-rijke Regimes: ICR neemt monotoon af naarmate de training vordert, waarbij het de verbeteringen in generatieve kwaliteit (FID) nauwgezet volgt.
   • Data-beperkte Regimes: ICR vertoont een U-vormig traject. Het neemt eerst af terwijl het model leert te generaliseren, bereikt een minimum, en neemt vervolgens toe wanneer het model begint met het memoriseren van specifieke trainingsvoorbeelden. Dit maakt ICR een gevoelig early-stopping signaal voor memorisatie, detecteerbaar voordat standaard generatieve metrieken of nearest-neighbor tests op overfitting wijzen.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op CIFAR-10, CIFAR-100 en ImageNet met behulp van diverse diffusie-architecturen (EDM, SiT).

• Analyse van Ruisniveaus: Over alle datasets heen is de ICR-curve U-vormig met betrekking tot de ruisniveaus. Het minimum van de ICR komt exact overeen met de piek in de lineaire classificatie-accuratesse. Dit bevestigt dat intermediaire ruisniveaus de beste balans bieden tussen het vastleggen van fijnmazige details en stabiele semantische structuren.
• Data-rijke Training: In experimenten met volledige trainingssets (bijv. 50k CIFAR-10 afbeeldingen, 1.28M ImageNet afbeeldingen), namen zowel ICR als FID monotoon af over de trainingsiteraties. Dit suggereert dat naarmate het model de data-manifold leert, de interne representatie steeds invarianter en "zuiverder" wordt.
• Data-beperkte Training: In experimenten met beperkte data (bijv. 4k CIFAR-10 afbeeldingen, 10k ImageNet afbeeldingen) volgde de ICR een U-vormige curve. Het minimum van de ICR-curve trad op net voordat de memorisatie-ratio begon te stijgen. Visualisaties van nearest neighbors bevestigden dat tijdens het ICR-minimum de buren semantisch betekenisvol waren, terwijl ze tijdens de overfitting-fase (stijgende ICR) visueel ongerelateerd werden.
• Dynamiek van Feature Expansie: Analyse van de traces van $\boldsymbol{\Sigma}_s$ en $\boldsymbol{\Sigma}_\xi$ toonde aan dat in data-rijke regimes de feature-expansie wordt gedreven door de groei van de invariante structuur. In data-beperkte regimes, zodra de invariante structuur verzadigt, wordt verdere expansie gedreven door residuele variatie, wat leidt tot de stijging van de ICR.

5. Betekenis en Claims

Het artikel claimt dat diffusiemodellen effectief gemonitord en geëvalueerd kunnen worden via de geometrie van hun geleerde representaties met behulp van zelfgestuurde principes. De primaire betekenis ligt in het bieden van intrinsieke, training-tijd signalen die niet afhankelijk zijn van:

• Externe pre-trained netwerken (zoals DINOv2 of Inception).
• Kostbare sampling en generatie van testafbeeldingen.
• Ground-truth labels.

De auteurs stellen dat ICR dient als een verenigde diagnostische tool die de kloof overbrugt tussen representatie-leren en generatief modelleren. Het biedt een praktische methode om optimale ruisschalen voor feature-extractie te identificeren en om het begin van memorisatie in scenario's met weinig data te detecteren, waarmee een kritiek gat in huidige evaluatiemethodologieën wordt opgevuld waar standaard metrieken zoals FID mogelijk falen om vroege overfitting te detecteren. Het werk suggereert dat de transitie van generalisatie naar memorisatie fundamenteel een verschuiving is in de representatieruimte van invariante structuur naar residuele variatie.