A Theory of Contrastive Learning with Natural Images

Op basis van de verstrekte tekst volgt hier een gedetailleerde technische samenvatting van het artikel "A Theory of Contrastive Learning with Natural Images."

Probleemstelling

Contrastief leren (CL) heeft opmerkelijk succes geboekt bij het aanleren van nuttige beeldrepresentaties zonder gelabelde data, maar de theoretische redenen voor de effectiviteit ervan blijven onduidelijk. Twee specifieke fenomenen worden als mysterieus geïdentificeerd:

1. Eenvoudige Augmentaties: CL bereikt state-of-the-art prestaties met extreem laag-niveau augmentaties (bijv. willekeurige cropping, kleurjitter, Gaussische vervaging) die schijnbaar niet gerelateerd zijn aan objectherkenning en waarvoor handmatige invariante representaties bestaan die echter niet nuttig zijn voor herkenning.
2. Eenvoudige Afbeeldingen: CL levert hoogwaardige representaties op, zelfs wanneer getraind op synthetische ruisafbeeldingen (bijv. fractale ruis, "dead leaves") die geen 3D-structuur of semantische inhoud missen, terwijl deze representaties effectief transfereren naar real-world herkenningstaken.

Het artikel probeert analytisch te verklaren waarom contrastief leren zo goed werkt onder deze omstandigheden door de optimale representatie te berekenen voor specifieke augmentaties en datasets met stationaire statistieken.

Methodologie

De auteurs benaderen het probleem door de globale optima van een contrastieve verliesfunctie af te leiden, in plaats van enkel te vertrouwen op empirische observatie.

1. Herformulering van de Verliesfunctie:
Het artikel maakt gebruik van de InfoNCE-loss, maar vereenvoudigt de analyse door de Gaussian Uniformity Plus Alignment (GUPA) loss te introduceren.

• Aanname: De representatie $y(x)$ is Gaussisch verdeeld, en de batchgrootte nadert oneindig.
• Equivalentie: Onder deze omstandigheden wordt aangetoond dat de InfoNCE-loss (op een additieve constante na) equivalent is aan de GUPA-loss, die bestaat uit een alignment-term (het minimaliseren van de afstand tussen een afbeelding en zijn augmentatie) en een Gaussische uniformiteitsterm (die de covariantie van representaties wit maakt).
• Restrictie: De analyse beperkt de gemiddelde gekwadrateerde $\ell_2$-norm van de gecentreerde embeddings tot 1.

2. Afleiding van Optimale Gewichten:
De auteurs analyseren een eenvoudige Convolutional Neural Network (CNN) architectuur bestaande uit een convolutionele laag, een pointwise non-lineariteit, global average pooling (GAP) en een lineaire projectielaag.

• Stelling 1.3: Voor een vaste feature map $\phi(x)$ zijn de optimale lineaire projectiegewichten $W$ die de GUPA-loss minimaliseren, de gegeneraliseerde eigenvectoren van het paar $(B, \Sigma)$, waarbij $\Sigma$ de covariantie is van $\phi(x)$ en $B$ de covariantie is van het verschil tussen geaugmenteerde en originele features.
• Waterfilling: De schaling van deze eigenvectoren wordt bepaald door een "waterfilling"-algoritme (Algoritme 1) om aan de norm-restrictie te voldoen, analoog aan vermogensallocatie in communicatiesystemen. Dit resulteert in een low-rank projectie die partiële whitening uitvoert.

3. Toepassing op Natuurlijke Beeldstatistieken:
De theorie maakt gebruik van de statistische eigenschappen van natuurlijke afbeeldingen:

• Stationariteit: Er wordt vanuit gegaan dat beelddatasets translation-invariante (stationaire) statistieken hebben.
• Fourier-eigenschappen: Voor stationaire signalen zijn de Discrete Fourier Transform (DFT) coëfficiënten asymptotisch complex-Gaussisch en paarwijs onafhankelijk. De variantie van het vermogen op een specifieke frequentie komt overeen met het verwachte vermogensspectrum $g(k)$.

Belangrijkste Bijdragen

1. Analytische Karakterisering van Optimale Representaties:
Het artikel bewijst dat voor een reeks eenvoudige augmentaties (circulaire crops, lineaire jitter, ideale vervaging) en elk stationair signaal, de globaal optimale representatie voor de contrastieve loss een partiële whitening operatie is.

• De optimale representatie meet de gekwadrateerde DFT van de invoerafbeelding op specifieke frequenties.
• Deze metingen worden omgekeerd geschaald ten opzichte van het verwachte vermogen (variantie) van die frequenties.
• Dit kan berekend worden door een eenvoudige CNN met sinusvormige filters in de eerste laag, gevolgd door kwadrateren (of ReLU), GAP, en een lineaire whitening-laag.

2. Generalisatie naar Complexe Augmentaties:
Zelfs wanneer augmentaties moeilijker worden gemaakt (bijv. het toevoegen van ruis aan crops, willekeurige blur kernels), blijven de optimale gewichten voor de CNN sinusoïden.

• Hoewel perfecte invariantie onmogelijk is met deze moeilijkere augmentaties, voert de optimale oplossing nog steeds partiële whitening uit.
• De specifieke frequenties die worden geselecteerd en hun gewichten worden bepaald door het vermogensspectrum van de dataset via het waterfilling-algoritme. Het netwerk leert gevoelig te zijn voor een subset van frequenties waar de afweging tussen robuustheid tegen ruis (bevoordeelt hoog vermogen) en de noodzaak voor whitening (bevoordeelt laag vermogen) wordt geoptimaliseerd.

3. Empirische Validatie:
Experimenten werden uitgevoerd door eenvoudige CNN's te trainen op diverse datasets (CIFAR-10, CIFAR-100, ImageNet, en synthetische ruis zoals fractals en "dead leaves") met behulp van de afgeleide loss.

• Filter Learning: In alle gevallen convergeerden de door het netwerk geleerde eerste-laag filters naar sinusoïden, wat de theoretische voorspelling bevestigt.
• Partiële Whitening: De gevoeligheid van de getrainde netwerken voor verschillende frequenties bleek omgekeerd evenredig met de vierkantswortel van het verwachte vermogensspectrum, wat aantoont dat de netwerken leren om partiële whitening uit te voeren.
• Transfereerbaarheid: Training op synthetische ruisafbeeldingen leverde representaties op die de herkenning op CIFAR-10 verbeterden, mits het vermogensspectrum van de ruis overeenkwam met dat van de echte afbeeldingen.

Resultaten en Betekenis

Experimentele Bevindingen:

• Sinusvormige Filters: Ongeacht de dataset (echt of synthetisch) of de gebruikte non-lineariteit (kwadratisch of ReLU), zijn de eerste-laag filters van de getrainde CNN's sinusoïden.
• Frequentiekeuze: De gevoeligheid van het netwerk is geconcentreerd op middenbereik-frequenties. Voor datasets waarbij het vermogen afneemt met de afstand tot de oorsprong, vormt de gevoeligheid een ring of ruit in de frequentieruimte.
• Prestaties: Hoewel de eenvoudige CNN's getraind met contrastieve loss de herkenningsnauwkeurigheid aanzienlijk verbeteren ten opzichte van willekeurige gewichten, merken de auteurs op dat het grootste deel van deze verbetering toe te schrijven is aan partiële whitening. Een eenvoudige lineaire partiële whitening van PCA-coëfficiënten bereikt een vergelijkbare prestatie voor veel augmentaties.
• Kleurkanalen: Wanneer getraind op kleurenafbeeldingen, leert het netwerk sinusoïden die gevoelig zijn voor gedecorreleerde kanalen (bij benadering grijs, rood-groen en blauw-geel), consistent met de statistieken van natuurlijke afbeeldingen.

Betekenis en Claims:
Het artikel beweert een theoretische verklaring te bieden voor het succes van contrastief leren met eenvoudige augmentaties en afbeeldingen.

• Mechanisme: Het succes is niet noodzakelijkerwijs te danken aan het leren van invariantie voor specifieke transformaties, maar aan het sturen van het netwerk naar een partiële whitening representatie. Dit vermindert redundantie en biedt robuustheid tegen ruis, een eigenschap die eerder door domeinexperts werd gesuggereerd (bijv. Atick & Redlich, 1992).
• Rol van Augmentaties: De specifieke keuze van augmentaties bepaalt welke frequenties worden gemeten. Hoewel veel augmentaties leiden tot partiële whitening, bepalen de details welke specifieke frequentiebanden worden gekozen, wat een cruciale impact heeft op de downstream herkenningsprestaties.
• Rol van Data: Het vermogensspectrum van de trainingsdata (zelfs als deze synthetisch is) moet overeenkomen met het doeldomein opdat het netwerk de relevante frequenties leert.

Beperkingen:
De auteurs geven expliciet aan dat hun theoretische analyse zich richt op eenvoudige CNN-architecturen en specifieke augmentaties, die ver verwijderd zijn van state-of-the-art prestaties. De analyse steunt op de GUPA-loss (uitgaande van Gaussische representaties) in plaats van de standaard InfoNCE-loss, hoewel empirische resultaten suggereren dat de geleerde representaties vergelijkbaar zijn. De theorie gaat uit van stationaire datasets, hoewel experimenten suggereren dat het global average pooling mechanisme de theorie kan uitbreiden naar niet-stationaire data door te voorkomen dat het netwerk niet-stationariteit exploiteert.