Technische Samenvatting: Hard-Negative Sampling voor Contrastive Learning

Probleemstelling

Contrastive Learning (CL) beoogt representaties te leren waarbij vergelijkbare datapunten dicht bij elkaar liggen en ongelijksoortige datapunten ver van elkaar verwijderd zijn. Hoewel hard-negative sampling (het selecteren van negatieve samples die moeilijk te onderscheiden zijn van de anchor) empirisch bekend staat om het verbeteren van de downstream performance, blijft de theoretische impact ervan op de geometrie van globale minima onderbelicht. Specifiek is er een gebrek aan een rigoureuze verstandhouding met betrekking tot:

1. Of hard-negative sampling de optimale representatie-geometrie verandert ten opzichte van standaard CL.
2. De condities waaronder Neural Collapse (NC) — een geometrie waarbij klassenmiddelpunten een Equiangular Tight Frame (ETF) vormen en intra-klasse variantie verdwijnt — optreedt in zowel Supervised (SCL) als Unsupervised (UCL) settings.
3. Het fenomeen van Dimensional Collapse (DC), waarbij representaties inklappen naar een lager-dimensionale subspace, en hoe hard-negative sampling en feature-normalisatie dit beïnvloeden.

Bestaande theoretische werken leunen vaak op sterke assumpties, zoals de conditionele onafhankelijkheid van geaugmenteerde positieve views gegeven de label, en richten zich op specifieke loss-functies zoals InfoNCE.

Methodologie

De auteurs stellen een verenigd theoretisch kader voor om CL-losses te analyseren onder een algemeen latent datamodel.

1. Gegeneraliseerde Loss en Hardening-functies

Het papier definieert een algemene contrastieve loss functie $\ell_k$ met behulp van een convexe, argument-wijze niet-dalende functie $\psi_k$. Dit omvat populaire losses zoals InfoNCE en Triplet Loss.
Om hard-negative sampling te modelleren, introduceren de auteurs een hardening function $\eta: \mathbb{R}^k \to \mathbb{R}$, die niet-negatief en argument-wijze niet-dalend is. Deze functie herweegt de sampling-distributie van negatieve samples, waardoor de waarschijnlijkheid toeneemt om negatieven te selecteren die meer uitgelijnd zijn met de anchor in de representatie-ruimte.

2. Theoretisch Kader

De analyse beslaat vier settings:

• SCL: Supervised Contrastive Learning (labels beschikbaar).
• HSCL: Hard-negative SCL.
• UCL: Unsupervised Contrastive Learning (latente labels).
• HUCL: Hard-negative UCL.

De auteurs leiden ondergrenzen af voor de verwachte losses in deze settings. Een cruciaal theoretisch instrument is de Harris comparison inequality, die wordt gebruikt om te bewijzen dat de verwachte loss met hard-negative sampling ondergrenzen heeft ten opzichte van de standaard CL loss.

3. Optimalisatie en Geometrie

Het papier onderzoekt de globale minima van deze losses. Het definieert Neural Collapse (NC) als de staat waarin:

• Klassenmiddelpunten een genormaliseerd Equiangular Tight Frame (ETF) vormen.
• Intra-klasse variantie nul is (alle samples van een klasse mappen naar hetzelfde punt).
• De representatie-dimensie $d_Z \ge C-1$ (waarbij $C$ het aantal klassen is).

De auteurs analyseren ook Dimensional Collapse (DC), gedefinieerd als de empirische covariantie-matrix van klassenmiddelpunten waarvan de singuliere waarden nul zijn of orden van grootte kleiner zijn dan de grootste, wat duidt op een verlies van representatiecapaciteit.

Belangrijkste Bijdragen

1. Theoretische Ondergrenzen en Dominantie (Theorem 1)

De auteurs bewijzen dat voor elke representatie-mapping $f$, de losses van Hard-SCL (HSCL) en Hard-UCL (HUCL) ondergrenzen hebben ten opzichte van hun standaard tegenhangers (SCL en UCL). Dit wordt vastgesteld met behulp van de Harris-ongelijkheid, wat aantoont dat hard-negative sampling de sampling-distributie effectief "kantelt" om de loss verder te minimaliseren, mits de loss functie argument-wijze niet-dalend is.

2. Optimaliteit van Neural Collapse (Theorems 2 & 3)

• SCL/HSCL: Het papier bewijst dat de globale minima voor zowel SCL als HSCL overeenkomen met de Neural Collapse geometrie. Cruciaal is dat dit resultaat geen gebruik maakt van de assumptie dat positieve samples conditioneel onafhankelijk zijn gegeven de label, een veelvoorkomstige beperking in eerdere literatuur. De optimale loss-waarde is identiek voor zowel SCL als HSCL wanneer NC wordt bereikt.
• UCL/HUCL: De auteurs stellen vast dat NC de optimale geometrie is voor UCL als de embedding-dimensie voldoende groot is ten opzichte van het aantal latente klassen. Voor HUCL hangt de optimale geometrie af van de hardheid en de mogelijkheid van "class collision" (negatieve samples die dezelfde latente klasse delen als de anchor).

3. Empirische Validatie van Optimalisatiedynamiek

Het papier biedt de eerste empirische demonstratie dat:

• Adam Optimization met Hard Negatives: Door Adam te gebruiken met willekeurige initialisatie en geschikte hardheidsniveaus, kunnen HSCL en HUCL convergeren naar de NC-geometrie, mits feature-normalisatie (unit-ball of unit-sphere) wordt toegepast.
• Dimensional Collapse: Zonder hard-negative sampling of feature-normalisatie lijden representaties geleerd via Adam aan Dimensional Collapse (DC), waarbij ze falen om de NC-geometrie te bereiken.
• Normalisatie: Feature-normalisatie is cruciaal voor het mitigeren van DC. Zonder deze normalisatie falen zowel random als hard-negative methoden om NC te bereiken.

Experimentele Resultaten

Synthetische Data

• SCL/HSCL: Convergeerde naar NC ongeacht het hardheidsniveau ($\beta$).
• UCL: Convergeerde naar NC alleen wanneer positieve paren werden geconstrueerd met behulp van label-informatie (voldoet aan theoretische assumpties). Wanneer additive Gaussian noise werd gebruikt (wat de conditionele onafhankelijkheid schendt), werd NC niet waargenomen.
• HUCL: Convergeerde niet naar NC; klassenmiddelpunten weken significant af van de ETF-geometrie, waarbij de afwijking toenam naarmate de hardheid toenam.

Real-World Datasets (CIFAR100, CIFAR10, TinyImageNet)

• Downstream Performance: Hard-negative sampling op matige hardheidsniveaus ($\beta=5, 10$) verbeterde de downstream classificatie-accuratesse met meer dan 40 procentpunten vergeleken met standaard SCL en UCL.
• NC Metrics: In gesuperviseerde settings leidde een verhoogde hardheid het model dichter bij NC. In ongesuperviseerde settings bestond een optimaal hardheidsniveau ($\beta=5$); hogere hardheidsniveaus leidden tot slechtere NC-metrics en een toename van DC.
• Initialisatie Gevoeligheid: Startend vanaf een "near-NC" initialisatie, behielden gesuperviseerde settings (SCL/HSCL) de NC-eigenschappen. Ongesuperviseerde settings (HUCL) met hoge hardheid ($\beta=10, 30$) driften weg van NC en vertonen significante DC.
• Batch Size: NC was bereikbaar bij batch sizes van 64–512. Echter, zeer kleine batch sizes (32) belemmerden NC in datasets met een hoge cardinaliteit door een verminderde diversiteit aan negatieve paren.

Betekenis en Claims

Het papier claimt een eenvoudiger, compacter en transparanter theoretisch bewijs te bieden voor de optimaliteit van Neural Collapse in contrastive learning, waarbij de noodzaak voor de conditionele onafhankelijkheids-assumptie op positieve samples in de gesuperviseerde setting wordt weggenomen.

De auteurs benadrukken dat hoewel hard-negative sampling theoretisch de loss-ondergrens verlaagt, de praktische bruikbaarheid genuanceerd is:

1. Het is essentieel om Dimensional Collapse te voorkomen in Adam-geoptimaliseerde training, een fenomeen waar standaard CL vaak aan lijdt zonder normalisatie.
2. Het verhoogt de downstream classificatie-performance aanzienlijk.
3. Echter, in ongesuperviseerde settings kan excessieve hardheid nadelig zijn, omdat het potentieel "class collisions" veroorzaakt die het bereiken van de optimale NC-geometrie in de weg staan.

Het werk concludeert door openstaande problemen te identificeren, waaronder het afleiden van een nauwe ondergrens voor HUCL die rekening houdt met class collisions, en het begrijpen van de condities waaronder DC vermeden kan worden zonder noodzakelijkerwijs volledige Neural Collapse te bereiken.