Technische Samenvatting: Optimale Representaties voor Generalized Contrastive Learning met Ongelijkmatige Datasets

Probleemstelling

Contrastive Learning (CL) beoogt representatiemaps te leren die "soortgelijke" (positieve) samples dichter bij elkaar brengen en "verschillende" (negatieve) samples uit elkaar duwen. Hoewel de geometrie van optimale representaties goed begrepen is voor evenwichtige datasets – waarbij Neural Collapse (NC) optreedt en klassgemiddelden een Equiangular Tight Frame (ETF) vormen – blijft het gedrag van CL onder ongelijkmatige klassenverdelingen grotendeels ongekarakteriseerd. Bestaande theoretische werken hebben zich voornamelijk gericht op:

1. Empirische versies van de InfoNCE-verliesfunctie met specifieke, bijna-maximale aantallen negatieve samples ($k \approx$ batchgrootte).
2. Evenwichtige klassensettingen waarbij alle klassen gelijke waarschijnlijkheid hebben.
3. Classificatienetwerken met expliciete label-afhankelijke verliesfuncties (bijv. MSE, Cross-Entropy), in plaats van het algemene CL-risico.

Dit artikel adresseert de lacune in het begrip van de geometrie van optimale representaties voor gegeneraliseerde CL-verliezen onder willekeurige klassenongelijkheden, met name door te onderzoeken of de ETF-structuur behouden blijft en door nieuwe fenomenen zoals Minority Collapse (MC) te identificeren.

Methodologie

De auteurs hanteren een Unconstrained Features Model (UFM)-kader, waarbij de featurevectoren van de laatste laag worden behandeld als vrije optimalisatievariabelen in plaats van netwerkgewichten. Dit maakt een hanteerbare analyse van het globale optimum mogelijk.

Belangrijkste Aannames en Opzet

• Generaliseerde Verliesfunctie: De studie beschouwt een brede familie van CL-verliezen gedefinieerd als $\ell_k = \psi(\dots)$, waarbij $\psi: \mathbb{R}^k \to \mathbb{R}$ strikt convex is en argument-voor-argument strikt stijgend. Dit omvat populaire verliezen zoals InfoNCE.
• Steekproefverdelingen: De analyse behandelt zowel Ongecontroleerd CL (UCL), waarbij negatieven uit de volledige dataset worden getrokken (waardoor "klassencollisies" mogelijk zijn), als Gecontroleerd CL (SCL), waarbij negatieven uit klassen worden getrokken die verschillen van de anker.
• Klassenongelijkheid: Het artikel modelleert datasets waarbij klassenwahrscheinelijkheden $\lambda_i$ niet noodzakelijk gelijk zijn, inclusief scenario's met extreme ongelijkheid (één meerderheidsklasse en meerdere even waarschijnlijke minderheidsklassen).
• Optimalisatiestrategie:
  1. Constructie van een Ondergrens: Een strakke ondergrens $G(M)$ voor het CL-risico wordt afgeleid, uitgedrukt uitsluitend in termen van de klassgemiddelde vectoren $M = [\mu_1, \dots, \mu_C]$.
  2. Convexe Relaxatie: Het probleem van het minimaliseren van het risico wordt omgezet in het minimaliseren van een functie $S(A)$ over de Gram-matrix $A = M^\top M$. De auteurs bewijzen dat $S(A)$ strikt convex is over de verzameling van geldige correlatiematrixen.
  3. Analytische Karakterisering: De eigenschappen van de unieke minimalizer $A^*$ worden geanalyseerd om de geometrische structuur van de optimale klassgemiddelden te bepalen.

Belangrijkste Bijdragen

1. Generaliseerde Ondergrens en Variance Collapse

Het artikel stelt een nieuwe ondergrens (Lemma 1) vast voor het CL-risico die geldt voor elke strikt convexe, argument-voor-argument stijgende verliesfunctie en elk aantal negatieve samples $k$.

• Intra-class Variance Collapse: De auteurs bewijzen dat om deze ondergrens te bereiken, de representatiemap alle samples binnen een klasse moet laten instorten tot hun klassgemiddelde (d.w.z. $f(x) = \mu_{y(x)}$).
• Eenheidsnorm: De optimale klassgemiddelden moeten een Euclidische norm van één hebben.

2. Geometrie van Optimale Klassgemiddelden

Voor representatiedimensies $d \ge C-1$:

• Rangdeficiëntie: De unieke optimale Gram-matrix $A^*$ is bewezen rangdeficiënt met rang ten hoogste $C-1$, zelfs zonder expliciete rangbeperkingen.
• Convexe Berekening: De optimale klassgemiddelden kunnen worden berekend door een convex optimalisatieprobleem over de Gram-matrix op te lossen, gevolgd door spectrale decompositie.
• Symmetrie-structuur: In tegenstelling tot het evenwichtige geval waarbij gemiddelden een ETF vormen, vertoont de optimale geometrie voor ongelijkmatige klassen een equiangular symmetrie-structuur die wordt bepaald door relatieve klassproporties. Specifiek, als twee klassen gelijke waarschijnlijkheid hebben, behouden hun gemiddelden identieke inwendige producten met alle andere klassgemiddelden (Stelling 3).

3. Minority Collapse (MC) Fenomeen

Het artikel levert een rigoureuze theoretische bewijsvoering voor Minority Collapse in CL.

• Definitie: Wanneer klassenongelijkheid extreem is (specifiek, wanneer de meerderheidsklassenwaarschijnlijkheid $\lambda_1$ een niet-asymptotische drempel $\tau$ overschrijdt), instorten de optimale representaties van alle samples uit de minderheidsklassen tot een enkele vector.
• Afleiding van Drempel: Een voldoende voorwaarde voor MC wordt afgeleid in termen van het aantal klassen $C$, het aantal negatieven $k$ en de Lipschitz-eigenschappen van de verliesfunctie $\psi$.
• InfoNCE-specifieken: Voor de InfoNCE-verliesfunctie leidt het artikel parameterloze drempels af:
  • $\tau \approx 0.9292$ voor de UCL-setting.
  • $\tau \approx 0.9438$ voor de SCL-setting.
    Deze drempels garanderen MC ongeacht $C$ of $k$.

4. Unificatie van Settings

De resultaten worden aangetoond te gelden voor zowel UCL- als SCL-settings, met kleine aanpassingen in de waarschijnlijkheidsverdelingen, waardoor het theoretische begrip van contrastive learning over verschillende steekproefmechanismen wordt geünificeerd.

Resultaten en Validatie

• Theoretische Consistentie: De afgeleide ondergrenzen en geometrische eigenschappen zijn wiskundig bewezen noodzakelijk en voldoende voor optimaliteit onder het UFM.
• Numerieke Experimenten:
  • Intra-class Collapse: Experimenten op ongelijkmatige CIFAR-10-subsets (3 klassen) met ResNet-50 bevestigen dat getrainde netwerken intra-class variantie laten instorten tot klassgemiddelden. De resulterende Gram-matrixen komen overeen met die berekend via convexe optimalisatie (CVX).
  • Minority Collapse: Experimenten met extreme ongelijkheid ($\lambda_1 = 0.9$) tonen aan dat minderheidsklassgemiddelden instorten tot een enkele vector die diametraal tegenover het meerderheidsklassgemiddelde ligt, wat het theoretische MC-fenomeen valideert.
  • Geometrie: De experimenten bevestigen dat ongelijkmatige klassen geen gelijkzijdige driehoek (ETF) vormen, maar eerder een gelijkbenige driehoek, consistent met de afgeleide symmetrie-eigenschappen.

Betekenis en Beweringen

Het artikel claimt de eerste berekenbare karakterisering te bieden van optimale CL-representaties onder algemene klassenongelijkheid. De betekenis hiervan ligt in:

1. Generaliseren van Neural Collapse: Het uitbreiden van het NC-fenomeen van evenwichtige settings naar ongelijkmatige, waarbij wordt aangetoond dat terwijl intra-class collapse behouden blijft, de inter-class geometrie (ETF) dat niet doet.
2. Uitleggen van Minority Collapse: Het bieden van een theoretische basis voor het empirisch waargenomen "minority collapse" in CL, en het identificeren ervan als een optimale (hoewel potentieel ongewenste) oplossing voor het risicominimalisatieprobleem onder extreme ongelijkheid.
3. Berekenings-efficiëntie: Het aantonen dat optimale klassgemiddelden kunnen worden gevonden via convexe optimalisatie, wat suggereert dat hoogdimensionale representatieruimten inefficiënt kunnen zijn voor het leren van optimale features in CL.
4. Robuustheid van theorie: Het vaststellen dat deze fenomenen inherent zijn aan de geometrie van de verliesfunctie en steekproefverdeling, en niet artefacten van specifieke netwerkarchitecturen of trainingsdynamieken.

De auteurs sluiten af met het identificeren van open problemen, waaronder de karakterisering van optimale geometrie wanneer $d < C-1$ (relevant voor Large Language Models) en de analyse van de effecten van hard-negative sampling.