Technische Samenvatting: Een Unificerend Geometrisch Kader voor Gewogen Contrastief Leren

Probleemstelling

Contrastief Leren (CL) is een hoeksteen geworden van supervised en self-supervised representatieleren, maar de geometrische structuur van de door het gegenereerde embeddings blijft slecht begrepen. Hoewel er empirische successen zijn (bijv. SimCLR, SupCon, CLIP), is het onduidelijk welke specifieke relationele structuren deze doelstellingen impliciet proberen te realiseren in de embedding-ruimte, of dergelijke structuren altijd haalbaar zijn, en hoe weegschema's de geometrie van de oplossing beïnvloeden. Specifiek ontbreekt het aan een rigoureuze karakterisering met betrekking tot het bestaan, de uniciteit en de afstandsstructuur van optimale representaties onder verschillende weegschema's, vooral in aanwezigheid van class-imbalance of continue labels.

Methodologie

De auteurs stellen voor om gewogen Contrastief Leren te interpreteren als een Afstandsgeometrisch Probleem (DGP). Door de gewogen InfoNCE (w-InfoNCE) loss te analyseren, stellen ze vast dat het minimaliseren van de loss equivalent is aan het vinden van een geometrische realisatie van een doel-paarsgewijze geometrie die wordt gedefinieerd door de weegmatrix $W$.

Kernkader

1. Unificerende Formulering: Het papier definieert de w-InfoNCE loss met behulp van een similariteitsmatrix $W$ (die voorkennis encodeert via labels of metadata) en een latente similariteitsmatrix $S$.
2. Entropische Ondergrens: Onder de aanname van strikt positieve gewichten leiden de auteurs een entropische ondergrens voor de loss af. Ze bewijzen dat het globale minimum wordt bereikt wanneer de latente similariteiten $s_{ij}$ voldoen aan $s^*_{ij} = \log(w_{ij}) + c$.
3. Verbinding met DGP: Deze voorwaarde transformeert het optimalisatieprobleem in een DGP. Afhankelijk van de gebruikte similariteitsmetriek (Euclidische afstand versus Cosinus-similariteit) reduceert het probleem tot het vinden van een embedding die respectievelijk voorgeschreven Euclidische afstanden of cosinus-similariteiten voldoet.
4. Bestaan en Uniciteit: De auteurs passen concepten uit de computationele geometrie toe (Euclidische Afstandsmatrices en Sferische EDM's) om voorwaarden te bepalen waaronder optimale embeddings bestaan en uniek zijn. Ze onderscheiden tussen "realiseerbare" geometrieën (waar een oplossing bestaat), "degenererende" oplossingen (waar meerdere kwalitatief verschillende configuraties de loss minimaliseren) en "inconsistente" doelstellingen (waar de doelgeometrie niet kan worden gerealiseerd in de embedding-ruimte).

Belangrijkste Bijdragen

1. Geometrische Karakterisering van Supervised Classificatie

Het papier analyseert SupCon (harde gewichten) en Soft SupCon (dichte gewichten met een kleine niet-nul similariteit voor negatieve paren):

• Class Collapse: Beide doelstellingen zorgen ervoor dat samples binnen dezelfde class collapse naar een enkel prototype.
• Effecten van Class Imbalance:
  • SupCon: In aanwezigheid van class imbalance induceert SupCon niet-uniforme inter-class similariteiten. De geometrie van de class-prototypes hangt af van class-groottes, waardoor de symmetrie van een reguliere simplex wordt verbroken. Minderheidsclassen worden dichter bij elkaar gegroepeerd.
  • Soft SupCon: Door een kleine niet-nul similariteit toe te wijzen aan inter-class paren, behoudt Soft SupCon een reguliere simplex-geometrie ongeacht class imbalance, mits de temperatuurparameter correct wordt afgesteld.

2. Analyse van Settings met Continue Labels

De auteurs onderzoeken doelstellingen voor regressie en weakly supervised learning:

• y-Aware CL: Deze methode gebruikt Euclidische afstanden in de label-ruimte ($W$) maar cosinus-similariteit in de latente ruimte ($S$). Het papier bewijst dat deze combinatie geometrisch inconsistent is. Tenzij de labels op een hypersfeer liggen, kan de doelstelling haar entropische ondergrens niet bereiken, omdat Euclidische label-afstanden niet perfect kunnen worden gemapt naar sferische latente similariteiten.
• Geometrisch Consistente Alternatieven:
  • Euclidisch–Euclidisch: Het gebruik van Euclidische afstand in beide ruimtes maakt een unieke, realiseerbare optimum mogelijk.
  • X-CLR: Het gebruik van cosinus-similariteit in zowel label- als latente ruimtes (sferisch–sferisch) staat een unieke optimale embedding toe, mits aan de label-dimensie en temperatuur-beperkingen wordt voldaan.

3. Nieuwe Evaluatiemetrics

Om deze theoretische claims empirisch te valideren, introduceren de auteurs drie geometrische metrics:

• Entropische Loss Gap: Meet hoe dicht de behaalde loss bij de theoretische ondergrens ligt.
• Similariteitscoëfficiënt ($r^2_{s-sim}$): Meet de correlatie tussen paarsgewijze similariteiten in de geleerde embeddings versus de theoretische optimum.
• Procrustes Similariteit ($r^2_{Proc}$): Meet de uitlijning tussen de geleerde embeddings en de theoretische optimum na optimale starre transformatie (rotatie/translatie).

Experimentele Resultaten

De auteurs valideren hun kader op het MNIST-dataset en CIFAR-100:

• Discrete Classificatie: In gebalanceerde settings convergeren geleerde embeddings naar een reguliere simplex. In onbalanssettings vervormen SupCon-embeddings volgens class-groottes, terwijl Soft SupCon de structuur van de reguliere simplex behoudt.
• Continue Regressie: Bij gebruik van Euclidische gewichten met Euclidische latente similariteit benaderen de geleerde embeddings de label-geometrie nauwkeurig ($r^2_{Proc} \approx 0,96$). Omgekeerd faalt de inconsistente y-Aware setup (Euclidische labels, sferische latentie) om de juiste geometrie te herstellen, terwijl de gecorrigeerde Euclidisch-Euclidische setup slaagt.
• X-CLR: Experimenten op CIFAR-100 tonen aan dat modellen die zijn getraind met consistente label-embedding-geometrieën (bijv. tekst-embeddings die overeenkomen met de geometrie van de latente ruimte) betere generalisatie en hogere Procrustes-similariteitsscores bereiken in vergelijking met mismatchende geometrieën.

Betekenis en Claims

Het papier claimt een principieel kader te bieden voor het ontwerpen van contrastieve doelstellingen door expliciet de geometrie die wordt geïnduceerd door het weegschema af te stemmen op de geometrie van de embedding-ruimte.

• Realiseerbaarheid: De keuze van het weegschema bepaalt of een contrastieve doelstelling geometrisch realiseerbaar, degenererend of inconsistent is.
• Ontwerpgids: De auteurs betogen dat practitioners similariteitsfuncties voor $W$ en $S$ moeten kiezen die consistent zijn (bijv. Euclidisch-Euclidisch of Sferisch-Sferisch) om het bestaan van een unieke, optimale oplossing te waarborgen.
• Theoretisch Inzicht: Dit werk biedt een complementair perspectief op bestaande informatietheoretische en probabilistische visies op CL, met focus op de structurele eigenschappen van de oplossingsruimte. Het verklaart waarom bepaalde doelstellingen (zoals Soft SupCon of X-CLR) andere kunnen overtreffen (zoals standaard SupCon in onbalanssettings of y-Aware met mismatchende metrics) vanwege hun geometrische realiseerbaarheid.

De auteurs erkennen beperkingen, waarbij ze noteren dat hun analyse expliciete dissimilariteitsmatrices afgeleid van labels of metadata veronderstelt, terwijl self-supervised settings (zoals SimCLR) vertrouwen op impliciete, datagedreven dissimilariteitsmatrices die theoretisch moeilijker te karakteriseren zijn. Ze positioneren dit werk als een fundament voor toekomstig onderzoek naar de geometrische eigenschappen van impliciete contrastieve doelstellingen.