Résumé technique : Un cadre géométrique unifié pour l'apprentissage contrastif pondéré

Énoncé du problème

L'apprentissage contrastif (CL) est devenu une pierre angulaire de l'apprentissage de représentations supervisé et auto-supervisé, mais la structure géométrique des embeddings qu'il produit reste mal comprise. Bien que des succès empiriques existent (par exemple, SimCLR, SupCon, CLIP), il est unclear quelles structures relationnelles spécifiques ces objectifs tentent implicitement de réaliser dans l'espace d'embedding, si de telles structures sont toujours réalisables, et comment les schémas de pondération influencent la géométrie de la solution. Plus précisément, il manque une caractérisation rigoureuse concernant l'existence, l'unicité et la structure de distance des représentations optimales sous divers schémas de pondération, en particulier en présence de déséquilibre de classes ou d'étiquettes continues.

Méthodologie

Les auteurs proposent d'interpréter l'apprentissage contrastif pondéré comme un problème de géométrie des distances (DGP). En analysant la perte InfoNCE pondérée (w-InfoNCE), ils établissent que la minimisation de la perte est équivalente à trouver une réalisation géométrique d'une géométrie de paires cibles définie par la matrice de pondération $W$.

Cadre central

1. Formulation unifiée : L'article définit la perte w-InfoNCE en utilisant une matrice de similarité $W$ (codant des connaissances a priori via les étiquettes ou les métadonnées) et une matrice de similarité latente $S$.
2. Majoration entropique : Sous l'hypothèse de poids strictement positifs, les auteurs dérivent une borne inférieure entropique pour la perte. Ils prouvent que le minimum global est atteint lorsque les similarités latentes $s_{ij}$ satisfont $s^*_{ij} = \log(w_{ij}) + c$.
3. Lien avec le DGP : Cette condition transforme le problème d'optimisation en un DGP. Selon la métrique de similarité utilisée (distance euclidienne vs similarité cosinus), le problème se réduit à trouver un embedding satisfaisant des distances euclidiennes prescrites ou des similarités cosinus, respectivement.
4. Existence et unicité : Les auteurs appliquent des concepts de géométrie computationnelle (matrices de distances euclidiennes et EDM sphériques) pour déterminer les conditions dans lesquelles les embeddings optimaux existent et sont uniques. Ils distinguent les géométries « réalisables » (où une solution existe), les solutions « dégénérées » (où plusieurs configurations qualitativement différentes minimisent la perte) et les objectifs « incohérents » (où la géométrie cible ne peut pas être réalisée dans l'espace d'embedding).

Contributions clés

1. Caractérisation géométrique de la classification supervisée

L'article analyse SupCon (poids durs) et Soft SupCon (poids denses avec une petite similarité non nulle pour les paires négatives) :

• Effondrement de classe : Les deux objectifs provoquent l'effondrement des échantillons d'une même classe vers un seul prototype.
• Effets du déséquilibre de classes :
  • SupCon : En présence de déséquilibre de classes, SupCon induit des similarités inter-classes non uniformes. La géométrie des prototypes de classe dépend des tailles de classe, brisant la symétrie d'un simplexe régulier. Les classes minoritaires sont regroupées plus étroitement.
  • Soft SupCon : En attribuant une petite similarité non nulle aux paires inter-classes, Soft SupCon préserve une géométrie de simplexe régulier indépendamment du déséquilibre de classes, à condition que le paramètre de température soit correctement ajusté.

2. Analyse des configurations à étiquettes continues

Les auteurs examinent les objectifs pour la régression et l'apprentissage faiblement supervisé :

• CL conscient de y (y-Aware CL) : Cette méthode utilise des distances euclidiennes dans l'espace des étiquettes ($W$) mais une similarité cosinus dans l'espace latent ($S$). L'article prouve que cette combinaison est géométriquement incohérente. À moins que les étiquettes ne se situent sur une hypersphère, l'objectif ne peut atteindre sa borne inférieure entropique car les distances euclidiennes des étiquettes ne peuvent pas être parfaitement mappées sur des similarités latentes sphériques.
• Alternatives géométriquement cohérentes :
  • Euclidien–Euclidien : L'utilisation de la distance euclidienne dans les deux espaces permet un optimum unique et réalisable.
  • X-CLR : L'utilisation de la similarité cosinus dans les espaces d'étiquettes et latents (sphérique–sphérique) admet un embedding optimal unique, sous réserve que la dimension des étiquettes et les contraintes de température soient respectées.

3. Nouvelles métriques d'évaluation

Pour valider empiriquement ces affirmations théoriques, les auteurs introduisent trois métriques géométriques :

• Écart de perte entropique : Mesure à quel point la perte atteinte est proche de la borne inférieure théorique.
• Coefficient de similarité ($r^2_{s-sim}$) : Mesure la corrélation entre les similarités de paires dans les embeddings appris par rapport à l'optimum théorique.
• Similarité de Procruste ($r^2_{Proc}$) : Mesure l'alignement entre les embeddings appris et l'optimum théorique après transformation rigide optimale (rotation/translatation).

Résultats expérimentaux

Les auteurs valident leur cadre sur les ensembles de données MNIST et CIFAR-100 :

• Classification discrète : Dans des configurations équilibrées, les embeddings appris convergent vers un simplexe régulier. Dans des configurations déséquilibrées, les embeddings SupCon se déforment selon les tailles de classe, tandis que Soft SupCon maintient la structure de simplexe régulier.
• Régression continue : Lors de l'utilisation de poids euclidiens avec une similarité latente euclidienne, les embeddings appris approximent étroitement la géométrie des étiquettes ($r^2_{Proc} \approx 0,96$). À l'inverse, l'utilisation de la configuration incohérente y-Aware (étiquettes euclidiennes, latent sphérique) échoue à retrouver la géométrie correcte, tandis que la configuration corrigée Euclidien-Euclidien réussit.
• X-CLR : Les expériences sur CIFAR-100 montrent que les modèles entraînés avec des géométries d'étiquettes-embeddings cohérentes (par exemple, des embeddings textuels correspondant à la géométrie de l'espace latent) atteignent une meilleure généralisation et des scores de similarité de Procruste plus élevés par rapport aux géométries inadaptées.

Importance et affirmations

L'article revendique fournir un cadre principiel pour concevoir des objectifs contrastifs en faisant correspondre explicitement la géométrie induite par le schéma de pondération avec la géométrie de l'espace d'embedding.

• Réalisabilité : Le choix du schéma de pondération détermine si un objectif contrastif est géométriquement réalisable, dégénéré ou incohérent.
• Guidage de conception : Les auteurs soutiennent que les praticiens devraient choisir des fonctions de similarité pour $W$ et $S$ qui sont cohérentes (par exemple, Euclidien-Euclidien ou Sphérique-Sphérique) pour assurer l'existence d'une solution optimale unique.
• Insight théorique : Ce travail offre une perspective complémentaire aux vues existantes de l'apprentissage contrastif basées sur la théorie de l'information et les probabilités, en se concentrant sur les propriétés structurelles de l'espace de solutions. Il explique pourquoi certains objectifs (comme Soft SupCon ou X-CLR) peuvent surpasser d'autres (comme le SupCon standard dans des configurations déséquilibrées ou y-Aware avec des métriques inadaptées) en vertu de leur réalisabilité géométrique.

Les auteurs reconnaissent des limites, notant que leur analyse suppose des matrices de dissimilarité explicites dérivées d'étiquettes ou de métadonnées, alors que les configurations auto-supervisées (comme SimCLR) reposent sur des matrices de dissimilarité implicites et pilotées par les données, qui sont plus difficiles à caractériser théoriquement. Ils positionnent ce travail comme une fondation pour les recherches futures sur les propriétés géométriques des objectifs contrastifs implicites.