Résumé Technique : Représentations Optimales pour l'Apprentissage Contrastif Généralisé avec des Jeux de Données Déséquilibrés

Énoncé du Problème

L'apprentissage contrastif (CL) vise à apprendre des cartes de représentation qui rapprochent les échantillons « similaires » (positifs) et éloignent les échantillons « différents » (négatifs). Bien que la géométrie des représentations optimales soit bien comprise pour des jeux de données équilibrés — présentant un Effondrement Neural (NC) où les moyennes de classe forment un Cadre Serré Équiangulaire (ETF) —, le comportement du CL sous des distributions de classes déséquilibrées reste largement non caractérisé. Les travaux théoriques existants se sont principalement concentrés sur :

1. Des versions empiriques de la perte InfoNCE avec des nombres spécifiques, proches du maximum, d'échantillons négatifs ($k \approx$ taille du lot).
2. Des configurations de classes équilibrées où toutes les classes ont une probabilité égale.
3. Des réseaux de classification avec des pertes explicitement dépendantes des étiquettes (par exemple, MSE, Entropie Croisée), plutôt que le risque CL général.

Ce papier comble le manque de compréhension de la géométrie des représentations optimales pour des pertes CL généralisées sous des déséquilibres de classes arbitraires, en investiguant spécifiquement si la structure ETF persiste et en identifiant de nouveaux phénomènes tels que l'Effondrement des Minorités (MC).

Méthodologie

Les auteurs adoptent un cadre de Modèle de Caractéristiques Sans Contraintes (UFM), traitant les vecteurs de caractéristiques de la dernière couche comme des variables d'optimisation libres plutôt que comme des poids du réseau. Cela permet une analyse traitable de l'optimum global.

Hypothèses Clés et Configuration

• Fonction de Perte Généralisée : L'étude considère une large famille de pertes CL définies comme $\ell_k = \psi(\dots)$, où $\psi: \mathbb{R}^k \to \mathbb{R}$ est strictement convexe et strictement croissante terme par terme. Cela englobe des pertes populaires comme InfoNCE.
• Distributions d'Échantillonnage : L'analyse couvre à la fois le CL Non Supervisé (UCL), où les négatifs sont tirés de l'ensemble du jeu de données (permettant des « collisions de classes »), et le CL Supervisé (SCL), où les négatifs sont tirés de classes différentes de l'ancre.
• Déséquilibre de Classes : Le papier modélise des jeux de données où les probabilités de classe $\lambda_i$ ne sont pas nécessairement égales, incluant des scénarios de déséquilibre extrême (une classe majoritaire et plusieurs classes minoritaires équiprobables).
• Stratégie d'Optimisation :
  1. Construction de la Majorante : Une borne inférieure serrée $G(M)$ pour le risque CL est dérivée, exprimée uniquement en termes des vecteurs de moyenne de classe $M = [\mu_1, \dots, \mu_C]$.
  2. Relaxation Convexe : Le problème de minimisation du risque est transformé en la minimisation d'une fonction $S(A)$ sur la matrice de Gram $A = M^\top M$. Les auteurs prouvent que $S(A)$ est strictement convexe sur l'ensemble des matrices de corrélation valides.
  3. Caractérisation Analytique : Les propriétés du minimiseur unique $A^*$ sont analysées pour déterminer la structure géométrique des moyennes de classe optimales.

Contributions Clés

1. Borne Inférieure Généralisée et Effondrement de la Variance

Le papier établit une nouvelle borne inférieure (Lemme 1) pour le risque CL valable pour toute fonction de perte strictement convexe et croissante terme par terme, et pour tout nombre d'échantillons négatifs $k$.

• Effondrement de la Variance Intra-classe : Les auteurs prouvent que pour atteindre cette borne inférieure, la carte de représentation doit effondrer tous les échantillons d'une classe vers leur moyenne de classe (c'est-à-dire $f(x) = \mu_{y(x)}$).
• Norme Unité : Les moyennes de classe optimales doivent avoir une norme euclidienne unitaire.

2. Géométrie des Moyennes de Classe Optimales

Pour des dimensions de représentation $d \ge C-1$ :

• Déficience de Rang : La matrice de Gram optimale unique $A^*$ est prouvée être de rang déficient avec un rang au plus $C-1$, même sans contraintes de rang explicites.
• Calcul Convexe : Les moyennes de classe optimales peuvent être calculées en résolvant un problème d'optimisation convexe sur la matrice de Gram, suivi d'une décomposition spectrale.
• Structure de Symétrie : Contrairement au cas équilibré où les moyennes forment un ETF, la géométrie optimale pour des classes déséquilibrées présente une structure de symétrie équiangulaire déterminée par les proportions relatives des classes. Spécifiquement, si deux classes ont une probabilité égale, leurs moyennes maintiennent des produits scalaires identiques avec toutes les autres moyennes de classe (Théorème 3).

3. Phénomène d'Effondrement des Minorités (MC)

Le papier fournit une preuve théorique rigoureuse de l'Effondrement des Minorités dans le CL.

• Définition : Lorsque le déséquilibre de classe est extrême (spécifiquement, lorsque la probabilité de la classe majoritaire $\lambda_1$ dépasse un seuil non asymptotique $\tau$), les représentations optimales de tous les échantillons des classes minoritaires s'effondrent en un seul vecteur.
• Déduction du Seuil : Une condition suffisante pour le MC est dérivée en termes du nombre de classes $C$, du nombre de négatifs $k$, et des propriétés de Lipschitz de la fonction de perte $\psi$.
• Spécificités InfoNCE : Pour la perte InfoNCE, le papier dérive des seuils sans paramètres :
  • $\tau \approx 0.9292$ pour le cadre UCL.
  • $\tau \approx 0.9438$ pour le cadre SCL.
    Ces seuils garantissent le MC indépendamment de $C$ ou $k$.

4. Unification des Cadres

Les résultats sont montrés comme valables pour les cadres UCL et SCL, avec de légers ajustements aux distributions de probabilité, unifiant ainsi la compréhension théorique de l'apprentissage contrastif à travers différents mécanismes d'échantillonnage.

Résultats et Validation

• Cohérence Théorique : Les bornes inférieures dérivées et les propriétés géométriques sont mathématiquement prouvées comme étant nécessaires et suffisantes pour l'optimalité sous l'UFM.
• Expériences Numériques :
  • Effondrement Intra-classe : Des expériences sur des sous-ensembles déséquilibrés de CIFAR-10 (3 classes) utilisant ResNet-50 confirment que les réseaux entraînés effondrent la variance intra-classe vers les moyennes de classe. Les matrices de Gram résultantes correspondent à celles calculées via une optimisation convexe (CVX).
  • Effondrement des Minorités : Des expériences avec un déséquilibre extrême ($\lambda_1 = 0.9$) démontrent que les moyennes des classes minoritaires s'effondrent en un seul vecteur diamétralement opposé à la moyenne de la classe majoritaire, validant le phénomène théorique de MC.
  • Géométrie : Les expériences confirment que les classes déséquilibrées ne forment pas un triangle équilatéral (ETF) mais plutôt un triangle isocèle, cohérent avec les propriétés de symétrie dérivées.

Importance et Revendications

Le papier revendique fournir la première caractérisation calculable des représentations CL optimales sous un déséquilibre de classes général. Son importance réside dans :

1. Généralisation de l'Effondrement Neural : Étendre le phénomène NC des cadres équilibrés aux cadres déséquilibrés, montrant que si l'effondrement intra-classe persiste, la géométrie inter-classe (ETF) ne le fait pas.
2. Explication de l'Effondrement des Minorités : Fournir une fondation théorique pour l'« effondrement des minorités » observé empiriquement dans le CL, l'identifiant comme une solution optimale (bien que potentiellement indésirable) au problème de minimisation du risque sous un déséquilibre extrême.
3. Efficacité Computationsnelle : Démontrer que les moyennes de classe optimales peuvent être trouvées via une optimisation convexe, suggérant que les espaces de représentation de haute dimension peuvent être inefficaces pour apprendre des caractéristiques optimales en CL.
4. Robustesse de la Théorie : Établir que ces phénomènes sont inhérents à la géométrie de la fonction de perte et de la distribution d'échantillonnage, plutôt que des artefacts d'architectures de réseaux spécifiques ou de dynamiques d'entraînement.

Les auteurs concluent en identifiant des problèmes ouverts, notamment la caractérisation de la géométrie optimale lorsque $d < C-1$ (pertinent pour les Grands Modèles de Langage) et l'analyse des effets de l'échantillonnage de négatifs difficiles.