Résumé Technique : La Perte Ne Suffit Pas : Conditions d'Échantillonnage et Biais Inductif dans l'Apprentissage de Représentations Contrastives

Énoncé du Problème

L'apprentissage contrastif (CL) est devenu un paradigme dominant pour l'apprentissage auto-supervisé de représentations, pourtant les conditions théoriques sous lesquelles il parvient à récupérer une géométrie latente significative restent incomplètement comprises. Bien que le succès empirique soit généralisé, les mécanismes précis qui pilotent le CL sont souvent heuristiques, menant à une utilisation inefficace des ressources et à des choix de conception qui pourraient ne pas exploiter pleinement le potentiel de la méthode.

Les explications théoriques existantes se divisent généralement en deux catégories :

1. L'Explication par l'Invariance : Postule que le CL induit des représentations invariantes aux facteurs de nuisance. Cependant, ce cadre ne précise pas quels facteurs sont des nuisances, ni comment les augmentations de données déterminent implicitement cette partition. De plus, les facteurs considérés comme « nuisibles » par l'objectif contrastif peuvent porter des informations discriminantes nécessaires pour des tâches en aval spécifiques.
2. L'Explication par la Récupération : Suppose que les données résident sur une variété de haute dimension possédant une structure latente de faible dimension, et que le CL récupère cette structure latente. Bien que prometteuse, les résultats d'identifiabilité antérieurs (ex. Zimmermann et al., 2021) reposent sur des hypothèses fortes, spécifiquement que l'échantillonnage de paires positives suit une distribution de von Mises-Fisher (vMF) à support complet.

Le problème central abordé est que les mécanismes d'échantillonnage du monde réel (augmentations) satisfont rarement l'hypothèse de support complet. Ils restreignent souvent le support des paires positives (par exemple, en fixant certaines caractéristiques sémantiques tout en perturbant d'autres). L'article examine si l'objectif contrastif seul est suffisant pour récupérer la géométrie latente lorsque cette « condition de diversité » est violée, et comment le biais inductif architectural interagit avec la diversité de l'échantillonnage.

Méthodologie

Cadre Théorique

Les auteurs développent un cadre de théorie de la mesure pour analyser l'apprentissage contrastif, modélisant le processus de génération de données comme une application injective $g: \mathcal{Z} \to \mathcal{X}$ d'un espace latent $\mathcal{Z}$ vers un espace d'observation $\mathcal{X}$. L'encodeur $f: \mathcal{X} \to \mathcal{Z}$ vise à apprendre une application de récupération $h = f \circ g$.

Définitions Clés :

• Condition de Diversité : Une exigence de support sur la loi conditionnelle des paires positives $P_{\tilde{Z}|Z}$. Elle est satisfaite si, pour presque toute ancre $z$, la mesure marginale $P_Z$ est absolument continue par rapport à la mesure conditionnelle $P_{\tilde{Z}|z}$ ($P_Z \ll P_{\tilde{Z}|z}$). Intuitivement, le processus de génération de vues doit perturber toutes les caractéristiques latentes ; si une dimension latente reste fixe, l'encodeur ne peut pas distinguer les variations le long de cette dimension.
• Perte InfoNCE : Analysée comme un problème de minimisation de l'entropie croisée entre la vraie loi de l'échantillonnage conditionnelle $P_{\tilde{Z}|z}$ et la loi conditionnelle du modèle $Q_{h,z}$.

Analyse Théorique

L'article procède par trois étapes analytiques :

1. Cas à Support Complet : Il est prouvé que le cadre standard de la vMF à support complet implique la condition de diversité. En utilisant un argument de Mazur-Ulam probabiliste, les auteurs montrent que tout minimiseur global de la perte contrastive asymptotique récupère l'espace latent à une transformation orthogonale (isométrie) près.
2. Cas de Violation de la Diversité : Les auteurs modélisent des scénarios où le support conditionnel est restreint à une sous-variété de dimension inférieure (par exemple, en fixant des coordonnées latentes $u$ tout en faisant varier $v$). Ils prouvent que sous une diversité violée, des applications non orthogonales peuvent atteindre une perte contrastive asymptotique strictement plus faible que toute application orthogonale. Spécifiquement, la fonction de perte décourage activement les solutions préservant la géométrie, menant à des espaces latents mal structurés où les relations sémantiques ne sont pas préservées.
3. Modèle Corrigé : Pour traiter le décalage de support, les auteurs introduisent une variante de l'InfoNCE « corrigée par le support » où les échantillons négatifs sont tirés de la même sous-variété contrainte que les paires positives. Ils prouvent que cette correction rend les solutions isométriques (orthogonales) réalisables (c'est-à-dire qu'elles deviennent des minimiseurs globaux), mais crucialement, elle ne garantit pas qu'elles soient les minimiseurs uniques.

Validation Expérimentale

Les prédictions théoriques sont validées par deux ensembles d'expériences :

1. Benchmarks Synthétiques : Utilisant un espace latent sphérique ($S^2$) et cinq processus génératifs (Identité, Linéaire, Spirale, Patchs, MLP Inversible), les auteurs comparent des encodeurs à faible biais inductif (MLP) contre des encodeurs à haut biais inductif (modèles inverses conçus pour refléter le processus génératif).
   • Métriques : Identifiabilité linéaire ($R^2$), Coefficient de Corrélation Moyenne (MCC) et Erreur de Préservation Angulaire (APE).
   • Conditions : Échantillonnage avec diversité maintenue (support complet) vs diversité violée (dimensions fixes).
2. Expériences CIFAR-10 : Utilisant SimCLR avec trois architectures (MLP, ViT, ResNet-18) et des régimes d'augmentation variables (Tout, Crop Uniquement, Tout sans crop).
   • Objectif : Examiner qualitativement comment le biais inductif architectural compense la diversité limitée de l'échantillonnage dans des données réelles où les latents de vérité terrain sont inconnus.

Résultats Clés

Résultats Théoriques

• Nécessité de la Diversité : La condition de diversité est nécessaire pour la récupération isométrique du latent. Lorsqu'elle est violée, l'objectif contrastif seul échoue à récupérer la géométrie latente, même avec des données infinies et des encodeurs expressifs.
• Échec de l'InfoNCE Standard : Sous une diversité violée, la perte InfoNCE standard favorise les applications déformant la géométrie plutôt que les applications orthogonales.
• Rôle de la Correction de Support : Un objectif InfoNCE corrigé par le support (échantillonnant les négatifs depuis la sous-variété contrainte) restaure l' accessibilité des solutions isométriques, mais ne garantit pas leur sélection. L'espace des solutions reste non unique sans contraintes additionnelles.
• Rôle Compensatoire du Biais Inductif : Lorsque la diversité de l'échantillonnage est insuffisante, le biais inductif architectural devient critique. Les encodeurs à haut biais inductif (ceux approximant l'inverse du processus génératif) peuvent récupérer la structure latente même lorsque la condition de diversité est violée, tandis que les encodeurs à faible biais inductif échouent.

Résultats Empiriques

• Résultats Synthétiques :
  • Diversité Maintenue : Les encodeurs MLP atteignent une identifiabilité linéaire quasi parfaite ($R^2 \ge 0,99$), confirmant que les encodeurs expressifs peuvent récupérer la géométrie latente quand la condition de diversité est remplie.
  • Diversité Violée : La performance des MLP s'effondre ($R^2 \in [0,05, 0,13]$ pour la plupart des processus). En revanche, les encodeurs inverses (haut biais inductif) maintiennent une haute performance de récupération ($R^2 \ge 0,88$).
  • InfoNCE Adapté : L'application de la perte corrigée par le support récupère partiellement la performance des MLP ($R^2 \approx 0,60\text{--}0,65$) mais n'atteint pas la performance des encodeurs à haut biais inductif, confirmant que la correction de la perte seule est insuffisante pour une sélection unique.
• Résultats CIFAR-10 :
  • Un support d'échantillonnage plus large (« Tout » les augmentations) produit la précision en aval la plus élevée pour toutes les architectures.
  • Un biais inductif plus élevé (ResNet-18 > ViT > MLP) améliore systématiquement la performance.
  • Effet d'Interaction : L'écart de performance entre les architectures s'élargit à mesure que la condition de diversité est de plus en plus violée (ex. « Tout sans crop »). Sous un échantillonnage restreint, le ResNet-18 à haut biais inductif surpasse significativement le MLP à faible biais inductif, démontrant que les priors architecturaux sont critiques lorsque la diversité de l'échantillonnage est limitée.

Signification et Revendications

L'article affirme fournir un cadre rigoureux pour comprendre les régimes de succès et d'échec de l'apprentissage contrastif. Ses principales contributions sont :

1. Formaliser la Condition de Diversité : La distinguer de l'hypothèse de support complet vMF utilisée dans les travaux antérieurs et démontrer que sa violation altère fondamentalement le paysage d'optimisation, rendant les solutions préservant la géométrie sous-optimales sous les objectifs standards.
2. Clarifier le Rôle du Biais Inductif : Établir que lorsque la diversité de l'échantillonnage est limitée, le biais inductif architectural n'est pas seulement une amélioration heuristique, mais un mécanisme nécessaire pour récupérer des structures latentes significatives.
3. Limites de la Modification de la Perte : Montrer que si la correction du décalage de support dans la fonction de perte rend les solutions isométriques accessibles, elle ne garantit pas leur sélection, renforçant ainsi la nécessité du biais inductif.

Les auteurs concluent que l'interaction entre les mécanismes d'échantillonnage et le biais inductif de l'encodeur détermine conjointement la qualité de la représentation. Ils suggèrent que les choix de conception pour les pipelines d'augmentation et les architectures d'encodeurs devraient être guidés par cet alignement théorique, réduisant potentiellement le gaspillage de calcul issu de l'expérimentation par essais et erreurs. Le travail ne prétend pas résoudre tous les problèmes d'identifiabilité, mais clarifie les conditions spécifiques sous lesquelles l'apprentissage contrastif réussit ou échoue à récupérer la géométrie latente.