Résumé Technique : Quand le Softmax échoue au sommet : Corrections de Valeurs Extrêmes pour l'InfoNCE

1. Énoncé du Problème

L'apprentissage contrastif, en particulier les méthodes utilisant la perte InfoNCE (Information Noise Contrastive Estimation), est devenu une pierre angulaire de l'apprentissage de représentations auto-supervisées. L'InfoNCE emploie une fonction softmax pour modéliser la probabilité qu'une paire positive soit sélectionnée par rapport à un ensemble de paires négatives. Bien que cela soit souvent justifié par des bornes de la théorie de l'information ou considéré comme une commodité computationnelle, l'article soutient que la forme softmax encode une hypothèse statistique spécifique sur la manière dont l'exemple « gagnant » (top-1) est sélectionné.

Le problème central identifié est un décalage statistique entre les hypothèses sous-jacentes au lien softmax et la réalité des contextes d'apprentissage contrastif modernes :

• L'Hypothèse : Le softmax standard de l'InfoNCE correspond à un modèle de Plackett–Luce dérivé d'un modèle d'utilité aléatoire additive avec un bruit Gumbel indépendant et identiquement distribué (i.i.d.). Cela implique que la queue de la distribution de similarité suit la zone d'attraction de Gumbel (queues légères, support non borné).
• La Réalité : Dans l'apprentissage contrastif moderne, les représentations sont typiquement normalisées (par exemple, via la similarité cosinus), plaçant les scores sur un intervalle borné (par exemple, $[-1, 1]$). Les négatifs les plus « difficiles » — ceux qui sont les plus critiques pour l'apprentissage — résident près de la borne supérieure (le plafond de score). L'article pose que le comportement de queue de ces similarités bornées est mieux décrit par la zone d'attraction de Weibull (extrémité droite finie, variation régulière par rapport à cette extrémité) plutôt que par la zone de Gumbel.

L'utilisation du softmax standard basé sur Gumbel pour des données générées à partir d'un régime de queue de type Weibull conduit à une erreur de spécification du modèle. Cela entraîne une allocation sous-optimale des gradients, où la fonction de perte attribue une masse de probabilité (et donc des mises à jour de gradient) à des négatifs faciles qui sont statistiquement peu susceptibles d'être les véritables « gagnants », tout en sous-pondérant les négatifs difficiles critiques proches de l'extrémité.

2. Méthodologie

L'article propose WEINCE (Weibull-Enhanced InfoNCE), un remplacement direct pour la perte InfoNCE qui corrige ce décalage statistique sans introduire de paramètres entraînables. La méthodologie procède en trois étapes :

A. Fondement Théorique : Théorie des Valeurs Extrêmes (EVT)

Les auteurs appliquent la Théorie des Valeurs Extrêmes pour analyser le comportement asymptotique du maximum de $K$ scores négatifs lorsque $K \to \infty$.

• Théorème de Fisher–Tippett–Gnedenko : Ce théorème stipule que le maximum normalisé de variables i.i.d. converge vers l'une des trois distributions de Valeurs Extrêmes Généralisées (GEV), caractérisées par un paramètre de forme $\xi$ :
  • $\xi = 0$ (Gumbel) : Queues légères, support non borné (correspond au softmax standard).
  • $\xi > 0$ (Fréchet) : Queues lourdes, support non borné.
  • $\xi < 0$ (Weibull) : Extrémité droite finie, scores bornés.
• Trichotomie de la Géométrie de la Queue : Pour les similarités cosinus bornées, l'article soutient que la géométrie de queue pertinente est souvent de type Weibull ($\xi < 0$). L'article dérive des fonctions de lien « adaptées à la géométrie » pour les probabilités de sélection top-1. Pour le cas de Weibull, la probabilité qu'un candidat gagne est proportionnelle à $(x_F - s_i)^{-\beta}$, où $x_F$ est l'extrémité (1.0 pour le cosinus) et $\beta$ est un indice de queue. Cela mène à un logit de « déficit » (shortfall) : $\ell^W_{ij} = -\beta \log(x_F - s_{ij})$.

B. Diagnostics Empiriques

Avant de proposer la solution, les auteurs valident le décalage :

• Analyse de dépassement de seuil (Peaks-Over-Threshold - POT) : L'ajustement d'une distribution de Pareto Généralisée sur la queue des scores d'encodeurs gelés produit un paramètre de forme $\hat{\xi} \approx -0.39$, confirmant un comportement de type Weibull.
• Sélection de Lien basée sur la Vraisemblance : Les auteurs comparent le lien softmax standard à une famille imbriquée qui interpole entre la coordonnée de translation (Gumbel) et la coordonnée d'extrémité (Weibull). Le poids d'interpolation ajusté $\hat{\lambda}$ est systématiquement non nul (environ 0,33–0,50) sur plusieurs jeux de données (CIFAR, STL-10) et architectures, indiquant qu'un lien de type softmax pur est insuffisant et qu'une composante de déficit d'extrémité améliore significativement la vraisemblance des gagnants observés.

C. L'Algorithme WEINCE

WEINCE mélange dynamiquement les logits InfoNCE standards avec les logits de déficit de Weibull sur une base par ancre (anchor-wise).

• Logits Interpolés : Pour chaque ancre $i$, le logit $\ell_{ij}$ est calculé comme suit :
  $$\ell_{ij} = (1 - \lambda_i) \frac{s_{ij}}{\tau} + \lambda_i \left( -\hat{\beta}_i \log(x_F - s_{ij}) \right)$$
  où $s_{ij}$ est la similarité cosinus, $\tau$ est la température, et $x_F = 1$.
• Estimation en Ligne : Le poids de mélange $\lambda_i$ et l'indice de queue $\hat{\beta}_i$ sont estimés en ligne à partir des statistiques du minibatch actuel, ne nécessant aucun passage supplémentaire vers l'avant (forward pass) ou paramètres entraînables :
  1. Signal de Dureté ($\rho_i$) : Le déficit minimum ($1 - s_{ij}$) parmi les négatifs pour l'ancre $i$. Si l'ancre possède des négatifs très proches du plafond, $\rho_i$ est faible.
  2. Signal de Forme de la Queue ($\Delta AIC_i$) : Une comparaison de l'ajustement d'une ligne de Weibull par rapport à un proxy de Gumbel aux $K_{tail}$ plus petits déficits, utilisant un score de type AIC.
  3. Poids de Mélange : $\lambda_i$ est défini via une fonction sigmoïde de ces signaux. Il approche 0 (InfoNCE pur) pour les ancres avec une faible preuve d'extrémité et approche 1 (Weibull pur) pour les ancres avec une preuve forte de type Weibull près du plafond.
• Calcul de la Perte : La perte finale est l'entropie croisée standard calculée en utilisant ces logits interpolés.

3. Contributions Clés

1. Réinterprétation Statistique : L'article identifie explicitement l'hypothèse statistique cachée dans le softmax de l'InfoNCE (géométrie de queue de Gumbel) et démontre son désalignement avec les espaces de plongement (embeddings) bornés utilisés dans l'apprentissage contrastif moderne.
2. Diagnostics : Il fournit des preuves théoriques et empiriques (via l'analyse POT et les tests de rapport de vraisemblance) que la queue des négatifs difficiles dans l'apprentissage contrastif présente un comportement d'extrémité de type Weibull, entraînant une mauvaise allocation de gradient dans l'InfoNCE standard.
3. WEINCE : Il propose une modification pratique et sans paramètre de l'InfoNCE qui utilise les statistiques de batch en ligne pour interpoler de manière adaptative entre les logits de type softmax et les logits de déficit de Weibull. Il récupère l'InfoNCE comme un cas particulier ($\lambda=0$) et n'applique les corrections que lorsque les données supportent la géométrie d'extrémité.

4. Résultats Expérimentaux

Les auteurs ont évalué WEINCE comme un remplacement direct de l'InfoNCE sur cinq benchmarks de vision et un benchmark NLP, en utilisant des protocoles d'évaluation de caractéristiques gelées (probing linéaire et k-NN).

• Benchmarks de Vision :
  • Jeux de données : CIFAR-10, CIFAR-100, STL-10, ImageNet-32, et Tiny-ImageNet.
  • Architectures (Backbones) : ResNet-18, ResNet-50, et ViT-Small.
  • Résultats : WEINCE a systématiquement surpassé l'InfoNCE classique. Les gains notables incluent :
    • CIFAR-100 (ResNet-18) : +3,27 % de précision linéaire.
    • CIFAR-100 (ResNet-50) : +4,82 % de précision linéaire.
    • STL-10 (ResNet-50) : +1,58 % de précision linéaire.
    • ViT-Small sur Tiny-ImageNet : +3,41 % de précision linéaire.
  • k-NN : Des améliorations constantes des métriques de rappel (R@1, R@2, etc.) ont été observées sur tous les jeux de données.
• Benchmark NLP :
  • Configuration : SimCSE non supervisé utilisant BERT-base-uncased sur 1M de phrases Wikipedia, évalué sur le STS-Benchmark.
  • Résultats : WEINECE a atteint une corrélation de Spearman de 76,36 contre 71,74 pour l'InfoNCE (+4,63 points), démontant que la correction de l'extrémité bornée se généralise au-delà de la vision.
• Efficacité : La méthode ajoute un surcoût computationnel négligeable (~0,67 % d'augmentation du temps par étape) et introduit zéro paramètre entraînable.

5. Signification et Revendications

L'article affirme que l'interprétation standard de l'InfoNCE comme une simple commodité de calcul néglige un décalage statistique critique dans le traitement des négatifs difficiles. En appliquant la théorie des valeurs extrêmes, les auteurs montrent que l'événement « gagnant » dans les espaces de similarité bornés est mieux modélisé par une distribution de déficit d'extrémité de Weibull qu'une distribution de translation de Gumbel.

La signification de WEINCE réside dans sa capacité à :

• Corriger l'Allocation de Gradient : En alignant la fonction de perte avec la véritable géométrie de queue des données, WEINCE garantit que la masse de gradient est concentrée sur les négatifs difficiles les plus informatifs près du plafond de score, plutôt que d'être diluée parmi les négatifs faciles.
• Améliorer la Qualité des Représentations : Les améliorations constantes lors des évaluations de caractéristiques gelées suggèrent qu'un traitement statistique plus fidèle de l'objectif contrastif conduit à de meilleures représentations transférables.
• Fournir un Cadre Général : L'approche n'est pas limitée à la vision ; elle s'applique à tout objectif contrastif utilisant des similarités bornées, comme le démontrent les résultats NLP.

Les auteurs maintiennent une position modeste, notant que la méthode ne nécessite pas de changements architecturaux ou de réglage d'hyperparamètres et sert d'amélioration directe et efficace aux pipelines d'apprentissage contrastif existants. Ils soulignent que la correction est adaptative, préservant le comportement standard de l'InfoNCE lorsque les données ne présentent pas de preuves fortes d'une géométrie d'extrémité.