📊 statistics

Similarity search generalisation in contrastive learning with InfoNCE loss

Cet article établit que la perte InfoNCE avec $k$ échantillons négatifs approxime une espérance de l'entropie croisée quantifiant l'écart de recherche de similitude et introduit une nouvelle borne de continuité via la différenciation de Gâteaux pour démontrer que l'augmentation du nombre d'échantillons négatifs stabilise l'erreur de généralisation pour les fonctions d'incorporation lipschitziennes.

Auteurs originaux : Nick Whiteley

Publié 2026-07-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nick Whiteley

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre ce que signifie « similaire ». Vous lui montrez l'image d'un chat (l'ancre) puis une image légèrement différente du même chat (le positif). Ensuite, vous lui montrez un tas d'images de chiens, de voitures et de bananes (les négatifs). Le travail du robot est d'apprendre un « embedding » spécial (une carte mathématique) qui rapproche les deux images de chat et éloigne les chiens.

L'outil que le robot utilise pour apprendre est appelé InfoNCE. C'est comme un jeu où le robot obtient un score basé sur sa capacité à séparer les chats du bruit. Mais voici la grande question : si le robot apprend parfaitement ce jeu sur les images que vous lui avez montrées, sera-t-il réellement capable de trouver des choses similaires dans le monde réel (données non vues) qu'il n'a jamais rencontrées auparavant ?

Ce papier, écrit par Nick Whiteley, explore en profondeur cette question. Il ne se contente pas de dire « ça marche » ; il tente d'expliquer pourquoi cela fonctionne et comment le nombre d'images de « bruit » (échantillons négatifs) modifie la donne.

La magie de la foule de « bruit »

Dans le jeu InfoNCE, on donne généralement au robot quelques échantillons négatifs (peut-être 10 ou 100). Mais dans le monde réel, les possibilités sont infinies. Que se passe-t-il si vous donnez au robot une foule massive d'échantillons négatifs ?

Le papier prouve quelque chose de très spécifique : À mesure que vous augmentez le nombre d'échantillons négatifs ( $k$ ), les performances du robot se rapprochent d'une recherche « idéale » parfaite.

Voyez cela comme ceci :

La Recherche Idéale : Imaginez un bibliothécaire magique qui sait exactement comment l'univers génère les paires « positives » (comme le chat et son jumeau). Ce bibliothécaire peut instantanément vous donner la similitude parfaite entre deux choses quelconques.
La Recherche du Robot : Le robot utilise sa carte apprise pour deviner la similitude.
La Connexion : Le papier montre que la différence entre la supposition du robot et la réponse parfaite du bibliothéraire magique diminue très rapidement à mesure que vous ajoutez des échantillons négatifs. Plus précisément, l'erreur chute à un taux de $O(1/k)$ .

Cela signifie que si vous doublez le nombre d'échantillons négatifs, vous réduisez l'erreur de moitié. Si vous avez 1 000 négatifs, l'erreur est infime. C'est un fait mathématique prouvé dans le papier, et non une simple supposition. Cela corrige une idée plus ancienne qui suggérait que l'erreur pourrait chuter plus lentement (comme en $1/\sqrt{k}$ ). L'auteur démontre qu'avec le bon calcul, c'est en fait beaucoup plus rapide : $1/k$ .

Le bouton de température

Il y a un autre personnage dans cette histoire : le paramètre de température ( $\tau$ ). Imaginez que c'est un « bouton de mise au point » sur le cerveau du robot.

Si la température est basse, le robot est très exigeant. Il ne s'intéresse qu'aux choses les plus similaires et ignore le reste.
Si la température est élevée, le robot est plus décontracté et considère une gamme plus large de similitudes.

Le papier prouve que ce bouton agit comme un régularisateur. Si vous tournez la température vers le haut (en l'augmentant), le robot est forcé de rester plus proche de la distribution moyenne de toutes les données, ce qui l'empêche de devenir trop erratique ou de faire du surapprentissage (overfitting) sur des cas atypiques. Le papier stipule explicitement que plus la température est élevée, plus le comportement de recherche du robot est contraint d'être proche de la distribution générale des données, quelle que soit la configuration du robot.

Le super-pouvoir de « l'moyennage »

L'une des découvertes les plus passionnantes concerne la généralisation — la capacité du robot à performer sur de nouvelles données non vues.

Les théories précédentes suggéraient que l'ajout d'échantillons négatifs pourrait rendre les mathématiques complexes et difficiles à contrôler. Mais ce papier soutient le contraire. Il introduit un nouvel outil mathématique (utilisant ce qu'on appelle la différentiation de Gâteaux) pour montrer que l'effet de « moyennage » des échantillons négatifs dans la fonction de perte stabilise en réalité les performances du robot.

Pensez-y comme à un sondage. Si vous demandez l'avis d'une seule personne, son opinion peut être déroutante. Si vous demandez à 10 personnes, c'est mieux. Si vous demandez à 1 000 personnes, l'opinion moyenne devient très stable et fiable. Le papier prouve que la fonction de perte InfoNCE fonctionne exactement comme ce sondage. À mesure que $k$ augmente, le « bruit » des mauvais échantillons individuels est lissé par la moyenne, et la capacité du robot à généraliser à de nouvelles données se stabilise.

Ce que le papier écarte

Il est important de noter ce que ce papier ne considère pas comme étant la réponse :

Il s'oppose à l'idée que le taux d'erreur chute lentement (comme en $1/\sqrt{k}$ ) lorsque $k$ devient grand. Le papier prouve qu'il chute plus vite ( $1/k$ ).
Il ne repose pas sur l'hypothèse que les échantillons « positifs » et « négatifs » proviennent exactement de la même distribution de manière symétrique. Le papier rejette explicitement l'idée que nous devons supposer que les échantillons positifs sont simplement des tirages aléatoires du même réservoir que les négatifs. Dans le monde réel, les paires positives sont créées par des transformations spécifiques (comme le recadrage d'une photo), et le papier gère cette réalité de « boîte noire » sans la forcer dans une symétrie parfaite.
Il ne prétend pas que le robot a besoin d'un type spécifique de réseau neuronal (comme un CNN profond). Les résultats sont valables pour toute fonction d'embedding qui est « Lipschitzienne » (ce qui signifie qu'elle ne change pas de manière trop brutale), ce qui inclut de nombreux types de réseaux, mais la preuve est générale.

À quel point sommes-nous sûrs ?

Les auteurs sont très sûrs de leurs mécanismes fondamentaux. Ils ont mathématiquement prouvé (en utilisant un calcul rigoureux et la théorie des probabilités) que :

L'erreur entre la recherche du robot et la recherche idéale est de $O(1/k)$ .
L'erreur de généralisation (la façon dont il fonctionne sur de nouvelles données) se stabilise à mesure que $k$ augmente grâce à l'effet de moyennage.
Le paramètre de température $\tau$ joue un rôle spécifique et prévisible dans la contrainte de la recherche.

Ils ne s'appuient pas sur des simulations ou des expériences pour faire ces affirmations ; elles sont dérivées de principes fondamentaux. Cependant, ils notent que pour des réseaux de neurones profonds très complexes, les limites pourraient devenir « vacues » (trop larges pour être utiles) à moins que le réseau ne soit très grand ou que les données ne soient massives. Ils suggèrent que les travaux futurs pourraient combiner leur nouvelle mathématique avec d'autres techniques pour mieux gérer ces réseaux massifs.

La vue d'ensemble

En termes simples, ce papier nous dit que la fonction de perte InfoNCE est un outil très robuste. Ce n'est pas seulement une heuristique qui « fonctionne bien en pratique ». Elle possède un fondement théorique profond :

Elle apprend à approximer une recherche de similitude idéale.
Plus vous lui lancez d'échantillons négatifs, plus elle converge rapidement vers cet idéal.
Le moyennage de ces échantillons protège naturellement le modèle contre le surapprentissage, le rendant fiable sur des données non vues.

Ainsi, la prochaine fois que vous verrez un système utilisant l'apprentissage contrastif pour trouver des images ou des textes similaires, souvenez-vous qu'il exécute essentiellement un immense sondage mathématiquement prouvé sur ce qui est « similaire », et plus il interroge de personnes (échantillons négatifs), plus la réponse devient précise.

Résumé Technique : Généralisation de la recherche de similitude dans l'apprentissage contrastif avec la perte InfoNCE

Énoncé du problème
L'apprentissage contrastif, en particulier utilisant la perte InfoNCE, est une technique fondamentale pour entraîner des modèles d'incorporation (embedding) utilisés dans la recherche de similitude. Bien que la compréhension théorique de l'InfoNCE ait progressé de manière significative dans la limite de l'infini pour les échantillons négatifs ( $k \to \infty$ ) — souvent formulée en termes de maximisation de l'information mutuelle ou de l'équilibre entre alignement et uniformité — il existe un fossé dans la compréhension de la façon dont le régime à $k$ fini se rapporte à la performance de généralisation de la recherche de similitude sur des données non vues. Les analyses de généralisation existantes se sont largement concentrées sur les tâches de classification en aval, où les bornes dépendent explicitement de $k$ d'une manière qui semble contredire les observations empiriques selon lesquelles un grand $k$ améliore les performances. De plus, la manière dont le risque de la population converge vers une métrique de recherche de similitude idéalisée, et comment cette convergence stabilise l'erreur de généralisation, nécessite des clarifications.

Méthodologie
Le papier adopte un cadre de théorie de la mesure pour analyser la perte InfoNCE sans supposer de structures de réseaux de neurones ou d'algorithmes de descente de gradient spécifiques. La méthodologie centrale comprend :

Formulation probabiliste : Les données d'entraînement sont modélisées comme des tuples i.i.d. composés d'une ancre, d'un échantillon positif (généré via un noyau de Markov $M$ ) et de $k$ échantillons négatifs (tirés d'une distribution de données $\pi_{data}$ ). La fonction d'incorporation $\phi$ projette les entrées sur la sphère unité $S^{d-1}$ .
Interprétation par noyau de Markov : Les auteurs définissent un noyau de Markov $Q^\phi_\tau$ représentant une recherche de similitude par softmax sur la distribution de données. Ils définissent également un équivalent empirique $\hat{Q}^\phi_{\tau, k}$ basé sur des données non vues.
Bornes de continuité via la différenciation de Gâteaux : Une nouvelle borne de continuité pour la perte InfoNCE est dérivée en utilisant la différenciation de Gâteaux. Contrairement aux approches précédentes qui reposent sur la continuité de Lipschitz de la perte logistique (qui conduit souvent à une maximisation sur les échantillons négatifs), cette borne préserve la structure de moyenne inhérente à l'InfoNCE. Elle introduit un paramètre d'« inverse température » $\beta$ pour ajuster la borne par rapport à la température algorithmique $\tau$ .
Analyse de la complexité de Rademacher : La borne de continuité dérivée est appliquée pour borner la complexité de Rademacher empirique de la perte InfoNCE pour des fonctions d'incorporation qui sont Lipschitziennes dans leurs paramètres. Cela permet d'obtenir une borne de généralisation qui suit explicitement le rôle de $k$ .

Contributions clés

Taux de convergence du risque de la population : Le papier établit que le risque de la population de la perte InfoNCE converge vers l'entropie croisée entre le noyau du générateur d'échantillons positifs $M$ et le noyau de recherche softmax $Q^\phi_\tau$ à un taux de $O(1/k)$ . Cela affine les résultats précédents qui rapportaient un taux de $O(1/\sqrt{k})$ .
Interprétation de la généralisation de la recherche de similitude : Une nouvelle interprétation est fournie où l'on montre que le risque de la population est à $O(1/k)$ de l'entropie croisée attendue entre un noyau softmax empirique (construit à partir de données non vues) et un noyau empirique idéalisé représentant la similitude implicite définie par le générateur d'échantillons positifs. Cela cadre la minimisation de l'InfoNCE comme l'apprentissage d'un mécanisme de recherche de similitude qui approxime la structure implicite du processus de génération des données.
Nouvelle borne de continuité : Les auteurs introduisent une borne de continuité (Proposition 4) qui maintient la structure de moyenne des échantillons négatifs. Cela contraste avec les bornes de type Lipschitz standard qui ont recours à la maximisation sur les échantillons négatifs, une distinction cruciale pour l'analyse de généralisation ultérieure.
Stabilisation de l'erreur de généralisation : En appliant cette nouvelle borne de continuité aux classes d'incorporation Lipschitziennes, le papier démontre que l'effet de moyenne de $k$ échantillons négatifs dans la fonction de perte se traduit directement par la stabilisation de l'erreur de généralisation (complexité de Rademacher) à mesure que $k$ croît. Cela fournit une justification théorique à l'observation empirique selon laquelle l'augmentation du nombre d'échantillons négatifs améliore la généralisation.

Résultats

Théorème 1 (Borne combinée) : Le papier synthétise ses conclusions dans une borne de généralisation complète. Il décompose la différence entre l'entropie croisée attendue de la recherche de similitude sur des données non vues et le risque empirique en trois composantes :
1. Variabilité de l'échantillon : $O(n^{-1/2})$ , indépendante de $k$ .
2. Pénalité de complexité : $O(n^{-1/2})$ , qui se stabilise lorsque $k \to \infty$ grâce à la structure de moyenne dans la borne.
3. Biais de $k$ fini : $O(1/k)$ , représentant l'écart entre le risque de la population à $k$ fini et la métrique de recherche de similitude idéalisée.
Sensibilité à la température : L'analyse souligne que la borne de généralisation devient de plus en plus sensible aux normes des échantillons négatifs à mesure que la température $\tau$ tend vers zéro, suggérant que des températures plus basses peuvent conduire à des erreurs de généralisation plus importantes si les normes des échantillons négatifs sont élevées.
Indépendance de la dimension : Les bornes dérivées pour les fonctions d'incorporation sur la sphère $S^{d-1}$ ne dépendent pas explicitement de la dimension d'incorporation $d$ , contrairement aux bornes pour les incorporations non contraintes.

Signification
Le papier affirme fournir une compréhension théorique plus claire de l'InfoNCE en déplaçant l'attention de la classification en aval vers son application primaire : la recherche de similitude. En établissant un taux de convergence de $O(1/k)$ et en démontrant que la moyenne sur les échantillons négatifs stabilise l'erreur de généralisation, ce travail offre une base théorique à la nécessité pratique d'un grand nombre d'échantillons négatifs dans l'apprentissage contrastif. La nouvelle borne de continuité, dérivée via la différenciation de Gâteaux, est présentée comme un outil technique qui préserve les propriétés structurelles de la perte InfoNCE, permettant une analyse de généralisation plus précise que les méthodes précédentes basées sur Lipschitz. Les résultats sont formulés de manière agnostique vis-à-vis de l'algorithme, s'appliquant à toute fonction d'incorporation obtenue par minimisation du risque empirique au sein des classes de fonctions spécifiées.