Anisotropy Decides Cosine vs. Rank Metrics for Text Embeddings

Résumé Technique : L'anisotropie détermine le choix entre les métriques de Cosinus et de Rang pour les plongements textuels

Énoncé du Problème

La méthode standard pour comparer les plongements textuels (embeddings) est la similitude cosinus. Cependant, une littérature éparpillée suggère que des métriques alternatives (ex. : distance euclidienne, coefficient de Tanimoto, mesures basées sur le rang) peuvent surpasser le cosinus dans des contextes spécifiques. Ces études n'ont pas réussi à établir une condition géométrique claire déterminant quand une métrique autre que le cosinus est supérieure ou pourquoi cette différence se produit. La question centrale abordée est la suivante : pour un encodeur et une tâche donnés, une métrique simple et sans paramètre peut-elle battre le cosinus, et quelle propriété de l'encodeur contrôle ce résultat ?

Méthodologie

Les auteurs ont mené une étude empirique exhaustive impliquant :

• Encodeurs : Dix-neuf encodeurs distincts allant de modèles de phrases compacts (ex. : MiniLM, MPNet) à de grands modèles de langage (jusqu'à 7 milliards de paramètres, incluant Qwen, Mistral et GPT-2). L'ensemble comprend à la fois des modèles affinés par des objectifs contrastifs (conçus pour la recherche d'information) et des modèles de langage de base utilisés sans affinage.
• Métriques : Dix-neuf métriques de similitude sans paramètre tirées de la littérature existante, catégorisées en :
  • Angulaires/Produit scalaire (Cosinus, Produit scalaire, Tanimoto, Dice, etc.)
  • Minkowski/Distance (L1, L2, L∞, Lp fractionnaire, Canberra, Bray-Curtis)
  • Géométrie de l'information (Jensen-Shannon, Hellinger, Bhattacharyya)
  • Basées sur le rang (Corrélation de rang de Spearman)
• Jeux de données : Sept jeux de données à travers trois types de tâches : Similitude Sémantique (STS-B, SICK-R, STS16), Détection de Paraphrase (Quora, PAWS) et Inférence (SNLI, MultiNLI).
• Évaluation : La performance a été mesurée par la corrélation de rang de Spearman pour les tâches de classement et par l'AUC-ROC/AUC-PR pour les tâches binaires. La calibration a également été évaluée.
• Analyse Géométrique : L'étude a mesuré la « forme » de l'espace de plongement à l'aide de métriques telles que l'IsoScore, le ratio de participation et, spécifiquement, la dominance de la dimension rogue (la fraction de la variance totale détenue par la dimension la plus dominante).
• Test de Causalité : Pour vérifier si l'anisotropie est la cause plutôt qu'une corrélation, les auteurs ont effectué un « test de suppression » en projetant les principales directions principales (l'astuce « all-but-the-top ») et en réévaluant la performance.

Principaux Résultats

L'étude révèle une division nette de la performance basée sur les propriétés géométriques de l'espace de plongement, spécifiquement l'anisotropie (la concentration de la variance dans quelques directions dominantes).

1. Encodeurs Bien Répartis (Isotropes) :

   • Sur les encodeurs où la variance est répartie uniformément (typiquement les transformeurs de phrases affinés comme BGE, E5 et MPNet), la similitude cosinus est le meilleur choix sans paramètre.
   • Les métriques alternatives n'offrent aucun gain utilisable (gain moyen de ~0,001 en corrélation de Spearman).
   • Beaucoup d'« alternatives » proposées (ex. : similitude angulaire, similitude de corrélation) sont mathématiquement équivalentes au cosinus lorsque les vecteurs sont normalisés, ne faisant que redimensionner le même classement.

2. Encodeurs Encombrés (Anisotropes) :

   • Sur les encodeurs où la variance se concentre dans quelques directions dominantes (typiquement les modèles de langage de base comme GPT-2, RoBERTa et Qwen utilisés sans affinage contrastif), la similitude cosinus est peu performante.
   • Les métriques basées sur le rang et de type L1 (Manhattan, Canberra, Bray-Curtis) battent le cosinus par une marge claire (gain moyen de ~0,055 en corrélation de Spearman).
   • Cela représente une amélioration relative d'environ 20 % en moyenne, et jusqu'à 59 % pour les cas extrêmes comme GPT-2, car le cosinus part d'une base faible sur ces modèles.

3. Le Facteur Décisif :

   • Le résultat est déterminé par la géométrie de l'espace de plongement, et non par l'objectif d'entraînement lui-même.
   • La dominance de la dimension rogue (la fraction de variance de la plus grande dimension) prédit le gain de performance des métriques alternatives avec une corrélation de rang de 0,86 et une corrélation linéaire de 0,95.
   • Bien que les objectifs d'entraînement (contrastifs vs plain) soient souvent corrélés à la géométrie, ils ne sont pas la cause directe. Par exemple, E5-Mistral (entraîné avec un objectif de cosinus) reste anisotrope et bénéficie des métriques alternatives, tandis que Multilingual BERT (un modèle « plain ») est bien réparti et n'en bénéficie pas.

4. Mécanisme :

   • La similitude cosinus est un produit scalaire normalisé en L2. Lorsqu'une seule direction détient une part massive de la variance, elle domine le produit scalaire, faisant en sorte que des vecteurs non apparentés semblent similaires (les angles rétrécissent vers zéro).
   • Les métriques basées sur le rang ignorent la magnitude des coordonnées, se concentrant uniquement sur l'ordre, tandis que les métriques de type L1 somment les différences absolues, empênant une seule grande coordonnée de dominer le calcul de la distance.

Validation et Preuve Causale

Pour confirmer que l'anisotropie est la cause, les auteurs ont supprimé les principales directions principales des plongements :

• Sur les Encodeurs Encombrés : La suppression des 10 premières directions a permis au cosinus de récupérer significativement sa performance (passant d'un Spearman moyen de 0,32 à 0,42), et l'avantage des métriques alternatives a presque disparu.
• Sur les Encodeurs Bien Répartis : Cette même suppression a légèrement dégradé la performance du cosinus (car ces directions contenaient du signal) et n'a pas changé l'avantage de la métrique (qui restait proche de zéro).
• Contrôle : La suppression de directions aléatoires au lieu des principales n'a pas produit la même récupération, confirmant que l'effet est spécifique aux directions dominantes.

Signification et Revendications

La principale contribution de l'article est une règle de diagnostic plutôt qu'une nouvelle métrique ou un nouveau modèle.

• Conseils Pratiques : Pour la vaste majorité des systèmes déployés utilisant des encodeurs affinés (qui sont typiquement bien répartis), la similitude cosinus reste le bon choix sans paramètre. Changer de métrique dans ces scénarios n'apporte que des gains négligeables.
• Identification des Risques : Pour les utilisateurs employant des plongements de modèles de langage bruts ou ajustés par instructions sans affinage (courant dans les pipelines de recherche ou de clustering où l'affinage est sauté), le cosinus peut être peu fiable.
• Vérification Actionnable : Les praticiens peuvent calculer un seul chiffre (dominance de la dimension rogue) pour déterminer si leur encodeur est anisotrope. Si la valeur est élevée, ils devraient soit utiliser une métrique de type rang/L1, soit supprimer les dimensions dominantes pour restaurer l'efficacité du cosinus.
• Unification : Cette étude résout les contradictions de la littérature antérieure en montant que les deux affirmations (le cosinus est le meilleur ; les alternatives sont meilleures) sont correctes selon l'état géométrique de l'encodeur spécifique utilisé.

Les auteurs soulignent leur modestie concernant les gains absolus (environ 0,05 de Spearman), notant que bien que significatifs par rapport à la base faible des modèles anisotropes, ils n'élèvent pas les plongements de LLM bruts au niveau de performance des encodeurs affinés et bien répartis. Le travail sépare le rôle de la géométrie de l'espace de plongement de celui de la métrique de comparaison.