Résumé technique : Quand 0,1 % est-il suffisant ? Analyse des effets combinés de la réduction de dimensionnalité et de la quantification sur la compression des plongements de texte (embeddings)

1. Énoncé du problème

Les modèles récents de plongements de texte (text embeddings) de haute performance, y compris ceux basés sur les grands modèles de langage (LLM), génèrent des vecteurs à valeurs réelles de haute dimension. Bien que ces vecteurs offrent de solides performances en aval, leurs coûts de stockage et de calcul sont substantiels, particulièrement dans les systèmes de recherche et de génération augmentée par récupération (RAG) où de vastes collections de plongements doivent être stockées et comparées.

Les stratégies de compression existantes abordent généralement ce problème soit par la quantification (réduction du nombre de bits par coordonnée), soit par la réduction de dimensionnalité (réduction du nombre de coordonnées). Cependant, l'interaction entre ces deux méthodes reste insuffisamment comprise. Il n'est pas clair comment équilibrer de manière optimale la dimensionnalité et la largeur de bits sous un budget de compression strict, ou si la combinaison de ces méthodes produit des bénéfices synergiques au-delà de leur utilisation isolée.

2. Méthodologie

Configuration expérimentale

Les auteurs ont mené une évaluation systématique sur quatre modèles de plongement pré-entraînés et quatre familles de tâches issues du Massive Text Embedding Benchmark (MTEB) :

• Modèles : gte-Qwen2-7B-instruct, E5-mistral-7b-instruct (basé sur des instructions), E5-large-v2 (basé sur des préfixes) et Qwen3-Embedding-8B (compatible Matryoshka).
• Tâches : Classification, Clustering (regroupement), Recherche (retrieval) et Similitude Sémantique de Texte (STS).
• Budget de compression : Défini comme $C(d, b) = d \times b$, où $d$ est la dimensionnalité réduite et $b$ est la largeur de bits.

Techniques de compression

L'étude a évalué des méthodes de compression post-hoc sans réentraînement des modèles de plongement :

1. Réduction de dimensionnalité :
   • Head (Tête) : Conserve les $d$ premières coordonnées du plongement original.
   • PCA+ROR : Applique une Analyse en Composantes Principales (PCA) suivie d'une rotation orthogonale aléatoire déterministe (ROR). Cette rotation redistribue la variance à travers les coordonnées pour éviter le déséquilibre qui se produit lorsque les vecteurs projetés par PCA (ordonnés par variance) sont soumis à une quantification scalaire.
2. Quantification :
   • Évaluation des largeurs de bits $b \in \{1, 2, 4, 8, 16, 32\}$.
   • 1-bit : Quantification de signe.
   • 2, 4, 8-bits : Utilisation d'un quantificateur par table de recherche à compte égal adaptatif à la distribution. Au lieu d'utiliser des formats de nombres à virgule flottante à faible précision fixes, les auteurs ont construit des tables de quantification basées sur la distribution empirique des plongements de calibration. Cela garantit que les niveaux représentables sont alloués pour correspondre à la densité des données, évitant ainsi l'« effondrement vers zéro » (zero collapse) courant dans les vecteurs de haute dimension normalisés en L2, où les valeurs sont concentrées près de zéro.
   • Calibration : Les paramètres pour la PCA et les tables de quantification ont été ajustés sur des ensembles de calibration non étiquetés dérivés des entrées de la tâche, sans utiliser de labels de tâche ou de jugements de pertinence.

3. Résultats clés

Synergie des méthodes combinées

Les expériences démontrent que la combinaison de la réduction de dimensionnalité et de la quantification permet une compression nettement plus forte que l'une ou l'autre méthode seule.

• Compression extrême : Dans des configurations spécifiques, les plongements ont été réduits à 0,1 % de leur taille originale (par exemple, 1/1024) avec une dégradation de performance négligeable.
• Dépendance aux tâches : La stratégie de compression optimale varie considérablement selon la tâche :
  • Classification : Très tolérante à une compression agressive. Elle privilégie la largeur de bits plutôt que la dimensionnalité. Les réglages à haute précision (8–32 bits) maintiennent les performances même à de très basses dimensions (ex: 2 dimensions), tandis que les réglages à faible nombre de bits échouent même à des dimensions élevées.
  • Clustering & STS : Plus dépendants de la dimensionnalité. Des dimensions plus larges produisent systématiquement des scores plus élevés pour un même budget de compression.
  • Recherche (Retrieval) : La tâche la plus sensible. Elle nécessite le plus grand budget de compression relatif pour maintenir les performances et montre une dégradation plus précoce que les autres tâches lorsque les dimensions sont réduites.

Méthodes de réduction de dimensionnalité

• Head vs. PCA+ROR :
  • La troncation par la tête (Head-based truncation) était plus fiable pour préserver les performances proches de l'original (seuil de 99 %), atteignant avec succès ce seuil pour toutes les combinaisons modèle-tâche.
  • PCA+ROR était plus efficace pour une compression agressive (seuil de 90 %), atteignant souvent l'objectif avec un budget plus faible, particulièrement pour la classification et le clustering. Cependant, elle a échoué à atteindre le seuil de 99 % dans plusieurs contextes de recherche et de STS, suggérant qu'elle peut déformer les structures de similité fines requises pour ces tâches.
• Le rôle de la rotation : La rotation orthogonale aléatoire (ROR) était critique. Sans elle (PCA standard), la performance n'était pas monotone ; ajouter des dimensions PCA augmentait parfois la dégradation de la performance en raison de l'introduction de coordonnées de faible variance et bruitées qui étaient mal gérées par la quantification scalaire. La ROR équilibre la variance par coordonnée, stabilisant la compression.

Caractéristiques des modèles

• Dimensionnalité originale : Les modèles avec des dimensions originales plus élevées (ex: 3584) pouvaient rejeter ou quantifier une plus grande partie de leur représentation tout en maintenant les performances par rapport aux modèles avec de plus petites dimensions (ex: 1024).
• Compatibilité Matryoshka : Le modèle Qwen3-Embedding-8B, conçu pour des plongements de dimensions variables, ne présentait pas de comportement fondamentalement différent concernant la troncature par la tête par rapport aux autres modèles de haute dimension, suggérant que la robustesse à la troncature est une propriété plus large des modèles récents. Cependant, il a montré des gains d'efficacité dans certains contextes de recherche.

4. Signification et affirmations

L'article affirme que l'échange (trade-off) entre la largeur de bits et la dimensionnalité n'a pas été caractérisé systématiquement à travers les familles de tâches, et ce travail comble cette lacune.

• Complémentarité : La contribution principale est la démonstration que la réduction de dimensionnalité et la quantification sont des axes complémentaires. En les combinant, on peut atteindre des taux de compression (jusqu'à 0,1 %) impossibles avec des méthodes à axe unique sans perte de performance significative.
• Stratégies spécifiques aux tâches : Les auteurs soulignent qu'il n'existe pas de « meilleure » stratégie de compression universelle. La classification bénéficie d'une haute précision (largeur de bits), tandis que la recherche et le clustering bénéficient de la conservation de la structure géométrique (dimensionnalité).
• Conception de la quantification : L'étude souligne que les formats standards à faible précision à virgule flottante sont sous-optimaux pour les plongements de texte normalisés en L2 en raison de la concentration des valeurs près de zéro. Une quantification adaptative à la distribution est nécessaire pour préserver l'information directionnelle dans les régimes à faible nombre de bits.

5. Limites

Les auteurs reconnaissent trois limites principales :

1. Portée des méthodes : L'étude se concentre sur la troncature par la tête (Head), la PCA+ROR et la quantification scalaire. Elle ne couvre pas de manière exhaustive les projections apprises, la quantification par produit (product quantization) ou la quantification vectorielle.
2. Portée des données : Les expériences ont été limitées aux jeux de données anglais de l'MTEB. La généralisabilité à d'autres langues, domaines ou types de tâches reste à vérifier.
3. Protocole de calibration : Les paramètres de compression ont été ajustés selon un protocole transductif (accès à la distribution d'entrée de l'évaluation lors d'une passe de préchauffage). Cela peut surestimer les performances par rapport à un scénario de déploiement où les paramètres doivent être ajustés sur un corpus distinct et réutilisés pour des données inédites.