🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

Clark Hash est un codec sans état et sans entraînement qui compresse les embeddings neuronaux en esquisses Johnson-Lindenstrauss signées et parcimonieuses de 48 octets, permettant une réduction du stockage de 32 fois tout en maintenant une haute précision de recherche par similarité cosinus sans nécessiter de dictionnaires appris ni de statistiques précalculées.

Auteurs originaux : Stanislav Kirdey, Clark Labs Inc

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Stanislav Kirdey, Clark Labs Inc

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédiez une bibliothèque massive de livres, mais qu'au lieu de stocker le texte intégral de chaque livre, vous ne conservez qu'une minuscule « carte postale » de 48 octets pour chacun. Ces cartes postales sont si petites qu'elles ne prennent presque pas de place, et pourtant elles vous permettent toujours de trouver le bon livre lorsque vous posez une question.

C'est essentiellement ce que fait Clark Hash, mais pour les « embeddings neuronaux » (qui ne sont que des résumés mathématiques complexes de phrases ou d'idées utilisés par l'IA).

Voici comment l'article explique cette technologie, décomposée en concepts simples :

1. Le Problème : Trop de Désordre

Habituellement, les systèmes d'IA stockent les phrases sous forme de longues listes de nombres (vecteurs). Le résumé d'une seule phrase peut occuper 1 536 octets d'espace. Si vous avez des millions de phrases, c'est beaucoup de désordre numérique. Cela consomme de la mémoire, ralentit votre ordinateur et coûte cher à stocker.

2. La Solution : La Méthode de la « Carte Postale » (Clark Hash)

Clark Hash est une nouvelle façon de réduire ces grandes listes à seulement 48 octets (une réduction de 32 fois !) sans avoir besoin d'entraîner un modèle d'IA spécial au préalable. Cela fonctionne comme une machine sans état et à sens unique :

Aucun Entraînement Requis : Contrairement à d'autres méthodes qui doivent « étudier » toute une bibliothèque de livres avant de pouvoir créer des cartes postales, Clark Hash fonctionne instantanément. Vous pouvez lui soumettre une phrase, et il émet immédiatement un petit code. Vous n'avez pas besoin d'un « passage d'entraînement » ni d'un dictionnaire préétabli.
Le Processus :
1. Normalisation : Il vérifie d'abord la « direction » du sens de la phrase, en ignorant la longueur de celle-ci.
2. La Projection Magique (le « Hash ») : Il utilise un tour de passe-passe mathématique (appelé projection de Johnson-Lindenstrauss signée et éparses) pour écraser la grande liste à 384 dimensions en une liste beaucoup plus petite de 96 nombres. Imaginez cela comme plier une grande carte en un petit mouchoir de poche. C'est aléatoire mais déterministe (si vous utilisez la même « graine » ou clé, vous obtenez toujours le même pliage).
3. Découpage et Emballage : Il coupe tout nombre qui est trop énorme (découpage) puis les arrondit pour qu'ils tiennent dans de minuscules emplacements de 4 bits. Cela transforme les nombres en un code super compact.

3. Comment Vous Recherchez : L'Astuce « Asymétrique »

C'est la partie ingénieuse.

La Base de Données : La bibliothèque ne stocke que les minuscules cartes postales de 48 octets (les codes compressés).
La Question : Lorsque vous posez une question, votre ordinateur conserve la version complète et de haute qualité de votre question dans sa mémoire (virgule flottante).
La Correspondance : Le système compare votre question de haute qualité aux minuscules cartes postales. C'est comme comparer une photo haute définition à un petit croquis. Les mathématiques sont conçues de manière à ce que, même si un côté est minuscule et l'autre grand, le système puisse toujours déterminer avec une grande précision à quel point ils sont similaires.

4. Les Résultats : Est-ce que Ça Marche ?

Les auteurs ont testé cela sur un ensemble de données multilingue (phrases dans de nombreuses langues différentes) avec plus de 9 000 paires de phrases.

Le Test : Ils ont comparé les scores des « cartes postales » avec les scores des versions « pleine taille » pour voir s'ils s'accordaient sur quelles phrases étaient similaires.
Le Score : Sur une échelle de 0 à 1, les minuscules esquisses de 48 octets correspondaient aux versions complètes et de grande taille avec une corrélation de 0,91 à 0,95.
Ce que cela signifie : Si le modèle d'IA original était bon pour comprendre les phrases, les minuscules cartes postales ont préservé presque toute cette compréhension. Le système ne s'est pas « confus » simplement parce que les données avaient été réduites.

5. Ce Que C'est (et Ce Que Ce N'est Pas)

L'article est très clair sur les limites :

Ce N'EST PAS un nouveau théorème mathématique. Il combine des astuces mathématiques existantes (hachage, projection, quantification) en un nouvel outil pratique.
Ce N'EST PAS un remplacement pour les moteurs de recherche avancés qui trouvent le « plus proche voisin » dans des bases de données massives. C'est simplement un codec de stockage.
C'EST un outil simple et sans état pour économiser de l'espace. Il est parfait pour les situations où vous recevez des données un par un et devez les stocker immédiatement sans attendre d'entraîner un modèle complexe.

Analogie de Résumé

Imaginez que vous possédiez une sculpture 3D géante et détaillée d'une ville (les données originales).

Le stockage traditionnel conserve toute la sculpture.
La compression apprise pourrait d'abord construire un modèle de la ville, puis stocker un plan.
Clark Hash consiste à prendre une photo de la sculpture sous un angle spécifique, à aplatir cette photo, et à la transformer en un petit code QR de 48 octets. Vous ne pouvez pas reconstruire la sculpture 3D à partir du code, mais si vous avez une nouvelle sculpture et que vous voulez savoir si elle ressemble à l'ancienne, vous pouvez scanner la nouvelle et la comparer au code QR. C'est rapide, cela prend presque pas de place, et vous pouvez le faire instantanément sans étudier la ville au préalable.

Résumé Technique : Clark Hash

Énoncé du Problème

Les systèmes d'encodage neuronal nécessitent fréquemment le stockage d'un grand nombre de vecteurs denses à virgule flottante. Un encodage de phrase standard à 384 dimensions au format f32 consomme 1 536 octets par vecteur, engendrant des coûts significatifs pour la mémoire, le cache local, le stockage sur disque et le transfert réseau. Bien que les méthodes de compression existantes (telles que la quantification par produit) puissent atteindre une haute qualité, elles reposent généralement sur l'apprentissage de centroïdes, de rotations ou de dictionnaires à partir d'un corpus représentatif. Ces approches sont inadaptées aux scénarios « en ligne » où les vecteurs arrivent individuellement et doivent être stockés immédiatement, sans accès à un ensemble d'entraînement préexistant ni aux statistiques d'un corpus.

Méthodologie

Clark Hash est un codec déterministe et sans état conçu pour compresser les encodages neuronaux sans phase d'entraînement. Il combine trois techniques établies : une projection Johnson-Lindenstrauss (JL) signée et creuse, une quantification scalaire fixe et un score asymétrique. Le processus fonctionne comme suit :

Normalisation : Pour la recherche par cosinus, le vecteur d'entrée $x$ est normalisé en une direction unitaire $u = x / \|x\|_2$ .
Projection Signée Creuse : Le vecteur est projeté dans un espace d'esquisse de dimension inférieure ( $m$ $m$ dimensions) à l'aide d'une matrice aléatoire creuse $R$ $R$ . Cette matrice est construite via un hachage de caractéristiques, où les coordonnées d'entrée sont mappées vers des buckets avec des signes aléatoires ( $\sigma \in \{-1, +1\}$ $σ \in {- 1, + 1}$ ). La projection est insensible aux données et déterministe étant donné une graine.
- La projection est mise à l'échelle par $\sqrt{m}$ pour stabiliser les magnitudes des coordonnées en vue de la quantification.
Quantification Scalaire Fixe : Les coordonnées projetées sont tronquées à une plage symétrique $[-c, c]$ et quantifiées uniformément sur $b$ bits. Cela produit un code entier de largeur fixe.
Score Asymétrique : Les vecteurs de requête restent au format à virgule flottante. Ils sont projetés dans le même espace d'esquisse (sans quantification) et notés par rapport aux esquisses de base de données quantifiées stockées en utilisant un produit scalaire asymétrique. Cela évite l'erreur de quantification du côté de la requête.
Extension au Produit Scalaire : Pour les métriques de produit scalaire, un canal secondaire de log-norme de deux octets est ajouté pour stocker la magnitude du vecteur original, permettant la reconstruction du produit scalaire à partir de l'estimation du cosinus et des normes.

L'implémentation est un crate Rust sans état (clark-hash), où les emplacements des buckets et les signes sont générés à la volée en utilisant une fonction de hachage de style SplitMix64 basée sur l'index d'entrée et une graine.

Contributions Clés

L'article présente Clark Hash non pas comme un nouveau théorème mathématique, mais comme un package d'ingénierie qui intègre des concepts existants dans une solution compacte et sans état. Ses contributions principales sont :

Encodage en Ligne Sans État : La capacité d'encoder des vecteurs individuellement sans statistiques de corpus préalables, dictionnaires appris ou paramètres de calibration.
Compression Extrême : Dans la configuration par défaut pour les encodages à 384 dimensions, la méthode réduit le stockage de 1 536 octets à 48 octets (une réduction de 32x).
Codec Déterministe : Une représentation quantifiée scalaire de largeur fixe permettant un balayage exact des vecteurs compressés dans l'espace d'esquisse.
Implémentation : Une implémentation de référence en Rust et un cadre de benchmark disponibles pour un usage public.

Résultats

La méthode a été évaluée sur des tâches de similarité de phrases multilingues utilisant 9 304 paires étiquetées issues de 29 sous-ensembles (STS17 et STS22 via MTEB). L'évaluation a comparé les scores de cosinus denses aux scores d'esquisse Clark Hash en utilisant des encodeurs de la famille MiniLM.

Efficacité de Stockage : Le profil par défaut ( $m=96, b=4$ ) stocke les vecteurs en 48 octets.
Corrélation avec les Scores Denses :
- Sur STS17 avec le modèle multilingue MultiMiniLM-L12, les esquisses de 48 octets ont atteint une corrélation de Pearson macro de 0,9099 avec les scores de cosinus denses.
- Sur STS22, la corrélation a atteint 0,9460.
Performance : Les étapes de quantification et de notation sont négligeables sur le plan computationnel par rapport à l'étape de génération d'encodage. Par exemple, la quantification de 17 000 phrases uniques a pris environ 0,025 seconde, tandis que la notation a pris 0,005 seconde.
Dépendance au Modèle : Les résultats indiquent que la qualité de l'esquisse dépend fortement du modèle d'encodage sous-jacent. Lorsque le modèle (par exemple all-MiniLM-L6-v2) n'était pas bien adapté aux données multilingues, la ligne de base dense était déjà faible, et l'esquisse ajoutait une perte supplémentaire.

Importance et Limites

Les auteurs positionnent Clark Hash comme un codec de stockage simple et une méthode de notation d'esquisse, déclarant explicitement qu'il n'est pas un remplacement pour les index de plus proches voisins approximatifs (ANN) (comme HNSW) ou les quantificateurs appris (comme la quantification par produit).

Importance : Il offre une solution pratique pour les scénarios nécessitant un stockage compact et déterministe d'encodages où les vecteurs arrivent en ligne et où aucun ensemble d'entraînement n'est disponible. Il préserve une grande partie du comportement des scores denses (forte corrélation de Pearson) lorsque le modèle d'encodage correspond bien aux données.
Limites :
- Il ne s'adapte pas au corpus, ce qui peut entraîner une qualité inférieure à celle des méthodes apprises pour le même budget d'octets.
- Il n'est pas un index ANN ; le FlatIndex inclus effectue des balayages exacts dans l'espace d'esquisse, ce qui peut ne pas être évolutif pour des ensembles de données de production massifs sans structures d'indexation supplémentaires.
- La dimension fixe de l'esquisse ne peut pas préserver chaque paire dans un flux illimité ; les utilisateurs doivent ajuster les paramètres ( $m, b, s, c$ ) en fonction de leurs objectifs de qualité spécifiques.

En conclusion, Clark Hash fournit une « petite méthode » pour stocker les encodages neuronaux qui échange l'adaptation spécifique au corpus contre la simplicité sans état et une efficacité de stockage extrême.