🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

Clark Hash is een stateloze, trainingsvrije codec die neurale embeddings comprimeert tot compacte 48-byte sparse signed Johnson-Lindenstrauss-schetsen, waarmee een opslagreductie van 32x wordt bereikt terwijl de nauwkeurigheid van zoekopdrachten op basis van cosinus-ähnelijkheid behouden blijft, zonder dat er geleerde codeboeken of vooraf berekende statistieken nodig zijn.

Oorspronkelijke auteurs: Stanislav Kirdey, Clark Labs Inc

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Stanislav Kirdey, Clark Labs Inc

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek met boeken hebt, maar in plaats van de volledige tekst van elk boek op te slaan, bewaar je alleen een klein, 48-byte "postkaartje" voor elk ervan. Deze postkaartjes zijn zo klein dat ze bijna geen ruimte innemen, toch laten ze je het juiste boek vinden wanneer je een vraag stelt.

Dat is in wezen wat Clark Hash doet, maar dan voor "neurale embeddings" (wat gewoon complexe wiskundige samenvattingen van zinnen of ideeën zijn die door AI worden gebruikt).

Hieronder legt het paper deze technologie uit, opgesplitst in eenvoudige concepten:

1. Het Probleem: Te veel rommel

Meestal slaan AI-systemen zinnen op als lange lijsten met getallen (vectoren). Een samenvatting van één zin kan 1.536 bytes ruimte innemen. Als je miljoenen zinnen hebt, is dat veel digitale rommel. Het kost geheugen, vertraagt je computer en kost geld om op te slaan.

2. De Oplossing: De "Postkaart"-methode (Clark Hash)

Clark Hash is een nieuwe manier om deze grote lijsten te verkleinen tot slechts 48 bytes (een verkleining van 32x!) zonder eerst een speciaal AI-model te hoeven trainen. Het werkt als een staatloze, eenrichtingsmachine:

Geen Training Vereist: In tegenstelling tot andere methoden die een hele bibliotheek boeken moeten "bestuderen" voordat ze postkaartjes kunnen maken, werkt Clark Hash direct. Je kunt er één zin aan geven, en het spitst direct een klein codeertje uit. Je hebt geen "trainingsronde" of een vooraf gemaakt woordenboek nodig.
Het Proces:
1. Normaliseren: Het controleert eerst de "richting" van de betekenis van de zin, en negeert hoe lang de zin is.
2. De Magische Projectie (De "Hash"): Het gebruikt een wiskundige truc (een sparse signed Johnson-Lindenstrauss-projectie) om de grote lijst van 384 dimensies te verpletteren tot een veel kleinere lijst van 96 getallen. Denk hierbij aan het vouwen van een grote kaart tot een klein zakdoekje. Het is willekeurig maar deterministisch (als je dezelfde "seed" of sleutel gebruikt, krijg je altijd dezelfde vouw).
3. Knippen en Pakken: Het snijdt alle getallen die te groot zijn af (clipping) en rondt ze vervolgens af om te passen in kleine 4-bits vakjes. Dit zet de getallen om in een super-compacte code.

3. Hoe Je Zoekt: De "Asymmetrische" Truc

Dit is het slimme deel.

De Database: De bibliotheek bewaart alleen de kleine, 48-byte postkaartjes (de gecomprimeerde codes).
De Vraag: Wanneer je een vraag stelt, houdt je computer de volledige, hoogwaardige versie van je vraag in het geheugen (floating point).
De Match: Het systeem vergelijkt je hoogwaardige vraag met de kleine postkaartjes. Het is alsof je een foto in hoge definitie vergelijkt met een klein schetsje. De wiskunde is zo ontworpen dat het systeem, zelfs als de ene kant klein is en de andere groot, toch zeer nauwkeurig kan zeggen hoe vergelijkbaar ze zijn.

4. De Resultaten: Werkt Het?

De auteurs hebben dit getest op een meertalige dataset (zinnen in veel verschillende talen) met meer dan 9.000 paren zinnen.

De Test: Ze vergeleken de "postkaart"-scores met de "volledige grootte"-scores om te zien of ze het eens waren over welke zinnen vergelijkbaar waren.
De Score: Op een schaal van 0 tot 1 kwamen de kleine 48-byte schetsen overeen met de grote, volledige versies met een correlatie van 0,91 tot 0,95.
Wat dit betekent: Als het originele AI-model goed was in het begrijpen van de zinnen, behielden de kleine postkaartjes bijna al dat begrip. Het systeem raakte niet "in de war" alleen omdat de data was verkleind.

5. Wat Het Is (en Wat Het Niet Is)

Het paper is zeer duidelijk over de beperkingen:

Het is NIET een nieuw wiskundig theorema. Het combineert bestaande wiskundige trucs (hashing, projectie, kwantisatie) tot een nieuw, praktisch hulpmiddel.
Het is NIET een vervanging voor geavanceerde zoekmachines die de "naaste buur" vinden in enorme databases. Het is gewoon een opslagcodec.
Het IS een eenvoudig, staatloos hulpmiddel om ruimte te besparen. Het is perfect voor situaties waar je data één voor één ontvangt en het direct moet opslaan zonder te wachten op het trainen van een complex model.

Samenvattende Analogie

Stel je voor dat je een gigantisch, gedetailleerd 3D-sculptuur van een stad hebt (de originele data).

Traditionele opslag bewaart het hele sculptuur.
Gestudeerde compressie bouwt misschien eerst een model van de stad en slaat dan een blauwdruk op.
Clark Hash is als het maken van een foto van het sculptuur vanuit een specifiek hoekje, het platdrukken van die foto en het omzetten in een kleine, 48-byte QR-code. Je kunt het 3D-sculptuur niet herbouwen uit de code, maar als je een nieuw sculptuur hebt en wilt weten of het op het oude lijkt, kun je het nieuwe scannen en vergelijken met de QR-code. Het is snel, het neemt bijna geen ruimte in beslag, en je kunt het direct doen zonder eerst de stad te bestuderen.

Technische Samenvatting: Clark Hash

Probleemstelling

Neurale embedding-systemen vereisen vaak het opslaan van enorme hoeveelheden dichte drijvende-kommavectoren. Een standaard 384-dimensionale zinsembedding in f32-formaat verbruikt 1.536 bytes per vector, wat aanzienlijke kosten met zich meebrengt voor het geheugen, lokale cache, schijfopslag en netwerktransfer. Hoewel bestaande compressiemethoden (zoals productquantisatie) hoge kwaliteit kunnen bereiken, vertrouwen ze doorgaans op het leren van centroiden, rotaties of codeboeken uit een representatief corpus. Deze benaderingen zijn niet geschikt voor "online" scenario's waarbij vectoren individueel binnenkomen en direct moeten worden opgeslagen zonder toegang tot een bestaande trainingsset of corpusstatistieken.

Methodologie

Clark Hash is een stateless, deterministische codec die is ontworpen om neurale embeddings te comprimeren zonder een trainingsfase. Het combineert drie gevestigde technieken: sparse signed Johnson-Lindenstrauss (JL)-projectie, vaste scalair quantisatie en asymmetrische scoring. Het proces werkt als volgt:

Normalisatie: Voor cosinuszoekopdrachten wordt de invoervector $x$ genormaliseerd tot een eenheidsrichting $u = x / \|x\|_2$ .
Sparse Signed Projectie: De vector wordt geprojecteerd naar een lagerdimensionale schetsruimte ( $m$ $m$ dimensies) met behulp van een sparse willekeurige matrix $R$ $R$ . Deze matrix wordt geconstrueerd via feature hashing, waarbij invoercoördinaten worden gemapt naar buckets met willekeurige tekens ( $\sigma \in \{-1, +1\}$ $σ \in {- 1, + 1}$ ). De projectie is data-onbewust en deterministisch gegeven een seed.
- De projectie wordt geschaald met $\sqrt{m}$ om de grootte van de coördinaten te stabiliseren voor quantisatie.
Vaste Scalair Quantisatie: De geprojecteerde coördinaten worden afgeknipt tot een symmetrisch bereik $[-c, c]$ en uniform gekwantiseerd naar $b$ bits. Dit levert een code met vaste breedte in gehele getallen op.
Asymmetrische Scoring: Query-vectoren blijven in drijvende-kommavorm. Ze worden geprojecteerd naar dezelfde schetsruimte (zonder quantisatie) en gescoord tegen de opgeslagen gekwantiseerde databaseschetsen met behulp van een asymmetrisch inproduct. Dit voorkomt quantisatiefouten aan de query-zijde.
Dot-Product Uitbreiding: Voor dot-product-metrieken wordt een side-channel van twee bytes voor log-norm toegevoegd om de grootte van de oorspronkelijke vector op te slaan, waardoor het dot-product kan worden gereconstrueerd uit de cosinusschatting en normen.

De implementatie is een stateless Rust-crate (clark-hash), waarbij bucketlocaties en tekens on-the-fly worden gegenereerd met behulp van een SplitMix64-achtige hashfunctie gebaseerd op de invoerindex en een seed.

Belangrijkste Bijdragen

Het artikel presenteert Clark Hash niet als een nieuw wiskundig theorema, maar als een engineeringpakket dat bestaande concepten integreert in een compacte, stateless oplossing. De belangrijkste bijdragen zijn:

Stateless Online Encoderen: De mogelijkheid om vectoren individueel te coderen zonder eerdere corpusstatistieken, geleerde codeboeken of kalibratieparameters.
Extreme Compressie: In de standaardconfiguratie voor 384-dimensionale embeddings reduceert de methode de opslag van 1.536 bytes naar 48 bytes (een reductie van 32x).
Deterministische Codec: Een representatie met vaste breedte en scalair gekwantiseerd die exact scannen van gecomprimeerde vectoren in schetsruimte mogelijk maakt.
Implementatie: Een referentie-implementatie in Rust en een benchmarkharness die beschikbaar zijn voor publiek gebruik.

Resultaten

De methode werd geëvalueerd op meertalige taakken voor zinsgelijkenis met behulp van 9.304 gelabelde paren uit 29 subsets (STS17 en STS22 via MTEB). De evaluatie vergeleek dichte cosinusscores met Clark Hash-schetscores met behulp van MiniLM-familie-encoders.

Opsagefficiëntie: Het standaardprofiel ( $m=96, b=4$ ) slaat vectoren op in 48 bytes.
Correlatie met Dichte Scores:
- Op STS17 met het meertalige MultiMiniLM-L12-model bereikten de 48-byte schetsen een 0,9099 macro-Pearson-correlatie met dichte cosinusscores.
- Op STS22 bereikte de correlatie 0,9460.
Prestaties: De quantisatie- en scoringstappen zijn computationeel verwaarloosbaar in vergelijking met de stap voor het genereren van embeddings. Bijvoorbeeld: het quantiseren van 17.000 unieke zinnen duurde ongeveer 0,025 seconden, terwijl het scoren 0,005 seconden duurde.
Modelafhankelijkheid: De resultaten geven aan dat de kwaliteit van de schets sterk afhankelijk is van het onderliggende embedding-model. Wanneer het model (bijvoorbeeld all-MiniLM-L6-v2) niet goed geschikt was voor meertalige data, was de dichte baseline al zwak en voegde de schets extra verlies toe.

Betekenis en Beperkingen

De auteurs positioneren Clark Hash als een eenvoudige opslagcodec en schets-scoremethode, en stellen expliciet dat het geen vervanging is voor benaderende dichtstbijzijnde-buur (ANN)-indexen (zoals HNSW) of geleerde quantisatoren (zoals Product Quantization).

Betekenis: Het biedt een praktische oplossing voor scenario's die een compacte, deterministische opslag van embeddings vereisen waarbij vectoren online binnenkomen en geen trainingsset beschikbaar is. Het behoudt een groot deel van het gedrag van dichte scores (hoge Pearson-correlatie) wanneer het embedding-model goed past bij de data.
Beperkingen:
- Het past zich niet aan het corpus aan, wat mogelijk resulteert in lagere kwaliteit dan geleerde methoden bij hetzelfde byte-budget.
- Het is geen ANN-index; de opgenomen FlatIndex voert exacte scans uit in schetsruimte, wat mogelijk niet schaalbaar is naar enorme productiedata-sets zonder verdere indexstructuren.
- De vaste schetsdimensie kan niet elk paar in een onbegrensde stream behouden; gebruikers moeten parameters ( $m, b, s, c$ ) afstemmen op hun specifieke kwaliteitsdoelen.

Concluderend biedt Clark Hash een "kleine methode" voor het opslaan van neurale embeddings die corpus-specifieke aanpassing inruilt voor stateless eenvoud en extreme opslagefficiëntie.