🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

Clark Hash ist ein zustandsloser, trainingsfreier Codec, der neuronale Embeddings in kompakte 48-Byte-sparse signierte Johnson-Lindenstrauss-Skizzen komprimiert und dabei eine Speicherreduktion um den Faktor 32 bei Beibehaltung hoher Genauigkeit bei der Suche nach Kosinusähnlichkeit erreicht, ohne dass erlernte Codebooks oder vorab berechnete Statistiken erforderlich sind.

Ursprüngliche Autoren: Stanislav Kirdey, Clark Labs Inc

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC0 1.0

Ursprüngliche Autoren: Stanislav Kirdey, Clark Labs Inc

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek voller Bücher, aber anstatt den vollständigen Text jedes Buches zu speichern, bewahren Sie nur eine winzige, 48-Byte-„Postkarte" für jedes davon auf. Diese Postkarten sind so klein, dass sie kaum Platz einnehmen, ermöglichen es Ihnen jedoch dennoch, das richtige Buch zu finden, wenn Sie eine Frage stellen.

Das ist im Wesentlichen das, was Clark Hash tut, jedoch für „neuronale Einbettungen" (die lediglich komplexe mathematische Zusammenfassungen von Sätzen oder Ideen sind, die von KI verwendet werden).

Hier wird erklärt, wie das Papier diese Technologie beschreibt, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Zu viel Unrat

Normalerweise speichern KI-Systeme Sätze als lange Listen von Zahlen (Vektoren). Eine einzelne Satz-Zusammenfassung kann 1.536 Bytes Speicherplatz beanspruchen. Wenn Sie Millionen von Sätzen haben, ist das eine Menge digitalen Unrats. Es frisst Speicher, verlangsamt Ihren Computer und kostet Geld für die Speicherung.

2. Die Lösung: Die „Postkarten"-Methode (Clark Hash)

Clark Hash ist ein neuer Weg, diese großen Listen auf nur 48 Bytes zu schrumpfen (eine 32-fache Reduzierung!), ohne zuvor ein spezielles KI-Modell trainieren zu müssen. Es funktioniert wie eine zustandslose, einwegige Maschine:

Kein Training erforderlich: Im Gegensatz zu anderen Methoden, die eine ganze Bibliothek von Büchern „studieren" müssen, bevor sie Postkarten erstellen können, funktioniert Clark Hash sofort. Sie können ihm einen Satz zuführen, und er spuckt sofort einen winzigen Code aus. Sie benötigen keinen „Trainingsdurchlauf" oder ein vorgefertigtes Wörterbuch.
Der Prozess:
1. Normalisieren: Zuerst prüft es die „Richtung" der Bedeutung des Satzes und ignoriert dabei, wie lang der Satz ist.
2. Der magische Projektions-Trick (der „Hash"): Es verwendet einen mathematischen Trick (genannt sparse signed Johnson-Lindenstrauss-Projektion), um die große 384-dimensionale Liste in eine viel kleinere Liste von 96 Zahlen zu quetschen. Denken Sie daran wie das Falten einer großen Landkarte zu einem winzigen Taschentuch. Es ist zufällig, aber deterministisch (wenn Sie denselben „Seed" oder Schlüssel verwenden, erhalten Sie immer dieselbe Faltung).
3. Beschneiden und Packen: Es schneidet alle Zahlen ab, die zu groß sind (Clipping), und rundet sie dann ab, damit sie in winzige 4-Bit-Fächer passen. Dies verwandelt die Zahlen in einen superkompakten Code.

3. Wie Sie suchen: Der „asymmetrische" Trick

Das ist der clevere Teil.

Die Datenbank: Die Bibliothek speichert nur die winzigen, 48-Byte-Postkarten (die komprimierten Codes).
Die Frage: Wenn Sie eine Frage stellen, behält Ihr Computer die vollständige, hochwertige Version Ihrer Frage im Speicher (Gleitkomma).
Die Übereinstimmung: Das System vergleicht Ihre hochwertige Frage mit den winzigen Postkarten. Es ist wie der Vergleich eines hochauflösenden Fotos mit einer winzigen Skizze. Die Mathematik ist so gestaltet, dass das System, obwohl eine Seite winzig und die andere groß ist, immer noch sehr genau feststellen kann, wie ähnlich sie sind.

4. Die Ergebnisse: Funktioniert es?

Die Autoren testeten dies an einem mehrsprachigen Datensatz (Sätze in vielen verschiedenen Sprachen) mit über 9.000 Paaren von Sätzen.

Der Test: Sie verglichen die „Postkarten"-Scores mit den „vollformatigen" Scores, um zu sehen, ob sie übereinstimmen, welche Sätze ähnlich sind.
Der Score: Auf einer Skala von 0 bis 1 stimmten die winzigen 48-Byte-Skizzen mit den großen, vollformatigen Versionen mit einer Korrelation von 0,91 bis 0,95 überein.
Was das bedeutet: Wenn das ursprüngliche KI-Modell gut darin war, die Sätze zu verstehen, bewahrten die winzigen Postkarten fast dieses gesamte Verständnis. Das System wurde nicht „verwirrt", nur weil die Daten geschrumpft wurden.

5. Was es ist (und was es nicht ist)

Das Papier ist sehr klar bezüglich der Grenzen:

Es ist KEIN neuer mathematischer Satz. Es kombiniert bestehende mathematische Tricks (Hashing, Projektion, Quantisierung) zu einem neuen, praktischen Werkzeug.
Es ist KEIN Ersatz für fortschrittliche Suchmaschinen, die den „nächsten Nachbarn" in massiven Datenbanken finden. Es ist lediglich ein Speicher-Codec.
ES IST ein einfaches, zustandsloses Werkzeug zum Speichern von Platz. Es ist perfekt für Situationen geeignet, in denen Sie Daten einzeln erhalten und sie sofort speichern müssen, ohne warten zu müssen, bis ein komplexes Modell trainiert ist.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie haben eine riesige, detaillierte 3D-Skulptur einer Stadt (die Originaldaten).

Traditionelle Speicherung bewahrt die gesamte Skulptur auf.
Gelernte Komprimierung könnte zuerst ein Modell der Stadt erstellen und dann einen Bauplan speichern.
Clark Hash ist wie das Fotografieren der Skulptur aus einem bestimmten Winkel, das Flattachen dieses Fotos und das Umwandeln in einen winzigen, 48-Byte-QR-Code. Sie können die 3D-Skulptur nicht aus dem Code wiederherstellen, aber wenn Sie eine neue Skulptur haben und wissen möchten, ob sie wie die alte aussieht, können Sie die neue scannen und mit dem QR-Code vergleichen. Es ist schnell, nimmt fast keinen Platz ein, und Sie können es sofort tun, ohne die Stadt zuvor studiert zu haben.

Technische Zusammenfassung: Clark Hash

Problemstellung

Neuronale Einbettungssysteme erfordern häufig die Speicherung einer riesigen Anzahl dichter Vektoren mit Gleitkommazahlen. Eine Standard-Sentence-Embedding mit 384 Dimensionen im f32-Format verbraucht 1.536 Bytes pro Vektor, was erhebliche Kosten für Speicher, lokalen Cache, Festplattenspeicher und Netzwerkdurchsatz verursacht. Zwar können bestehende Komprimierungsmethoden (wie Produktquantisierung) hohe Qualität erreichen, sie verlassen sich jedoch typischerweise auf das Lernen von Zentroiden, Rotationen oder Codebüchern aus einem repräsentativen Korpus. Diese Ansätze sind für „Online"-Szenarien ungeeignet, in denen Vektoren einzeln eintreffen und sofort gespeichert werden müssen, ohne Zugriff auf einen vorliegenden Trainingsdatensatz oder Korpusstatistiken.

Methodik

Clark Hash ist ein zustandsloser, deterministischer Codec, der entwickelt wurde, um neuronale Einbettungen ohne Trainingsphase zu komprimieren. Er kombiniert drei etablierte Techniken: sparse signed Johnson-Lindenstrauss (JL)-Projektion, feste skalare Quantisierung und asymmetrische Bewertung. Der Prozess läuft wie folgt ab:

Normalisierung: Für die Cosinus-Suche wird der Eingabevektor $x$ zu einer Einheitsrichtung $u = x / \|x\|_2$ normalisiert.
Sparse Signed Projection: Der Vektor wird unter Verwendung einer sparse random Matrix $R$ $R$ in einen niedrigdimensionalen Skizzenraum ( $m$ $m$ Dimensionen) projiziert. Diese Matrix wird durch Feature-Hashing konstruiert, wobei Eingabekoordinaten mit zufälligen Vorzeichen ( $\sigma \in \{-1, +1\}$ $σ \in {- 1, + 1}$ ) auf Buckets abgebildet werden. Die Projektion ist datenunabhängig und bei gegebenem Seed deterministisch.
- Die Projektion wird mit $\sqrt{m}$ skaliert, um die Koordinatenmagnituden für die Quantisierung zu stabilisieren.
Feste skalare Quantisierung: Die projizierten Koordinaten werden auf einen symmetrischen Bereich $[-c, c]$ begrenzt und gleichmäßig auf $b$ Bits quantisiert. Dies erzeugt einen Code fester Breite als Ganzzahl.
Asymmetrische Bewertung: Abfragevektoren bleiben im Gleitkommaformat. Sie werden in denselben Skizzenraum projiziert (ohne Quantisierung) und unter Verwendung eines asymmetrischen Skalarprodukts gegen die gespeicherten, quantisierten Datenbank-Skizzen bewertet. Dies vermeidet Quantisierungsfehler auf der Abfrageseite.
Dot-Product-Erweiterung: Für Dot-Product-Metriken wird ein zwei Byte großer Log-Norm-Side-Channel hinzugefügt, um die Magnitude des ursprünglichen Vektors zu speichern, was die Rekonstruktion des Dot-Produkts aus der Cosinus-Schätzung und den Normen ermöglicht.

Die Implementierung ist ein zustandsloses Rust-Crate (clark-hash), bei dem Bucket-Positionen und Vorzeichen on-the-fly unter Verwendung einer SplitMix64-artigen Hash-Funktion basierend auf dem Eingabeindex und einem Seed generiert werden.

Hauptbeiträge

Der Artikel stellt Clark Hash nicht als neuen mathematischen Satz vor, sondern als ein technisches Paket, das bestehende Konzepte in eine kompakte, zustandslose Lösung integriert. Seine Hauptbeiträge sind:

Zustandslose Online-Kodierung: Die Fähigkeit, Vektoren einzeln zu kodieren, ohne vorherige Korpusstatistiken, gelernte Codebücher oder Kalibrierungsparameter.
Extreme Komprimierung: In der Standardkonfiguration für 384-dimensionale Embeddings reduziert die Methode den Speicherbedarf von 1.536 Bytes auf 48 Bytes (eine 32-fache Reduktion).
Deterministischer Codec: Eine Darstellung fester Breite mit skalärer Quantisierung, die eine exakte Durchsuchung komprimierter Vektoren im Skizzenraum ermöglicht.
Implementierung: Eine Referenz-Implementierung in Rust und ein Benchmark-Framework, die öffentlich verfügbar sind.

Ergebnisse

Die Methode wurde an multilingualen Aufgaben zur Satzähnlichkeit mit 9.304 gelabelten Paaren aus 29 Teilmengen (STS17 und STS22 via MTEB) evaluiert. Die Evaluation verglich dichte Cosinus-Werte mit Clark Hash Skizzen-Werten unter Verwendung von Encodern der MiniLM-Familie.

Speichereffizienz: Das Standardprofil ( $m=96, b=4$ ) speichert Vektoren in 48 Bytes.
Korrelation mit dichten Werten:
- Auf STS17 mit dem multilingualen Modell MultiMiniLM-L12 erreichten die 48-Byte-Skizzen eine makroskopische Pearson-Korrelation von 0,9099 mit dichten Cosinus-Werten.
- Auf STS22 erreichte die Korrelation 0,9460.
Leistung: Die Schritte der Quantisierung und Bewertung sind im Vergleich zum Schritt der Embedding-Generierung rechnerisch vernachlässigbar. Beispielsweise dauerte die Quantisierung von 17.000 einzigartigen Sätzen etwa 0,025 Sekunden, während die Bewertung 0,005 Sekunden benötigte.
Modellabhängigkeit: Die Ergebnisse zeigen, dass die Qualität der Skizze stark vom zugrunde liegenden Embedding-Modell abhängt. Wenn das Modell (z. B. all-MiniLM-L6-v2) nicht gut für cross-linguale Daten geeignet war, war die dichte Baseline bereits schwach, und die Skizze fügte weiteren Verlust hinzu.

Bedeutung und Einschränkungen

Die Autoren positionieren Clark Hash als einfachen Speicher-Codec und Methode zur Skizzenbewertung und stellen ausdrücklich klar, dass er kein Ersatz für Approximate Nearest Neighbor (ANN)-Indizes (wie HNSW) oder gelernte Quantisierer (wie Produktquantisierung) ist.

Bedeutung: Er bietet eine praktische Lösung für Szenarien, die eine kompakte, deterministische Speicherung von Embeddings erfordern, bei denen Vektoren online eintreffen und kein Trainingsdatensatz verfügbar ist. Er bewahrt einen großen Teil des Verhaltens dichter Werte (hohe Pearson-Korrelation), wenn das Embedding-Modell gut zu den Daten passt.
Einschränkungen:
- Er passt sich nicht an den Korpus an, was im Vergleich zu gelernten Methoden bei gleichem Byte-Budget zu einer geringeren Qualität führen kann.
- Er ist kein ANN-Index; der enthaltene FlatIndex führt exakte Durchsuchungen im Skizzenraum durch, was ohne weitere Indexstrukturen möglicherweise nicht auf massive Produktionsdatensätze skalierbar ist.
- Die feste Skizzen-Dimension kann nicht jedes Paar in einem unbegrenzten Strom bewahren; Benutzer müssen Parameter ( $m, b, s, c$ ) basierend auf ihren spezifischen Qualitätszielen anpassen.

Zusammenfassend bietet Clark Hash eine „kleine Methode" zur Speicherung neuronaler Embeddings, die eine korpus-spezifische Anpassung gegen zustandslose Einfachheit und extreme Speichereffizienz tauscht.