Riepilogo Tecnico: Clark Hash

Enunciato del Problema

I sistemi di embedding neurale richiedono frequentemente l'archiviazione di un vasto numero di vettori densi in virgola mobile. Un embedding di frase standard a 384 dimensioni in formato f32 occupa 1.536 byte per vettore, generando costi significativi per la memoria, la cache locale, l'archiviazione su disco e il trasferimento di rete. Sebbene i metodi di compressione esistenti (come la quantizzazione produttiva) possano raggiungere un'alta qualità, dipendono tipicamente dall'apprendimento di centroidi, rotazioni o codebook da un corpus rappresentativo. Questi approcci sono inadatti a scenari "online" in cui i vettori arrivano singolarmente e devono essere archiviati immediatamente, senza accesso a un set di addestramento preesistente o a statistiche del corpus.

Metodologia

Clark Hash è un codec deterministico e senza stato progettato per comprimere gli embedding neurali senza una fase di addestramento. Combina tre tecniche consolidate: proiezione Johnson-Lindenstrauss (JL) sparsa e con segno, quantizzazione scalare fissa e valutazione asimmetrica. Il processo funziona come segue:

1. Normalizzazione: Per la ricerca per similarità coseno, il vettore di input $x$ viene normalizzato in una direzione unitaria $u = x / \|x\|_2$.
2. Proiezione Sparsa con Segno: Il vettore viene proiettato in uno spazio di schizzo a dimensionalità inferiore ($m$ dimensioni) utilizzando una matrice casuale sparsa $R$. Questa matrice è costruita tramite feature hashing, dove le coordinate di input vengono mappate in bucket con segni casuali ($\sigma \in \{-1, +1\}$). La proiezione è data-oblivious e deterministica dato un seed.
   • La proiezione è scalata per $\sqrt{m}$ per stabilizzare le grandezze delle coordinate per la quantizzazione.
3. Quantizzazione Scalare Fissa: Le coordinate proiettate vengono limitate a un intervallo simmetrico $[-c, c]$ e quantizzate uniformemente a $b$ bit. Questo produce un codice intero a larghezza fissa.
4. Valutazione Asimmetrica: I vettori di query rimangono in formato virgola mobile. Vengono proiettati nello stesso spazio di schizzo (senza quantizzazione) e valutati contro gli schizzi del database archiviati quantizzati utilizzando un prodotto interno asimmetrico. Questo evita l'errore di quantizzazione sul lato della query.
5. Estensione del Prodotto Scalare: Per le metriche di prodotto scalare, viene aggiunto un canale secondario di log-norm di due byte per memorizzare la grandezza del vettore originale, consentendo la ricostruzione del prodotto scalare dalla stima del coseno e dalle norme.

L'implementazione è un crate Rust senza stato (clark-hash), in cui le posizioni dei bucket e i segni sono generati al volo utilizzando una funzione hash di tipo SplitMix64 basata sull'indice di input e su un seed.

Contributi Chiave

Il documento presenta Clark Hash non come un nuovo teorema matematico, ma come un pacchetto ingegneristico che integra concetti esistenti in una soluzione compatta e senza stato. I suoi contributi principali sono:

• Codifica Online Senza Stato: La capacità di codificare i vettori singolarmente senza statistiche del corpus pregresse, codebook appresi o parametri di calibrazione.
• Compressione Estrema: Nella configurazione predefinita per embedding a 384 dimensioni, il metodo riduce l'archiviazione da 1.536 byte a 48 byte (una riduzione di 32 volte).
• Codec Deterministico: Una rappresentazione quantizzata scalare a larghezza fissa che consente la scansione esatta dei vettori compressi nello spazio di schizzo.
• Implementazione: Un'implementazione di riferimento in Rust e un sistema di benchmark disponibili per l'uso pubblico.

Risultati

Il metodo è stato valutato su compiti di similarità di frasi multilingue utilizzando 9.304 coppie etichettate da 29 sottoinsiemi (STS17 e STS22 tramite MTEB). La valutazione ha confrontato i punteggi di coseno densi con i punteggi degli schizzi Clark Hash utilizzando encoder della famiglia MiniLM.

• Efficienza di Archiviazione: Il profilo predefinito ($m=96, b=4$) archivia i vettori in 48 byte.
• Correlazione con i Punteggi Densi:
  • Su STS17 con il modello multilingue MultiMiniLM-L12, gli schizzi da 48 byte hanno raggiunto una correlazione di Pearson macro di 0,9099 con i punteggi di coseno densi.
  • Su STS22, la correlazione ha raggiunto 0,9460.
• Prestazioni: I passaggi di quantizzazione e valutazione sono computazionalmente trascurabili rispetto al passaggio di generazione dell'embedding. Ad esempio, la quantizzazione di 17.000 frasi uniche ha richiesto circa 0,025 secondi, mentre la valutazione ha richiesto 0,005 secondi.
• Dipendenza dal Modello: I risultati indicano che la qualità dello schizzo dipende fortemente dal modello di embedding sottostante. Quando il modello (ad esempio all-MiniLM-L6-v2) non era adatto ai dati cross-lingua, la baseline densa era già debole e lo schizzo aggiungeva ulteriore perdita.

Significato e Limitazioni

Gli autori posizionano Clark Hash come un semplice codec di archiviazione e metodo di valutazione degli schizzi, affermando esplicitamente che non è un sostituto per gli indici di vicini più prossimi approssimati (ANN) (come HNSW) o quantizzatori appresi (come la Quantizzazione Produttiva).

• Significato: Offre una soluzione pratica per scenari che richiedono un'archiviazione compatta e deterministica degli embedding, dove i vettori arrivano online e non è disponibile un set di addestramento. Preserva una grande parte del comportamento del punteggio denso (alta correlazione di Pearson) quando il modello di embedding si adatta bene ai dati.
• Limitazioni:
  • Non si adatta al corpus, potenzialmente risultando in una qualità inferiore rispetto ai metodi appresi con lo stesso budget di byte.
  • Non è un indice ANN; il FlatIndex incluso esegue scansioni esatte nello spazio di schizzo, che potrebbero non scalare a dataset di produzione massicci senza ulteriori strutture di indicizzazione.
  • La dimensione fissa dello schizzo non può preservare ogni coppia in un flusso illimitato; gli utenti devono regolare i parametri ($m, b, s, c$) in base ai loro obiettivi di qualità specifici.

In conclusione, Clark Hash fornisce un "metodo piccolo" per l'archiviazione degli embedding neurali che scambia l'adattamento specifico al corpus per la semplicità senza stato e l'efficienza estrema di archiviazione.