Embedding Compression via Spherical Coordinates

1. Il Problema

I vettori di embedding (spesso di dimensione 1024 o superiore in formato float32) sono fondamentali per pipeline RAG, ricerca agentiche e recupero multimodale. Tuttavia, lo storage di grandi database di embedding è costoso:

• Un singolo vettore float32 a 1024 dimensioni richiede 4 KB.
• Un database di 100 milioni di embedding richiede circa 400 GB.
• Per modelli multi-vettore (es. ColBERT), lo storage può aumentare di 100 volte.

Le soluzioni attuali presentano compromessi:

• Compressione Lossless (senza perdita): I metodi migliori (es. trasposizione + byte-shuffle + entropy coding come in ZipNN) raggiungono solo un rapporto di compressione di 1.2×, poiché i bit della mantissa dei numeri float32 hanno un'entropia quasi massima.
• Quantizzazione Lossy (con perdita): Tecniche come la Product Quantization offrono rapporti elevati (4× o più), ma introducono errori di ricostruzione che possono degradare la qualità del recupero (retrieval).

Esiste un bisogno critico di un metodo che offra una ricostruzione ad alta fedeltà (con errore limitato) e un rapporto di compressione superiore ai metodi lossless attuali, senza richiedere addestramento.

2. Metodologia: Compressione tramite Coordinate Sferiche

Il metodo proposto, chiamato compressione $\epsilon$-bounded, sfrutta una proprietà geometrica fondamentale dei vettori di embedding normalizzati (unit-norm, $\|x\|_2 = 1$).

Concetto Chiave: Concentrazione degli Angoli

Mentre i metodi lossless tradizionali trattano i vettori come coordinate cartesiane, questo approccio li trasforma in coordinate sferiche:

1. Trasformazione Geometrica: Un vettore unitario in $\mathbb{R}^d$ può essere rappresentato da $d-1$ angoli invece che da $d$ coordinate cartesiane.
2. Concentrazione degli Angoli: In spazi ad alta dimensione, gli angoli sferici tendono a concentrarsi attorno a $\pi/2$ (circa 1.57).
3. Impatto sulla Rappresentazione IEEE 754:
   • Esponenti: La concentrazione attorno a 1.57 fa sì che quasi tutti gli angoli abbiano lo stesso esponente IEEE 754 (valore 127). Questo riduce l'entropia degli esponenti da ~2.6 bit/byte a 0.03 bit/byte.
   • Mantissa: Anche i bit di ordine superiore della mantissa diventano prevedibili quando gli angoli sono vicini a $\pi/2$, riducendo ulteriormente l'entropia.

Pipeline di Compressione

1. Trasformazione Sferica: Conversione delle coordinate cartesiane in angoli sferici (utilizzando precisione double per i calcoli intermedi per minimizzare errori).
2. Trasposizione: Riorganizzazione dei dati per raggruppare valori della stessa posizione angolare tra diversi vettori.
3. Byte Shuffle: Separazione dei byte degli esponenti da quelli della mantissa.
4. Entropy Coding: Compressione finale tramite zstd.

Decodifica e Similarità Diretta

• Decompressione: Inverte i passaggi. L'errore di ricostruzione è limitato all'epsilon della macchina float32 ($1.19 \times 10^{-7}$), rendendo i valori ricostruiti indistinguibili dagli originali a questa precisione.
• Similarità Diretta: Un contributo algoritmico chiave è la possibilità di calcolare la similarità coseno direttamente dagli angoli compressi (senza ricostruire i vettori cartesiani) tramite una ricorrenza inversa in $O(d)$, abilitando lo streaming e l'early termination nella ricerca.

3. Contributi Chiave

1. Nuovo Paradigma Lossless: Prima applicazione di coordinate sferiche per la compressione lossless (o $\epsilon$-bounded) di embedding, superando il limite teorico dei metodi basati solo su esponenti.
2. Rapporto di Compressione: Raggiunge un rapporto di 1.5×, superiore del 25% rispetto al miglior metodo lossless precedente (1.2×).
3. Zero Degrado nel Retrieval: L'errore di ricostruzione è così basso (sotto l'epsilon di macchina) che non si osserva alcuna degradazione misurabile nelle metriche di recupero (nDCG, Recall) su benchmark BEIR.
4. Indipendenza dal Modello: Non richiede addestramento, codebook o modelli specifici. Funziona su embedding di testo, immagine e multi-vettore.
5. Efficienza Computazionale: Implementazione C ottimizzata che raggiunge oltre 1 GB/s per la trasformazione e throughput di compressione/decompressione elevati.

4. Risultati Sperimentali

Il metodo è stato valutato su 26 configurazioni diverse (modelli di testo, immagine e ColBERT):

• Compressione: Il rapporto di compressione varia costantemente tra 1.47× e 1.59× su tutti i modelli testati.
• Risparmio di Storage: Per un indice ColBERT di 1 milione di documenti, lo storage scende da 240 GB a 160 GB.
• Confronto con Baseline:
  • Baseline (ZipNN/Trans+Shuffle): 1.20×.
  • Metodo Proposto: 1.58× (su jina-embeddings-v4).
  • Mantissa Truncation: Anche con truncamento della mantissa, il metodo sferico offre un errore di ricostruzione 10 volte inferiore a parità di rapporto di compressione.
• Robustezza: Le prestazioni sono coerenti indipendentemente dalla distribuzione geometrica dei vettori (uniforme, clusterizzata, sparsa) e dalla dimensione (da 64 a 2048 dimensioni).
• Limiti: Il metodo è ottimizzato per float32. Per formati a precisione ridotta (BF16, FP8, Int8), la trasformazione sferica può addirittura peggiorare la compressione a causa della conversione in float32 durante il calcolo degli angoli.

5. Significato e Impatto

Questo lavoro colma il divario tra la compressione lossless tradizionale (basso rapporto, alta fedeltà) e la quantizzazione lossy (alto rapporto, perdita di qualità).

• Impatto Pratico: Permette di ridurre significativamente i costi di storage e larghezza di banda per servizi di embedding senza sacrificare la precisione del recupero semantico.
• Nuove Possibilità: La capacità di calcolare la similarità direttamente dagli angoli compressi apre la strada a tecniche di recupero "streaming" e kernel GPU fusi che evitano la materializzazione completa dei vettori in memoria.
• Validazione Geometrica: Conferma che la concentrazione degli angoli sugli ipersfere ad alta dimensione è una proprietà geometrica fondamentale sfruttabile per l'efficienza dei dati, indipendentemente dal dominio (testo, immagine, ecc.).

In sintesi, il paper propone una soluzione elegante e matematicamente fondata per comprimere gli embedding moderni, offrendo un miglioramento sostanziale nell'efficienza dello storage mantenendo l'integrità dei dati al livello di precisione nativo.