Embedding Compression via Spherical Coordinates

1. O Problema

Os vetores de incorporação (embeddings) são fundamentais para pipelines de RAG (Retrieval-Augmented Generation), busca agêntica e recuperação multimodal. Um modelo típico gera vetores de 1024 dimensões no formato float32, exigindo 4 KB por vetor. Em escala (ex: 100 milhões de vetores), isso resulta em 400 GB de armazenamento. O problema é ainda mais crítico para representações de múltiplos vetores (como em modelos ColBERT), onde o armazenamento pode multiplicar-se por 100x.

• Limitação dos Métodos Atuais:
  • Compressão com Perdas (Lossy): Técnicas como quantização alcançam altas taxas de compressão, mas introduzem erros de reconstrução que podem degradar a qualidade da recuperação.
  • Compressão Sem Perdas (Lossless): Métodos existentes (como transposição de matriz, embaralhamento de bytes e codificação de entropia, ex: ZipNN) exploram a estrutura do formato IEEE 754, mas atingem um teto de compressão de aproximadamente 1,2x a 1,33x. Isso ocorre porque os bits de mantissa dos vetores de embedding possuem entropia próxima ao máximo, tornando-os difíceis de comprimir sem perda de informação.

2. Metodologia

O artigo propõe um método de compressão limitado por $\epsilon$ ($\epsilon$-bounded) que explora a estrutura geométrica dos vetores de norma unitária.

• Premissa Geométrica: A maioria dos modelos de embedding produz vetores com norma unitária ($\|x\|_2 = 1$), que residem na superfície de uma hipersfera de alta dimensão ($S^{d-1}$).
• Transformação para Coordenadas Esféricas:
  • Em vez de armazenar as $d$ coordenadas cartesianas, o método converte o vetor para $d-1$ coordenadas angulares (ângulos).
  • Fenômeno de Concentração: Em altas dimensões, esses ângulos esféricos concentram-se fortemente em torno de $\pi/2$ (aprox. 1,57).
• Impacto no Formato IEEE 754 (Float32):
  • Expoentes: Devido à concentração em torno de 1,57, a grande maioria dos ângulos cai na faixa de valores $[1, 2)$, o que faz com que o byte do expoente no formato float32 colapse para um único valor dominante (127). Isso reduz drasticamente a entropia dos expoentes.
  • Mantissa: Os bits de ordem superior da mantissa também se tornam previsíveis devido à concentração dos valores.
• Pipeline de Compressão:
  1. Transformação: Conversão de Cartesianas para Esféricas (usando precisão dupla float64 para cálculos intermediários para garantir precisão).
  2. Transposição e Embaralhamento: Agrupamento de bytes de expoentes e separação de bytes de mantissa.
  3. Codificação: Aplicação de codificação de entropia (ex: zstd).
• Precisão e Reconstrução: O erro de reconstrução é estritamente limitado pela máquina epsilon do float32 ($1,19 \times 10^{-7}$). Isso significa que, na precisão nativa dos vetores, os valores reconstruídos são indistinguíveis dos originais.
• Similaridade Direta: O algoritmo permite calcular a similaridade cosseno diretamente a partir dos ângulos comprimidos sem reconstruir o vetor cartesiano completo, usando uma recursão reversa em $O(d)$.

3. Principais Contribuições

1. Novo Paradigma de Compressão: Primeira abordagem que utiliza coordenadas esféricas para compressão sem perdas (ou estritamente limitada por $\epsilon$) de embeddings, explorando a concentração geométrica em vez de apenas a redundância de bytes.
2. Taxa de Compressão Superior: Alcança 1,5x de compressão, superando em 25% os melhores métodos sem perdas anteriores (que ficam em ~1,2x).
3. Zero Degradação na Recuperação: Demonstração empírica de que a compressão não afeta a qualidade de recuperação (nDCG@10 e Recall@10) em benchmarks BEIR, mantendo a fidelidade necessária para caches e APIs.
4. Independência de Treinamento: O método não requer treinamento, codebooks ou ajustes específicos por modelo; aplica-se a texto, imagem e vetores multi-vetoriais.
5. Eficiência Computacional: Implementação em C que atinge >1 GB/s para a transformação e throughput de compressão de ~487 MB/s.

4. Resultados

O método foi avaliado em 26 configurações diferentes, cobrindo modelos de texto (MiniLM, E5, BGE, Jina), imagem (CLIP) e vetores multi-vetoriais (ColBERT).

• Taxas de Compressão:
  • Variação de 1,47x a 1,59x em todas as configurações.
  • Melhoria consistente de 20% a 32% sobre a linha de base (ZipNN/Trans+Shuffle+Zstd).
  • Exemplo prático: Um índice ColBERT de 1 milhão de documentos reduz de 240 GB para 160 GB.
• Precisão:
  • Erro máximo de reconstrução elementar: < $9 \times 10^{-8}$ (abaixo da máquina epsilon do float32).
  • Métricas de recuperação (nDCG@10, Recall@10) idênticas antes e depois da compressão em todos os testes do BEIR.
• Análise de Entropia:
  • A entropia dos bytes de expoente cai de ~2,5 bits/byte (Cartesiano) para ~0,07 bits/byte (Esférico).
  • A redução na entropia da mantissa também contribui para o ganho total.
• Limitações de Precisão: O método é otimizado para float32. Para formatos de precisão reduzida (BF16, FP16, FP8, Int8), a transformação esférica pode até expandir o tamanho dos dados, pois a conversão para ângulos gera saídas float32 (4 bytes), perdendo a vantagem de armazenamento nativo de 2 ou 1 byte desses formatos.

5. Significado e Impacto

Este trabalho preenche uma lacuna crítica entre a compressão sem perdas ineficiente (1,2x) e a compressão com perdas agressiva (4x+).

• Aplicações Práticas: Permite armazenar e transmitir embeddings de alta fidelidade com economia significativa de custos de infraestrutura (armazenamento e largura de banda) sem sacrificar a precisão do sistema de busca.
• Otimização de Pipeline: A capacidade de calcular similaridade diretamente nos ângulos comprimidos permite otimizações de GPU e recuperação em streaming, evitando a materialização completa de vetores na memória.
• Validação Teórica: Confirma que a concentração de ângulos em hipersferas de alta dimensão é uma propriedade geométrica fundamental que pode ser explorada para compressão de dados, validada independentemente por outros trabalhos recentes (como TurboQuant), embora com objetivos de fidelidade diferentes.

Em resumo, a técnica oferece uma solução elegante e matematicamente fundamentada para o problema de escalabilidade de armazenamento de embeddings, garantindo que a integridade dos dados seja mantida para aplicações críticas de recuperação de informação.