Technische Samenvatting: Wanneer is 0,1% genoeg? Een analyse van de gecombineerde effecten van dimensionaliteitsreductie en kwantisatie op de compressie van tekstembeddings

1. Probleemstelling

Recente hoogpresterende tekstembedding-modellen, inclusief modellen gebaseerd op Large Language Models (LLM's), genereren hoogdimensionale real-waardige vectoren. Hoewel deze vectoren sterke prestaties leveren in downstream-taken, zijn hun opslag- en rekenkosten aanzienlijk, met name in retrieval- en Retrieval-Augmented Generation (RAG)-systemen waar enorme collecties embeddings moeten worden opgeslagen en vergeleken.

Bestaande compressiestrategieën pakken dit doorgaans aan via kwantisatie (het verminderen van het aantal bits per coördinaat) of dimensionaliteitsreductie (het verminderen van het aantal coördinaten). De interactie tussen deze twee methoden blijft echter onvoldoende begrepen. Het is onduidelijk hoe men dimensionaliteit en bitbreedte optimaal kan balanceren onder een strikt compressiebudget, of dat het combineren van deze methoden synergetische voordelen oplevert die verder gaan dan het gebruik ervan in isolatie.

2. Methodologie

Experimentele Opzet

De auteurs voerden een systematische evaluatie uit over vier vooraf getrainde embedding-modellen en vier taakfamilies uit de Massive Text Embedding Benchmark (MTEB):

• Modellen: gte-Qwen2-7B-instruct, E5-mistral-7b-instruct (instructie-gebaseerd), E5-large-v2 (prefix-gebaseerd) en Qwen3-Embedding-8B (Matryoshka-compatibel).
• Taken: Classificatie, Clustering, Retrieval en Semantische Tekstuele Gelijkenis (STS).
• Compressiebudget: Gedefinieerd als $C(d, b) = d \times b$, waarbij $d$ de gereduceerde dimensionaliteit is en $b$ de bitbreedte.

Compressietechnieken

De studie evalueerde post-hoc compressiemethoden zonder de embedding-modellen opnieuw te trainen:

1. Dimensionaliteitsreductie:
   • Head: Behoudt de eerste $d$ coördinaten van de originele embedding.
   • PCA+ROR: Past Principal Component Analysis (PCA) toe gevolgd door een deterministische willekeurige orthogonale rotatie (ROR). Deze rotatie herverdeelt de variantie over de coördinaten om de onbalans te voorkomen die optreedt wanneer PCA-geprojecteerde vectoren (gesorteerd op variantie) worden onderworpen aan scalaire kwantisatie.
2. Kwantisatie:
   • Evalueerde bitbreedtes $b \in \{1, 2, 4, 8, 16, 32\}$.
   • 1-bit: Sign-kwantisatie.
   • 2, 4, 8-bit: Gebruikte een distributie-adaptieve equal-count lookup-table kwantiseerder. In plaats van vaste laag-precisie floating-point formaten te gebruiken, construeerden de auteurs kwantisatietabellen op basis van de empirische distributie van de kalibratie-embeddings. Dit zorgt ervoor dat representeerbare niveaus worden toegewezen om overeen te komen met de dichtheid van de data, waardoor de "zero collapse" wordt vermeden die gebruikelijk is bij L2-genormaliseerde hoogdimensionale vectoren waar waarden geconcentreerd zijn rond nul.
   • Kalibratie: Parameters voor PCA en kwantisatietabellen werden gefit op ongelabelde kalibratiesets afgeleid van de taakinformatie, zonder gebruik te maken van taaklabels of relevantiebeoordelingen.

3. Belangrijkste Resultaten

Synergie van Gecombineerde Methoden

De experimenten tonen aan dat het combineren van dimensionaliteitsreductie en kwantisatie aanzienlijk sterkere compressie mogelijk maakt dan elk van de methoden alleen.

• Extreme Compressie: In specifieke instellingen werden embeddings gereduceerd tot 0,1% van hun oorspronkelijke grootte (bijv. 1/1024) met verwaarloosbare prestatievermindering.
• Taakafhankelijkheid: De optimale compressiestrategie varieert aanzienlijk per taak:
  • Classificatie: Zeer tolerant voor agressieve compressie. Het geeft prioriteit aan bitbreedte boven dimensionaliteit. Instellingen met een hoge bitbreedte (8–32 bits) behielden prestaties zelfs bij zeer lage dimensies (bijv. 2 dimensies), terwijl instellingen met een lage bitbreedte faalden, zelfs bij hoge dimensies.
  • Clustering & STS: Meer afhankelijk van dimensionaliteit. Grotere dimensies leverden consistent hogere scores op bij hetzelfde compressiebudget.
  • Retrieval: De meest gevoelige taak. Deze vereiste het grootste relatieve compressiebudget om prestaties te behouden en vertoonde degradatie eerder dan andere taken wanneer dimensies werden verminderd.

Dimensionaliteitsreductiemethoden

• Head vs. PCA+ROR:
  • Head-gebaseerde truncatie was betrouwbaarder voor het behoud van bijna-originele prestaties (99% drempelwaarde), en bereikte deze drempel succesvol voor alle model-taakcombinaties.
  • PCA+ROR was efficiënter voor agressieve compressie (90% drempelwaarde), en bereikte het doel vaak met een kleiner budget, met name voor classificatie en clustering. Het slaagde er echter niet in om de 99% drempelwaarde te bereiken in verschillende retrieval- en STS-instellingen, wat suggereert dat het fijne gelijkenisstructuren die nodig zijn voor deze taken kan verstoren.
• De Rol van Rotatie: De willekeurige orthogonale rotatie (ROR) was cruciaal. Zonder ROR (standaard PCA) was de prestatie niet-monotoon; het toevoegen van meer PCA-dimensies degradeerde soms de prestaties door de introductie van ruisgevoelige, laag-variante coördinaten die slecht werden afgehandeld door scalaire kwantisatie. ROR balanceerde de coördinaat-gewijze variantie, wat de compressie stabiliseerde.

Modelkenmerken

• Oorspronkelijke Dimensionaliteit: Modellen met hogere originele dimensies (bijv. 3584) konden een groter deel van hun representatie weggooien of kwantiseren terwijl ze prestaties behielden, vergeleken met modellen met kleinere originele dimensies (bijv. 1024).
• Matryoshka Compatibiliteit: Het Qwen3-Embedding-8B model, ontworpen voor variabel-dimensionale embeddings, vertoonde geen fundamenteel ander gedrag met betrekking tot Head-gebaseerde truncatie vergeleken met andere hoogdimensionale modellen, wat suggereert dat robuustheid tegen truncatie een breder kenmerk is van recente modellen. Het vertoonde echter wel sommige efficiëntievoordelen in specifieke retrieval-instellingen.

4. Betekenis en Claims

Het artikel beweert dat de afruil tussen bitbreedte en dimensionaliteit nog niet systematisch is gekarakteriseerd over taakfamilies, en dat dit werk die kloof opvult.

• Complementariteit: De primaire bijdrage is de demonstratie dat dimensionaliteitsreductie en kwantisatie complementaire assen zijn. Door ze te combineren, kan men compressieverhoudingen bereiken (tot 0,1%) die onmogelijk zijn met enkelvoudige methode-assen zonder aanzienlijk prestatieverlies.
• Taakspecifieke Strategieën: De auteurs benadrukken dat er geen universele "beste" compressiestrategie is. Classificatie profiteert van hoge precisie (bitbreedte), terwijl retrieval en clustering profiteren van het behoud van geometrische structuur (dimensionaliteit).
• Kwantisatieontwerp: De studie benadrukt dat standaard vaste laag-bit floating-point formaten suboptimaal zijn voor L2-genormaliseerde tekstembeddings vanwege de concentratie van waarden nabij nul. Distributie-adaptieve kwantisatie is noodzakelijk om directionele informatie in laag-bit regimes te behouden.

5. Beperkingen

De auteurs erkennen drie belangrijke beperkingen:

1. Omvang van de Methoden: De studie richt zich op Head-truncatie, PCA+ROR en scalaire kwantisatie. Het dekt niet exhaustief geleerde projecties, productkwantisatie of vectorkwantisatie.
2. Omvang van de Datasets: Experimenten waren beperkt tot Engelse datasets binnen MTEB. De generaliseerbaarheid naar andere talen, domeinen of taaltypen blijft onverifieerd.
3. Kalibratieprotocol: De compressieparameters werden gefit met behulp van een transductief protocol (toegang tot de distributie van de evaluatie-input tijdens een warm-up pass). Dit kan de prestaties overschatten vergeleken met een scenario in productie waarbij parameters op een aparte corpus moeten worden gefit en vervolgens worden hergebruikt voor onziene data.