💬 NLP

Giga-Embeddings: Mixture-of-Experts Encoders for High-Throughput Text Embeddings

Het artikel introduceert Giga-Embeddings, een familie van tekst-embeddingmodellen met een sparse 10B-parameter Mixture-of-Experts encoder die een staat-van-de-kunst ophaalkwaliteit en een hoge doorvoer bereikt over meerdere talen, naast kleinere dichte en gedestilleerde varianten die zijn geoptimaliseerd voor omgevingen met beperkte middelen.

Oorspronkelijke auteurs: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Gepubliceerd 2026-08-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Egor Kolodin, Egor Krasnoperov, Evgeniy Kosarev, Fyodor Minkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de digitale wereld begrijpen computers woorden niet op dezelfde manier als mensen. Voor een machine is een zin slechts een lange reeks symbolen. Om tekst betekenis te geven, hebben onderzoekers een methode ontwikkeld om woorden om te zetten in lijsten met getallen, bekend als embeddings. Beschouw deze lijsten als een uniek adres voor elke tekst, die het in een enorme, meerdimensionale ruimte plaatst waar vergelijkbare ideeën dicht bij elkaar liggen en verschillende ideeën ver van elkaar verwijderd zijn. Dit systeem voedt de hulpmiddelen die we dagelijks gebruiken, van zoekmachines die het juiste document vinden tot kunstmatige intelligentie die vragen beantwoordt op basis van een bibliotheek aan tekst. Er bestaat echter een constante spanning in dit vakgebied: hoe complexer het systeem, hoe beter het taal meestal begrijpt, maar hoe meer computerkracht en geheugen het vereist om te draaien. Het sneller en goedkoper maken van deze systemen zonder hun intelligentie te verliezen, is een grote uitdaging geweest voor wetenschappers.

Een team van onderzoekers heeft een nieuwe familie tekst-embeddingmodellen geïntroduceerd genaamd Giga-Embeddings, ontworpen om dit probleem op te lossen door een balans te vinden tussen hoge kwaliteit en hoge snelheid. Hun meest ambitieuze creatie is een enorm model met tien miljard parameters, wat een maatstaf is voor de interne complexiteit ervan. In plaats van alle tien miljard parameters te gebruiken om elk afzonderlijk woord te verwerken, gebruikt dit model een techniek genaamd een 'mixture of experts'. Stel je een grote bibliotheek voor waar, voor elk boek dat een klant vraagt, slechts een specifiek, klein team van bibliothecarissen wordt opgeroepen om te helpen, terwijl de rest van het personeel stand-by blijft. In dit computermodel worden slechts ongeveer 1,8 miljard parameters geactiveerd voor elk woord, terwijl de volledige tien miljard beschikbaar blijven in het geheugen. Dit stelt het systeem in staat om de kennis van een enorm brein te dragen, terwijl het op elk gegeven moment slechts het werk doet van een kleiner brein.

De onderzoekers testten dit grote model tegenover verschillende andere modellen, waaronder een standaard, dicht model met drie miljard parameters en een kleinere, gedestilleerde versie met 480 miljoen parameters. Ze evalueerden de systemen op een breed scala aan taken met betrekking tot Engelse, Russische, meertalige tekst en computercode. De resultaten lieten zien dat het grote, ijle (sparse) model de hoogste algehele prestaties behaalde in al deze categorieën. Het begreep de tekst niet alleen beter dan de kleinere modellen, maar verwerkte informatie ook sneller. Wanneer men mat hoeveel woorden het systeem per seconde kon verwerken, was het tien miljard-parameter model 25 procent sneller dan het drie miljard-parameter model en aanzienlijk sneller dan andere geavanceerde systemen die in dezelfde omgeving werden getest. Dit bewijst dat het mogelijk is om een systeem te bouren dat zowel ongelooflijk groot is in zijn capaciteit als zeer efficiënt in zijn werking.

Om deze krachtige hulpmiddelen toegankelijk te maken voor apparaten met minder rekenkracht, heeft het team ook een veel kleinere versie van het model gemaakt. Ze gebruikten een methode genaamd 'similarity-distribution distillation' om dit compacte model te onderwijzen. In plaats van te proberen de exacte interne getallen van het grote docentmodel te kopiëren, leerde het kleine model de uiteindelijke oordelen van het grote model na te bootsen over hoe vergelijkbaar verschillende stukken tekst met elkaar waren. Dit stelde het kleine model, dat slechts 480 miljoen parameters heeft, in staat om bijna net zo goed te presteren als het veel grotere drie miljard-parameter model. In tests op Russische tekst scoorde het kleine model iets hoger dan een bekende concurrent die bijna twee keer zo groot is, wat aantoont dat een kleiner systeem zeer effectief kan zijn als het op de juiste manier wordt onderwezen.

Het team heeft alle drie de versies van hun modellen vrijgegeven aan het publiek, zodat anderen ze voor diverse toepassingen kunnen gebruiken. Ze ontdekten dat het grote, ijle model bijzonder effectief was bij het verwerken van lange teksten, waarbij het zelfs zijn snelheid behield wanneer de invoer langer werd. Hoewel de kleinere modellen minder geheugen vereisten om op te slaan, bood het grote model de beste combinatie van snelheid en nauwkeurigheid voor zware taken. De onderzoekers merkten op dat hun metingen werden uitgevoerd in een specifieke testomgeving, dus de prestaties in de echte wereld kunnen enigszins variëren afhankelijk van de gebruikte hardware. Desalniettemin toont het werk een duidelijke weg vooruit aan: door slimme architecturale keuzes en zorgvuldige onderwijsmethoden te gebruiken, is het mogelijk om tekstbegripssystemen te creëren die zowel krachtig genoeg zijn om complexe taken aan te kunnen als efficiënt genoeg om snel te draaien op moderne computers.

Technische Samenvatting: Giga-Embeddings

Probleemstelling

Tekst-embeddingmodellen zijn cruciaal voor semantische zoekopdrachten, retrieval-augmented generation en clustering. Hoewel het schalen van backbone-modellen over het algemeen de kwaliteit van de representatie verbetert, worden miljarden-parameter encoders geconfronteerd met aanzienlijke uitdagingen op het gebied van opslag- en serveerkosten. Bestaande benaderingen vertrouwen vaak op kennisdistillatie om kleinere modellen te creëren, maar deze methoden vereisen vaak dat de verborgen dimensies of architecturen tussen de leraar (teacher) en de leerling (student) overeenkomen. Bovendien is de toepassing van Mixture-of-Experts (MoE) modellen — die een hoge capaciteit bieden met ijle (sparse) activatie — voor bidirectionele tekst-embedding encoders voor high-throughput inferentie nog onvoldoende onderzocht.

Methodologie

De auteurs introduceren Giga-Embeddings, een familie van tekst-embeddingmodellen bestaande uit drie verschillende checkpoints: een dichte (dense) 480M model, een dichte 3B model, en een ijle (sparse) 10B MoE model.

Modelarchitecturen

Base Adaptatie: Alle modellen passen decoder-only taalmodellen (specifiek de Qwen3 en DeepSeekMoE families) aan tot bidirectionele encoders door causale aandacht-masks te vervangen door volledig zichtbare bidirectionele masks. Mean pooling aggregeert token-toestanden naar vectoren met een vaste dimensie.
Giga-Embeddings-10B-A1.8B: Een ijle (sparse) MoE-encoder met 10 miljard totale parameters. Het maakt gebruik van 64 gerouteerde experts, één gedeelde expert, en top-4 routing, waarbij ongeveer 1,8 miljard parameters per token worden geactiveerd. Het produceert 1536-dimensionale embeddings.
Giga-Embeddings-3B: Een dichte bidirectionele Qwen3 encoder met 3 miljard parameters en 2048-dimensionale outputs.
Giga-Embeddings-480M: Een dichte bidirectionele Qwen3 encoder met 480 miljoen parameters en 1024-dimensionale outputs.

Trainingspipeline

De modellen ondergaan een driefasig contrastief trainingsproces:

Contrastieve Pre-training: Gebruikt in-batch InfoNCE loss met query-query en document-document contrastieve termen.
Retrieval Fine-tuning: Wordt getraind met hard negatives die zijn gewonnen uit een vooraf gedefinieerd retrieval-rank bereik.
Multitask Fine-tuning: Optimaliseert voor retrieval, classificatie, clustering en semantische gelijkenis-taken.

Similarity-Distribution Distillation:
Een belangrijke methodologische bijdrage wordt exclusief toegepast op het 480M student model tijdens de fine-tuning en multitask fasen. In tegenstelling tot traditionele distillatie die embedding-vectoren uitlijnt (wat gelijke dimensies vereist), stemt deze methode de gelijkenis-distributies (similarity distributions) over kandidaat-sets uit.

De leraar (dense 3B of 10B MoE) en de leerling genereren cosinus-gelijkenissen voor een set kandidaten.
Een KL-divergentie loss ( $L_{KD}$ ) wordt berekend tussen de waarschijnlijkheidsverdelingen van deze gelijkenissen van de leraar en de leerling.
De totale loss combineert deze distillatie-term met de standaard InfoNCE contrastieve loss ( $L_{NCE}$ ): $L = \lambda L_{KD} + (1-\lambda)L_{NCE}$ .
Deze aanpak is architectuur-agnostisch en dimensie-agnostisch, waardoor een dichte student kan leren van een ijle of anders geformatteerde leraar zonder interne toestanden te projecteren.

Belangrijkste Resultaten

Prestaties op MTEB Benchmarks

Geëvalueerd over Engelse, Russische, Meertalige en Code suites (MTEB en MMTEB):

10B-A1.8B: Behaalt de hoogste geaggregeerde scores binnen de familie over alle vier de suites. Het leidt externe vergelijkingen op de Russische MTEB benchmark.
3B Model: Dient als de dichte baseline en presteert beter dan het 480M model met marges variërend van 2,41 tot 6,92 punten, afhankelijk van de suite.
480M Gedistilleerd Model: Scoort 70,98 op de Russische MTEB, waarmee het de 823M FRIDA model (70,95) verslaat terwijl het 42% minder parameters gebruikt. Het blijft binnen 2,41–6,92 punten van het 3B model.

Throughput en Efficiëntie

MoE Throughput: Het 10B-A1.8B model bereikt de hoogste gemeten throughput onder de vergeleken systemen. Bij een inputlengte van 1024 tokens is de throughput van dit model 25% hoger dan die van het dichte 3B model en 1,56–2,65× die van de geëvalueerde externe systemen (bijv. Qwen3-Embedding 4B, F2LLM-v2-8B).
Opslag: Het 480M model vereist ongeveer 0,96 GB aan gewichtsopslag (fp16), wat ongeveer 4,8% is van de opslag die vereist is door het 10B MoE model.

Ablatie-studies

Ablatie-onderzoek naar distillatie op het 480M model laat zien dat similarity-distribution distillation consistente winsten oplevert van 0,09 tot 0,22 punten over de Engelse, Russische en Code suites vergeleken met een niet-gedistilleerde versie van dezelfde architectuur.

Betekenis en Claims

Het artikel claimt het eerste algemene tekst-embedding encoder te presenteren die gebouwd is rond een ijle (sparse) Mixture-of-Experts architectuur. De primaire betekenis ligt in het aantonen dat:

MoE voor Embeddings: Encoder MoE-modellen de inference throughput aanzienlijk kunnen verbeteren zonder de kwaliteit van de embeddings op te offeren, wat een levensvatbaar pad biedt voor high-capacity, high-throughput retrieval systemen.
Dimensie-Agnostische Distillatie: De voorgestelde similarity-distribution distillation methode draagt effectief kennis over van grote leraren naar compacte leerlingen zonder dat architecturale of dimensionale uitlijning vereist is, wat efficiënte compressie mogelijk maakt.
Open Source: De auteurs stellen alle drie de modelcheckpoints (480M, 3B, en 10B-A1.8B) beschikbaar om verder onderzoek en implementatie te faciliteren.

De auteurs vermelden beperkingen, waaronder het feit dat benchmarkresultaten enkelvoudige runs vertegenwoordigen zonder onzekerheidsschattingen, throughput-metingen specifiek zijn voor een enkele serving-omgeving (vLLM), en de trainingsmix niet-publieke data bevat, wat volledige reproduceerbaarheid beperkt.