💬 NLP

UEmbed: Unified Sparse and Dense Multimodal Embeddings

UEmbed introduceert een verenigde decoder-only multimodale embedding-model die zowel ijle lexicale als dichte representaties genereert in een enkele causale forward pass, waarmee het state-of-the-art prestaties bereikt op multimodale benchmarks terwijl het efficiënte agentische toepassingen mogelijk maakt.

Oorspronkelijke auteurs: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Gepubliceerd 2026-08-04

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tingyu Song, Mingxin Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie, Zhijie Nie, Yilun Zhao, Shu Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een specifiek boek probeert te vinden in een enorme, chaotische bibliotheek. Lange tijd gebruikten bibliothecarissen een simpele truc: ze zochten naar exacte woorden. Als je om "kat" vroeg, vonden ze alleen boeken waarin het woord "kat" voorkwam. Dit is snel en makkelijk, maar het is een beetje dom; het mist boeken over "feline" of "kittens" die het woord "kat" nooit hebben gebruikt. Om dit op te lossen, hebben wetenschappers "slimme" zoekmachines uitgevonden die betekenis begrijpen. Deze engines veranderen je vraag en de boeken in lange lijsten met getallen (genaamd "dense vectors"). Het is alsof je elk boek een unieke vingerafdruk geeft op basis van zijn vibe en verhaal. Dit is geweldig voor begrip, maar het is zwaar, traag en soms moeilijk uit te leggen waarom een boek is gekozen.

Stel je nu een nieuw soort bibliothecaris voor die beide taken tegelijk kan uitvoeren. Deze kan je zowel de "vibe-vingerafdruk" als een lijst met de belangrijkste trefwoorden geven, en dat in één enkele, razendsnelle blik. Dit is de wereld van informatie retrieval, de wetenschap van het vinden van naalden in digitale hooibergen. De grote vraag die onderzoekers hebben gesteld is: Kunnen we één enkel, superintelligent brein bouwen dat zowel de "exacte woord"-zoekopdracht als de "betekenis-gebaseerde" zoekopdracht afhandelt zonder twee verschillende, logge systemen nodig te hebben? En kan dit brein niet alleen tekst begrijpen, maar ook afbeeldingen, video's en documenten tegelijkertijd? Hier begint het verhaal van een nieuwe uitvinding genaamd UEmbed.

De One-Brain Solution: UEmbed

Maak kennis met UEmbed (Unified Embedding), een nieuw soort computerbrein ontworpen door onderzoekers van Alibaba, de Chinese Academy of Sciences en Yale. Denk aan UEmbed als een multitaskende superheld die weigert te kiezen tussen een "woordwizzard" en een "betekenismeester". In het verleden, als je een zoekmachine wilde die diepe betekenissen begreep, moest je een zwaar, traag systeem gebruiken. Als je een zoekmachine wilde die snel was en trefwoorden gebruikte, moest je een simpeler, dommer systeem gebruiken. Meestal kon je niet beide in hetzelfde pakket hebben, vooral bij het werken met afbeeldingen en video's.

UEmbed verandert het spel door een "decoder-only" architectuur te gebruiken. Om een eenvoudige analogie te gebruiken: stel je voor dat een standaard zoekmachine als een persoon is die een boek van begin tot eind leest en terugkijkt om het hele verhaal te begrijpen (dit wordt "bidirectioneel" genoemd). UEmbed daarentegen is als een verhalenverteller die het hele verhaal beluistert en dan, aan het einde, direct op twee manieren samenvat: eerst door je een "vibe score" te geven (het dense deel), en tweede door de top 10 tot 20 belangrijkste woorden te roepen die in hem opkwamen (het sparse deel). Het doet dit allemaal in één enkele passage, als het omdraaien van een schakelaar.

Hoe het werkt: De magie van speciale tokens

Dus, hoe beheert dit brein het om trefwoorden te roepen terwijl het ook het hele verhaal begrijpt? Het geheime ingrediënt is een slimme truc met behulp van "speciale tokens".

Stel je voor dat je een verhaal schrijft, en dat je aan het einde een paar onzichtbare, magische briefjes plakt. In het geval van UEmbed plakken de onderzoekers 16 van deze speciale briefjes (genaamd tokens) aan het einde van de input. Voordat de computer begint te lezen, verdeelt hij de gehele woordenlijst (de vocabulaire) in 16 verschillende groepen, zoals het sorteren van een enorme doos LEGO-steentjes in 16 verschillende gekleurde bakken.

Terwijl de computer je afbeelding, video of tekst leest, verwerkt het het verhaal. Wanneer het bij die 16 magische briefjes aan het einde komt, krijgt elk briefje een specifieke taak: "Jij bent verantwoordelijk voor de rode bak met woorden," "Jij handelt de blauwe bak af," enzovoort. Elk briefje kijkt naar het hele verhaal dat het net heeft gehoord en besluit: "Op basis van wat ik heb gehoord, zijn dit de belangrijkste woorden uit mijn kleur bak."

Tegen de tijd dat de computer klaar is, heeft het 16 kleine lijsten met belangrijke woorden. Het voegt ze allemaal samen om een enorme, supergedetailleerde lijst met trefwoorden te creëren (de sparse vector). Tegelijkertijd neemt het de "vibe" van het hele verhaal om de dense vingerafdruk te maken. Dit slimme partitioneren lost een groot probleem op: meestal kan een computerbrein slechts één "samenvattings-token" gebruiken om een heel verhaal te beschrijven, wat niet genoeg is om alle trefwoorden vast te houden. Door 16 verschillende tokens te gebruiken, verdeelt UEmbed de werkzaamheden, waardoor het tegelijkertijd rijk is aan trefwoorden én rijk aan betekenis.

Wat de cijfers zeggen

De onderzoekers hebben UEmbed getest op enkele van de zwaarste uitdagingen in de wereld van zoeken. Ze keken niet alleen naar tekst; ze wierpen afbeeldingen, video's en complexe documenten op het model.

De Grote Score: Op een enorme benchmark genaamd MMEB-v2, die test hoe goed modellen verschillende soorten media begrijpen, scoorde de grootste versie van UEmbed (het 9B model, dat 9 miljard parameters heeft) een 71,8 voor zijn "vibe" zoekopdracht en een 71,0 voor zijn "trefwoord" zoekopdracht.
De Vergelijking: Dit is een grote zaak. Normaal gesproken loopt trefwoord-gebaseerd zoeken achter op "vibe" zoeken. Hier is de trefwoord-modus van UEmbed bijna even goed als de vibe-modus, en het verslaat bijna elk ander model dat is getraind op publieke data. Het presteerde bijvoorbeeld beter dan een 7-miljard parameter model genaamd RzenEmbed-V2-7B (dat een score van 71,1 behaalde) en een 2-miljard parameter model genaamd Embed-RL-4B (dat 68,1 behaalde).
De Efficiëntie: Omdat UEmbed is gebouwd als een "decoder-only" model (hetzelfde type als populaire chatbots), werkt het goed samen met snelle servers. Het kan deze dubbele resultaten ongelooflijk snel genereren, wat het praktisch maakt voor echt gebruik.

Waarom dit ertoe doet: Het "Agent" Voordeel

Het artikel suggereert dat deze duale aanpak niet alleen een leuke truc is; het is een praktische noodzaak voor de toekomst van AI-"agents"—slimme programma's die het web browsen en taken voor je uitvoeren.

Wanneer een AI-agent probeert een probleem op te lossen, stelt het vaak korte, trefwoord-rijke vragen zoals "beste pizza bij mij in de buurt" of "hoe repareer ik een lek". Dense "vibe" zoekopdrachten missen dit soms omdat ze zoeken naar diepe betekenis, terwijl trefwoord-zoeken snel maar dom is. UEmbed biedt het beste van beide werelden. In tests op een benchmark genaamd BrowseComp-Plus vonden de onderzoekers dat het gebruik van de trefwoord-modus van UEmbed de AI-agent hielp om de juiste informatie te vinden met minder zoekpogingen, wat tijd en rekenkracht bespaart.

De Limieten en de Toekomst

De auteurs wijzen er voorzichtig op dat UEmbed nog niet perfect is. Ze merkten op dat het model soms een beetje in de war raakt met talen die niet Engels of Chinees zijn, waarschijnlijk omdat het voornamelijk op die twee talen is getraind. Ze zagen ook dat de "magische briefjes" soms vreemde, niet-standaard woorden kunnen roepen (zoals "_alt" of "_perm"), wat artefacten zijn van de interne woordenlijst van de computer.

Echter, de kern van het idee is solide: UEmbed bewijst dat je niet hoeft te kiezen tussen snelheid en slimheid, of tussen woorden en betekenis. Door deze twee werelden te verenigen in een enkel, decoder-only model, opent het de deur naar zoekmachines die sneller, slimmer en in staat zijn om de hele digitale wereld te begrijpen—van een enkele zin tot een volledige video—in één keer. Het is een nieuw paradigma waarbij de zoekmachine niet alleen naar woorden zoekt of alleen de vibe voelt; het doet beide, onmiddellijk.

Technische Samenvatting: UEmbed

Probleemstelling

Moderne systemen voor informatieverwerking vertrouwen steeds vaker op Learned Sparse Retrieval (LSR) om verder te gaan dan exacte lexicale overeenkomst en te streven naar een rijker semantisch begrip. De huidige LSR-methoden kampen echter met drie kritieke beperkingen:

Architecturale beperkingen: Huidige LSR-modellen zijn voornamelijk gebouwd op bidirectionele encoder-architecturen (bijv. BERT). Ze kunnen de causale aandachtmechanismen van decoder-only Large Language Models (LLMs) en Multimodale LLM's (MLLM's) niet inherent benutten zonder de backbone om te zetten naar bidirectioneel gedrag of complexe trainingscurricula te adopteren, wat de kosten verhoogt en de compatibiliteit met geoptimaliseerde serving-frameworks zoals vLLM doorbreekt.
Beperkte modaliteit: De meeste LSR-benaderingen zijn tekstgericht. Multimodale uitbreidingen vertrouwen doorgaans op hulpmodules voor cross-modale interactie in plaats van direct sparse representaties af te leiden uit een verenigde multimodale backbone, wat ze moeilijk uitbreidbaar maakt naar nieuwe modaliteiten.
Onverkende bruikbaarheid: De praktische voordelen van sparse retrieval (bijv. efficiëntie, interpreteerbaarheid, agentic search nut) blijven onderbelicht buiten de standaard nauwkeurigheidsbenchmarks.

Een specifieke technische uitdaging bij het aanpassen van sparse retrieval aan causale modellen is de informatie-bottleneck: het vertrouwen op een enkel token (bijv. EOS) om te projecteren naar een enorme vocabulaire-ruimte beperkt de representatiecapaciteit ernstig.

Methodologie: UEmbed

De auteurs stellen UEmbed (Unified Embedding) voor, een decoder-only multimodale embedding-model dat inherent zowel sparse lexicale als dense representaties produceert in een enkele causale forward pass.

Kernarchitectuur

UEmbed wijzigt een standaard decoder-only MLLM door $N$ leerbare speciale tokens ( $\langle s_1 \rangle, \dots, \langle s_N \rangle$ ) aan de inputsequentie toe te voegen.

Vocabulaire-partitionering: De vocabulaire $V$ wordt gepartitioneerd in $N$ disjuncte deelverzamelingen ( $V_1, \dots, V_N$ ) met behulp van k-means clustering. Dit stimuleert elk speciale token om te fungeren als een "soft topic specialist" voor een afzonderlijke semantische subspace.
Gepartitioneerde Sparse Heads: Elk speciale token $\langle s_k \rangle$ vat de voorafgaande input samen via causale aandacht en voorspelt sparse gewichten over de toegewezen vocabulaire-deelverzameling $V_k$ met behulp van een lineaire projectie:
$w^{(k)}_t = \log(1 + \text{ReLU}(W^{(k)\top}_t h_{s_k} + b^{(k)}_t))$
De uiteindelijke sparse vector is de concatenatie van alle subset-vectoren.
Dense Representatie: De dense embedding wordt afgeleid van de hidden state van het EOS-token dat direct voorafgaat aan de speciale tokens. Als alleen dense retrieval nodig is, kunnen de speciale tokens worden weggelaten zonder extra berekeningen te veroorzaken.

Trainingsstrategie

Data: Getraind op een mix van 3,94 miljoen publieke samples die tekst, afbeeldingen, video's en visueel rijke documenten beslaan (bronnen zijn onder meer Echo-embedding, MLDR en MMEB).
Hard Negative Mining: Voor multimodale data die geen negatieve voorbeelden bevat, wordt een teacher-model (Qwen3-VL-Embedding-8B) gebruikt om hard negatives te minen.
Verenigd Doel: Het model wordt getraind met een gecombineerde loss:
$L = L^{\text{dense}}_{\text{InfoNCE}} + \lambda L^{\text{sparse}}_{\text{InfoNCE}} + \alpha_q L^q_{\text{FLOPS}} + \alpha_d L^d_{\text{FLOPS}}$
De FLOPS-regularisaties stimuleren sparsity door de termgewicht van de gekwadrateerde gemiddelde waarde te bestraffen.

Belangrijkste Bijdragen

Verenigde Decoder-Only Retrieval: UEmbed is het eerste model dat zowel sparse als dense retrieval-representaties produceert vanuit een enkele decoder-only backbone, waardoor de noodzaak voor bidirectionele encoders of hulpmodulen voor cross-modale interactie vervalt.
State-of-the-Art Sparse Multimodale Retrieval: Naar weten van de auteurs is UEmbed het eerste sparse model dat is geëvalueerd op MMEB-v2, waarmee een nieuwe state-of-the-art wordt gevestigd in sparse multimodale retrieval.
Demonstratie van Praktische Bruikbaarheid: Het artikel toont aan dat de sparse modus van UEmbed de efficiëntie verbetert (natuurlijke compatibiliteit met inverted-index), effectiviteit (via hybride scoring) en nut in agentic search (het verminderen van tool-call kosten).

Experimentele Resultaten

UEmbed werd geëvalueerd op schalen van 2B, 4B en 9B parameters.

Multimodale Benchmarks (MMEB-v2):
- UEmbed-9B behaalt 71.8 (dense) en 71.0 (sparse), waarmee het alle modellen die op publieke data zijn getraind voorgaat.
- Het gat tussen dense en sparse prestaties is minimaal (binnen 1.0 punt over alle schalen), wat bewijst dat sparse embeddings een levensvatbaar alternatief zijn in het multimodale domein.
- UEmbed-4B (sparse, 69.7) presteert beter dan de dense Ops-MM-Embed-7B (67.1).
Tekst Benchmarks (BEIR):
- UEmbed-9B behaalt een gemiddelde nDCG@10 van 56.3 in dense modus en 55.2 in sparse modus.
- In sparse modus evenaart UEmbed-9B de prestaties van het specialistische model Echo-Mistral-SPLADE (55.2), terwijl het tegelijkertijd dense retrieval en multimodale inputs ondersteunt.
Agentic Search (BrowseComp-Plus):
- De sparse modus vereist consistent minder zoekrondes (tool calls) dan de dense tegenhanger, terwijl het een vergelijkbare of hogere recall behoudt, wat de kosteneffectiviteit voor iteratieve redenering valideert.

Betekenis en Claims

Het artikel positioneert UEmbed als een paradigmaverschuiving die dense en sparse embeddings verenigt binnen één enkel model, en daarmee sparse retrieval uitbreidt om tekst en multimodale inputs te verenigen.

Architecturale Efficiëntie: Door inherent onder causale aandacht te opereren, behoudt UEmbed compatibiliteit met high-throughput serving-stacks (bijv. vLLM) en standaard inverted-index search, wat voordelen biedt voor de implementatie ten opzichte van bidirectionele LSR-modellen.
Effectiviteit: Het model demonstreert dat sparse retrieval een prestatie gelijkwaardig aan dense retrieval kan bereiken in multimodale settings, wat de aanname uitdaagt dat dense vectoren strikt superieur zijn voor complexe modaliteiten.
Interpreteerbaarheid: De sparse modus biedt inherente interpreteerbaarheid door geactiveerde vocabulaire-termen zichtbaar te maken, wat helpt bij het auditen van bias en het begrijpen van modelbeslissingen.

De auteurs erkennen beperkingen, waaronder taalbias (voornamelijk Engels/Chinees), incidentele generatie van afwijkende tokens door grote vocabulaire-omvang, en een iets grotere prestatiekloof in video-retrieval vergeleken met statische documenten. Zij concluderen echter dat UEmbed er succesvol in is geslaagd om sparse retrieval te transformeren van een legacy standalone module naar een natuurlijk bijproduct van MLLM's.