💻 computer science

ReLoop-UME: Recurrent Depth with Learnable Retrieval Registers for Universal Multimodal Embedding

Loopt de architectuur van de universele multimodale embedding van de Loo-UME in door een innovatieve architectuur te introduceren die de retrieval-prestaties en -efficiëntie verbetert door de vroege lagen eenmalig uit te voeren, een parametervrije, gedeelde blok herhaaldelijk te hergebruiken met leerbare retrieval-registers om bewijs over de diepte te accumuleren, en de uiteindelijke mappingslagen pas na de laatste lus toe te passen, waardoor een superieure snelheid en nauwkeurigheid wordt bereikt vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

Gepubliceerd 2026-08-03

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shijie Wang, Xiangzhao Hao, Yueti Li, Guangyu Cao, Xinyu Tang, Haiyun Guo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke naald te vinden in een enorme, chaotische hooiberg. Maar dit is niet zomaar een hooiberg; het is een "multimodale" hooiberg, wat betekent dat het hooi bestaat uit tekst, de naalden afbeeldingen zijn en soms zelfs een video is. In de wereld van kunstmatige intelligentie wordt dit Universal Multimodal Embedding (UME) genoemd. Denk aan het als een superintelligente bibliothecaris die een vraag geschreven in woorden, een foto van een kat of een fragment uit een film kan nemen, en deze direct kan vertalen naar één enkele, geheime "taal van gelijkenis". Zodra al deze zaken naar deze geheime code zijn vertaald, kan de bibliothecaris je direct vertellen welke items aan elkaar gerelateerd zijn, zelfs als ze er aan de oppervlakte volkomen verschillend uitzien.

Lange tijd werkten deze AI-bibliothecarissen als sprinters: ze bekeken de input één keer, renden één rondje door hun brein en spuugden het antwoord uit. Dit was snel, maar het antwoord was soms niet erg nauwkeurig, vooral bij lastige vragen. Onlangs probeerden sommige onderzoekers de bibliothecarissen "harder te laten nadenken" door hen te dwingen een lange, stapsgewijze redenering op te schrijven voordat ze het antwoord gaven. Hoewel dit hielp, was het alsof je de bibliothecaris vroeg om een hele roman te schrijven om slechts één boek te vinden; het duurde veel te lang en vertraagde alles. De grote vraag werd: is er een manier om de bibliothecaris dieper te laten nadenken zonder dat hij een roman hoeft te schrijven?

Maak kennis met ReLoop-UME, een nieuwe aanpak die suggereert dat het antwoord niet ligt in méér schrijven, maar in het opnieuw lezen van de juiste delen. De onderzoekers ontdekten dat het brein van een AI niet werkt in een rechte lijn waarbij elke laag hetzelfde doet. In plaats daarvan ontdekten ze dat de vroege lagen fungeren als een "contextzetter" (het gevoel oppikken), de middelste lagen zijn het "detectivewerk" (clues vinden) en de laatste lagen zijn slechts "verpakking" (het definitieve label plakken).

Het artikel stelt een slimme truc voor: in plaats van de AI een lange redenering te laten schrijven (wat traag en rommelig is), laten ze de AI meerdere keren door het "detectivewerk"-gedeelte van zijn brein loopen. Om ervoor te zorgen dat de AI niet vergeet wat hij tijdens de eerste loop heeft gevonden, voegden ze een speciaal hulpmiddel toe genaamd Learnable Retrieval Registers. Stel je deze voor als briefjes met plaknotities die de AI op zijn eigen voorhoofd kan plakken. Terwijl de AI door het detectivegedeelte loopt, werkt hij deze briefjes bij met nieuwe aanwijzingen, waardoor hij bewijs verzamelt zonder ooit nieuwe woorden te genereren of het proces te vertragen.

De resultaten zijn indrukwekkend. Op een enorme test genaamd MMEB-V2, die duizenden taken bevat met betrekking tot afbeeldingen, video's en documenten, vond deze nieuwe methode consequent betere overeenkomsten dan eerdere modellen. Het was 44,9 keer sneller dan de vorige "redeneer"-modellen die probeerden hun gedachten op te schrijven, en 1,5 keer sneller dan een ander snel model, terwijl het tegelijkertijd nauwkeuriger was. De onderzoekers suggereren dat door de extra rekenkracht precies daar in te zetten waar het "detectivewerk" plaatsvindt en door die briefjes te gebruiken om de aanwijzingen vast te houden, ze een systeem hebben gecreëerd dat zowel slimmer als aanzienlijk sneller is. Het is alsof je een detective een vergrootglas en een notitieblok geeft, in plaats van hem te dwingen een dagboekverslag te schrijven voordat hij de verdachte kan aanwijzen.

Technische Samenvatting: ReLoop-UME

Probleemstelling

Universal Multimodal Embedding (UME) beoogt heterogene inputs (tekst, afbeeldingen, video's, visuele documenten) te mappen naar een gedeelde embedding-ruimte voor retrieval. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën:

Single Forward Encoding: Modellen zoals VLM2Vec en GME produceren embeddings in één enkele pass. Hoewel efficiënt, kan hun vaste berekening onvoldoende zijn voor complexe query-intenties en fijnmazige cross-modale matching.
Token-Expanded Reasoning: Recente methoden (bijv. UME-R1, TRACE, PLUME) introduceren extra berekening via expliciete redeneertokens (Chain-of-Thought) of latente autoregressieve staten. Hoewel deze de retrieval-nauwkeurigheid verbeteren, kampen ze met aanzienlijke nadelen:
- Latentie: Seriële generatie verhoogt de inferentietijd.
- Afhankelijkheid: De uiteindelijke embedding is afhankelijk van gegenereerde intermediaire staten, wat fouten of hallucinaties kan introduceren.
- Resourcegroei: Deze methoden breiden de lengte van de token-sequentie uit, wat de geheugen- en rekenoverhead verhoogt.

De centrale vraag die de auteurs stellen is: Kan nuttige berekening worden uitgebreid langs de modeldiepte terwijl de token-workspace vast blijft?

Methodologie: ReLoop-UME

De auteurs stellen ReLoop-UME voor, een framework dat extra berekening toewijst aan specifieke lagen van de modeldiepte in plaats van de token-sequentie uit te breiden. De methode is gebouwd op drie kerncomponenten:

1. Laag-specifieke analyse van retrieval-vorming

Door een analyse van onafhankelijk getrainde single-forward UME-modellen observeren de auteurs een niet-uniform verloop van de retrieval-discriminabiliteit over de lagen heen:

Prefix Understanding Stage (Vroege lagen): Contextualiseert multimodale inputs; positieve en negatieve gelijkenissen blijven verstrengeld.
Retrieval Formation Stage (Midden- tot late lagen): Een aaneengesloten interval waar de scheiding tussen positieve en negatieve query–candidate gelijkenissen het meest significant toeneemt. Dit is waar retrieval-discriminatieve kenmerken worden gevormd.
Embedding Mapping Stage (Finale lagen): Mapt de gevormde kenmerken naar de uiteindelijke output embedding-ruimte.

Deze analyse identificeert de Retrieval Formation Stage als het optimale doelwit voor extra diepte.

2. Gelokaliseerde Recurrente Verfijning

In plaats van nieuwe tokens te genereren, voert ReLoop-UME het model uit in drie fasen:

Prefix: De input passeert eenmaal de vroege "Understanding"-lagen.
Recurrent Block: De input wordt vervolgens verwerkt door een parameter-gedeelde blok dat overeenkomt met de "Retrieval Formation"-lagen. Dit blok wordt $T$ keer toegepast (recurrente diepte).
Suffix: Na de laatste loop passeren de verfijnde hidden states de "Mapping"-lagen om de uiteindelijke embedding te produceren.

Deze aanpak concentreert extra berekening specifiek op de lagen die verantwoordelijk zijn voor het vaststellen van de query–candidate discriminatie, zonder de backbone-parameters te dupliceren of de token-sequentie uit te breiden.

3. Leerbare Retrieval Registers

Om de staat te beheren over recurrente loops zonder de token-sequentie uit te breiden, introduceren de auteurs Learnable Retrieval Registers.

Een kleine set leerbare staten ( $M$ registers) wordt aan de multimodale token-sequentie toegevoegd.
Deze registers blijven bestaan tijdens elke loop, letten op de volledige input en wisselen bewijs uit onderling.
Ze dienen als een fixed-size workspace voor het accumuleren en consolideren van retrieval-bewijs over de loops heen.
Het finale register fungeert als de stabiele readout voor de embedding.
In tegenstelling tot reasoning tokens worden deze registers niet stap-voor-stap gegenereerd; ze zijn vast in omvang en groeien niet mee met de recurrente diepte.

Belangrijkste Bijdragen

Stage-wise Account van Retrieval-vorming: Het paper biedt een laag-specifieke analyse die onthult dat retrieval-geometrie niet-uniform wordt gevormd, waarbij een specifiek "Retrieval Formation" interval wordt geïdentificeerd als het doelwit voor diepte-expansie.
Gelokaliseerde Recurrente Verfijning: ReLoop-UME koppelt gelokaliseerde recursie aan persistente retrieval-staten. Het past herhaaldelijk een parameter-gedeeld retrieval-vormend blok toe, terwijl het Learnable Retrieval Registers gebruikt om een fixed-size workspace te behouden voor cross-loop bewijsaccumulatie.
Efficiëntie-Nauwkeurigheid Tradeoff: De methode bereikt een sterkere retrieval-prestatie met aanzienlijk lagere latentie vergeleken met token-expanded reasoning methoden, waarbij de bottleneck van seriële generatie wordt vermeden.

Experimentele Resultaten

De auteurs hebben ReLoop-UME geëvalueerd op de MMEB-V2 benchmark (78 taken over afbeelding, video en visuele documenten) en een zero-shot transfer uitgevoerd naar MRMR.

Prestaties:
- Op MMEB-V2 behaalde het 2B-model een All score van 63.2, waarmee het sterke baselines zoals PLUME (61.6) en UME-R1 (60.1) verslaat.
- Het 7B-model bereikte 65.9, waarmee het UME-R1 (64.5) overtreft.
- De winst was het meest uitgesproken in de taken voor Afbeeldingen en Visuele Documenten; de prestaties voor Video waren gemengd, waarschijnlijk door de vaste frame-samplingstrategie.
- Zero-shot transfer naar MRMR liet competitieve resultaten zien, met name in Knowledge retrieval (71.6 vs. 67.4 voor Ops-MM-Embedding).
Efficiëntie:
- ReLoop-UME is 44.9× sneller dan UME-R1 en 1.5× sneller dan PLUME.
- Vergeleken met de single-forward baseline VLM2Vec-V2, introduceert ReLoop-UME slechts een 1.3× latentie-overhead terwijl het de All score met 5.2 punten verbetert.
Ablatie-studies:
- Stage Localization: Recursie toegepast op enkel het geïdentificeerde formatie-interval (lagen 17–26 voor Qwen2-VL-2B) leverde de beste resultaten op. Volledige stack-recursie of recursie alleen in de laatste laag presteerde slechter.
- Registers: Het verwijderen van de registers verlaagde de prestaties, wat hun rol bij het behoud van bewijs bevestigt. Het verhogen van het aantal registers boven de 5 leverde een afnemend rendement op.
- Diepte: De prestaties verzadigden bij een matige recurrente diepte ( $T=4$ ); het verhogen naar $T=8$ leidde tot een lichte degradatie.

Betekenis en Claims

Het paper claimt dat ReLoop-UME een efficiëntere route biedt naar universele multimodale embeddings door het paradigma te verschuiven van token expansie naar diepte expansie.

Mechanisme: Door recursie te lokaliseren naar de specifieke lagen waar retrieval-discriminatie wordt gevormd, versterkt het model de query–candidate scheiding zonder de latentie en geheugen kosten van autoregressieve token-generatie.
State Management: De Learnable Retrieval Registers bieden een mechanisme om bewijs over loops heen te accumuleren zonder de sequentielengte te vergroten of expliciete redeneertrajecten te vereisen.
Generalisatie: De aanpak blijkt effectief te zijn over verschillende model-backbones (Qwen2-VL, Qwen3-VL, Qwen3.5) en schalen, wat suggereert dat het "lokalisatie en looping" principe robuust is tegen architecturale variaties.

De auteurs concluderen dat hoewel de methode aanzienlijk de accuratesse-efficiëntie grens verbetert, er beperkingen blijven in scenario's die een dichte temporele bewijsvoering vereisen (bijv. specifieke video-acties die niet door gesamplede frames worden gevangen) of fijnmazige lokale details in visuele documenten, waarbij de globale recurrente verfijning specifieke modifiers kan verdunnen.