💻 computer science

UniNote: A Unified Embedding Model for Multimodal Representation and Ranking

UniNote is een geïntegreerd embedding-model dat is ontworpen om industriële Item-to-Item-retrieval te optimaliseren door middel van een tweestaps trainingsparadigma van contrastief toezicht op fijne afstemming en versterkend leren om globale representatie in evenwicht te brengen met fijnkorrelige ranking, waarmee state-of-the-art prestaties en kostenefficiëntie worden bereikt bij grootschalige implementaties bij Xiaohongshu.

Oorspronkelijke auteurs: Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jinghan Zhao, Wenwei Jin, Anqi Li, Jintao Tong, Luya Mo, Jiawei Li, Bin Li, Yao Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, bruisende digitale bibliotheek runt (zoals de app Xiaohongshu) waar miljoenen mensen "notities" plaatsen. Elke notitie is een rommelig, kleurrijk pakket met een mix van foto's, video's, teksttitels, alinea's en zelfs tekst die verborgen zit in de afbeeldingen (zoals een bordje in een foto).

Het probleem waar de auteurs mee te maken kregen, is dat traditionele bibliotheeksystemen slecht zijn in het vinden van deze specifieke pakketten. Als je het systeem één foto uit een notitie laat zien, kan het misschien andere foto's vinden die erop lijken, maar het faalt erin om de hele notitie te vinden waartoe die foto behoort. Omgekeerd kan het systeem bij het zoeken naar een specifiek onderwerp de notitie missen omdat het niet begreep hoe de foto en de tekst als één eenheid samenwerken.

Hieronder wordt uitgelegd hoe UniNote dit oplost, via eenvoudige analogieën:

1. Het Probleem: De "Twee-Toren" versus de "Unifieerde Hersenen"

Oude systemen waren als het hebben van twee aparte bibliothecarissen: één die alleen "Afbeelding" spreekt en een ander die alleen "Tekst" spreekt. Ze staan in verschillende kamers (twee torens) en proberen te raden wat de ander denkt.

De Tekortkoming: Ze zijn te traag om in real-time met elkaar te communiceren, en ze missen vaak de fijne details. Als je vraagt om een notitie over "Starbucks", kan de Afbeeldingsbibliothecaris een foto van een koffiekopje vinden, maar de Tekstbibliothecaris mist de notitie omdat het woord "Starbucks" op een bordje in de foto was geschreven, niet in de bijschrift.

UniNote is als het inhuren van een super-bibliothecaris met een unifieerde hersenen. Deze bibliothecaris kan tegelijkertijd naar een foto kijken, de tekst in de foto lezen, de titel lezen en de hoofdtekst lezen, en ze begrijpen als één samenhangend verhaal.

2. De Training: Twee Fasen van Leren

De auteurs hebben deze bibliothecaris niet zomaar de bibliotheek in gegooid; ze hebben hem in twee distincte fases getraind.

Fase 1: De "Harde Oefening" (Contrastieve SFT)

Stel je voor dat de bibliothecaris in een trainingskamp zit om verschillen te leren herkennen.

De Oefening: De trainer laat de bibliothecaris een foto zien en vraagt: "Tot welke notitie behoort deze?"
De Truc: Om de bibliothecaris scherp te maken, laat de trainer niet alleen voor de hand liggende verkeerde antwoorden zien. Ze tonen "Harde Negatieven" – notities die er bijna goed uitzien, maar een klein, cruciaal verschil hebben (zoals een foto van een koffiekopje van een ander merk).
Het Resultaat: De bibliothecaris leert oppervlakkige gelijkenissen negeren en zich richten op de diepe, semantische betekenis. Hij leert een complexe notitie (afbeeldingen + tekst + verborgen tekst) comprimeren tot één compacte "identiteitskaart" (een embedding) die de hele essentie vastlegt.

Fase 2: De "Ranking Coach" (Versterkend Leren)

Zodra de bibliothecaris de juiste notities kan vinden, moet hij leren hoe hij ze moet rangschikken.

Het Scenario: De bibliothecaris vindt 10 notities die allemaal "relevant" zijn, maar sommige zijn perfect relevant en sommige zijn gewoon "oké".
Het Beloningssysteem: De auteurs gebruikten een methode genaamd GRPO (Group Relative Policy Optimization). Denk hierbij aan een coach die niet alleen zegt "Goed gedaan" of "Slecht gedaan". In plaats daarvan geeft de coach een score op basis van:
- Heb je de juiste gevonden? (Relevantiebeloning)
- Heb je de beste helemaal bovenaan gezet? (Positiebeloning)
- Heb je per ongeluk een rommelnotitie bovenaan gezet? (Boete)
Het Resultaat: De bibliothecaris leert niet alleen de naald in de hooiberg te vinden, maar de naalden zo te rangschikken dat de scherpste, meest relevante direct binnen handbereik zijn.

3. De "Matroesjka"-Pop Functie (MRL)

Een van de coolste functies is Matryoshka Representation Learning (MRL).

De Analogie: Stel je een Russische nestpop voor. De grootste pop is de volledige, gedetailleerde identiteitskaart (4096 dimensies). Maar binnenin die grote pop zit een iets kleinere (1024 dimensies), en daarin weer een tiny pop (64 dimensies).
Waarom het belangrijk is: Soms heeft de bibliotheek een groot budget en wil ze de meest gedetailleerde pop. Op andere momenten zitten ze krap bij kas of moeten ze miljoenen items direct doorzoeken, dus hebben ze alleen de tiny pop nodig.
De Magie: UniNote creëert één model dat al deze maten bevat. Je kunt de lagen "afpellen" om een kleinere, snellere versie te gebruiken zonder te veel nauwkeurigheid te verliezen. Het is als het hebben van één gereedschap dat een zware hamer kan zijn of een tiny precisieschroevendraaier, afhankelijk van de klus.

4. De Resultaten: Wat Is Er Eigenlijk Gebeurd?

Het artikel beweert dat toen ze dit systeem testten op real-world data van Xiaohongshu:

Betere Zoekresultaten: Het vond de juiste notities veel beter dan eerdere systemen, vooral bij het zoeken naar een hele notitie op basis van slechts één afbeelding of een stukje tekst dat in een afbeelding werd gevonden (OCR).
Sneller en Goedkoper: Omdat het de "Matroesjka"-aanpak gebruikt, kunnen ze geld besparen op computeropslag en verwerkingskracht terwijl ze de zoekkwaliteit hoog houden.
Één Model om Ze Allemaal te Regeeren: In plaats van één model te hebben voor zoeken en een ander voor rangschikking, doet UniNote beide in één doorgang. Het is als een bibliothecaris die het boek vindt en beslist in welke volgorde ze je worden aangereikt, allemaal in één adem.

Samenvatting

UniNote is een slim, unifieerd systeem dat een rommelige mix van foto's en tekst behandelt als één verhaal. Het traint zichzelf door lastige verschillen te spotten en leert om resultaten perfect te rangschikken. Het komt ook in verschillende "maten" om te passen bij verschillende budget- en snelheidbehoeften, waardoor het een zeer efficiënt hulpmiddel is voor enorme internetplatforms.

Technische Samenvatting: UniNote

Probleemstelling

Item-naar-Item (I2I) retrieval is een kritiek onderdeel van moderne contentplatforms zoals Xiaohongshu, waar door gebruikers gegenereerde "Notities" bestaan uit heterogene modaliteiten (tekst, afbeeldingen, video's en ingebedde OCR). Huidige retrieval-paradigma's staan voor drie fundamentele beperkingen bij het verwerken van deze complexe, multimodale items:

Structurele Disconnectie: Standaard dual-tower modellen (bijv. CLIP) coderen modaliteiten onafhankelijk om efficiëntie te waarborgen. Dit late-interactie mechanisme slaagt er niet in de fijnmazige uitlijning te vangen die vereist is tussen tekst- en visuele componenten binnen een samengestelde notitie, wat leidt tot verlies van lokale details.
Granulariteitsmismatch: Waar Multimodale Grootte Taalmodellen (MLLM's) uitblinken in globale redenering, worstelen ze vaak met de hiërarchische structuur die vereist is voor "lokaal-naar-globaal" retrieval (bijv. het ophalen van een volledige notitie op basis van een enkel afbeeldingsfragment). Ze zijn doorgaans geoptimaliseerd voor brede semantische beschrijvingen in plaats van precieze uitlijning van subcomponenten.
Inefficiëntie in Ranking: Industriële pipelines vertrouwen vaak op een losgekoppelde "retrieven-herordenen"-strategie. Dit houdt in dat zware generatieve modellen worden gebruikt voor herordening, wat rekenkundige knelpunten creëert. Bovendien optimaliseren modellen die zijn getraind op gebruikersinteractiedata (klikken/likes) vaak voor gebruikersinteresse in plaats van objectieve contentrelevantie, waardoor ze ongeschikt zijn voor strikte semantische retrievaltaken.

Methodologie

Om deze uitdagingen aan te pakken, stellen de auteurs UniNote voor, een unificerend embeddingmodel dat specifiek is ontworpen voor industriële I2I retrieval. Het raamwerk verenigt representatieleren en relevantieranking binnen één modelarchitectuur via een novel twee-fasen trainingsparadigma.

1. Taakdefinitie en Dataconstructie

De auteurs definiëren een uitgebreide I2I-taakset die tien distincte retrievalcategorieën omvat, waaronder:

Atomaire Uitlijning: Cross-modale zoekopdracht (afbeelding $\leftrightarrow$ tekst).
Subordinatie Retrieval: Lokaal-naar-globaal retrieval (bijv. afbeelding $\to$ volledige notitie).
Semantische Extractie: Globaal-naar-lokaal retrieval (bijv. notitie $\to$ specifieke afbeelding).
OCR-perceptie: Tekst-in-afbeelding zoekopdracht en OCR-naar-notitie retrieval.
Contentrelevantie: Notitie-naar-notitie ranking.

Om deze taken te ondersteunen, wordt een hoogwaardige dataset geconstrueerd met behulp van echte Xiaohongshu-notities. Een Multi-granulariteit Hard Negative Mining-strategie wordt ingezet om het discriminerend vermogen te versterken. Dit omvat:

Modale Vervanging: Het vervangen van afbeeldingen door hun tekstuele beschrijvingen om te voorkomen dat het model vertrouwt op laag-niveau pixelkoppelingen.
Counterfactuele Hard Negatives: Het construeren van negatieve paren die maximale contentoverlap behouden met de positieve context, maar strikt geldige lidmaatschapsrelaties uitsluiten (bijv. het gebruik van een notitie minus één specifieke afbeelding als negatief voor die afbeelding).
Zachte Supervisie: Het gebruik van similariteitsscores van een referentie-encoder om zachte labels te bieden voor distributie-uitlijning.

2. Twee-fasen Trainingsparadigma

Fase 1: Contrastief Supervised Fine-Tuning (SFT)
Het doel is om een generatief MLLM om te vormen tot een robuust embeddingmodel.

Architectuur: Het model gebruikt de "laatste-token" verborgen toestand als de uiteindelijke representatie, waarbij heterogene inputs worden gecomprimeerd tot een uniforme vectorruimte.
Optimalisatie: Het model minimaliseert de Jensen-Shannon (JS) divergentie tussen de op embedding gebaseerde distributie en de door het MLLM afgeleide soft-label distributie.
MRL-integratie: Matryoshka Representation Learning (MRL) is geïntegreerd om geneste dimensies te ondersteunen (64, 512, 1024, 4096), wat flexibele implementatie mogelijk maakt op basis van kosten-efficiëntie trade-offs.

Fase 2: Relatieve Herordening via Reinforcement Learning (RL)
Deze fase overbrugt de kloof tussen retrieval (embedding) en ranking (relevantie) zonder een aparte herordener.

Raamwerk: Het model wordt getraind met Group Relative Policy Optimization (GRPO).
Dataconstructie: Voor een gegeven notitie worden visuele en tekstuele componenten gepartitioneerd om een kandidaatsequentie te creëren met incrementeel afnemende contentoverlap, gemengd met ruissequenties.
Beloningsfunctie: Een multidimensionale beloningsfunctie is ontworpen om lijstwijze relevantie te optimaliseren, bestaande uit:
- Irrelevante Notitie Boete: Straft ruisnotities die boven relevante notities worden gerangschikt.
- Basis Relevantie Beloning: Beloont het terugvinden (recall) van relevante steekproeven.
- Absolute Positie Beloning: Minimaliseert de afstand tussen voorspelde en ground-truth posities.
- Relatieve Orde Beloning: Waarborgt globale consistentie in de ordening van relevante notities.
Resultaat: Het model leert subtiele contentnuances te onderscheiden en relevantiebewuste rankings te produceren in één doorgang, waardoor de noodzaak voor rekenkundig dure generatieve herordenaars wordt geëlimineerd.

Belangrijkste Bijdragen

Uitgebreide I2I-taakset: De definitie van tien distincte retrievalcategorieën die cross-modale uitlijning, informatiedrukking en fijnmazige lokaal-globale bidirectionele retrieval omvatten, ondersteund door een robuust hard-negative mining dataset.
Unificerend Retrieval-Ranking Raamwerk: Het voorstellen van UniNote, dat embedding en relevantieranking integreert in één model via een twee-fasen trainingsparadigma (Contrastief SFT gevolgd door Relevantie-bewust RL).
SOTA Prestaties: Uitgebreide evaluaties die state-of-the-art resultaten aantonen over alle tien I2I-taken, met ablatiestudies die de synergie tussen de twee trainingsfasen bevestigen.
Industriële Implementatievalidatie: Succesvolle integratie van MRL voor flexibele dimensiekeuze en validatie van de prestaties van het model in grote schaal online en offline productieomgevingen bij Xiaohongshu.

Experimentele Resultaten

Benchmark Vergelijking: UniNote werd geëvalueerd tegen SOTA baselines (RzenEmbedding en Qwen3VL-Embedding-8B) op een dataset van 66k notities en 500k+ items.
- UniNote behaalde de beste prestaties in Subordinatie Retrieval (bijv. I2Note: 93,7% R@1 versus 41,2% voor baselines) en Semantische Extractie, taken waarbij baselines worstelden vanwege hun onvermogen om global-lokaal relaties te modelleren.
- Bij OCR-perceptie presteerde UniNote aanzienlijk beter dan baselines in OCR-naar-Notitie en OCR-naar-Afbeelding taken, hoewel het iets lagere prestaties liet zien in Afbeelding-naar-OCR vergeleken met sommige baselines.
- Voor Notitie-naar-Notitie relevantie behaalde UniNote vergelijkbare of licht verbeterde recall (R@10: 99,5%) met aanzienlijk hogere precisie (P@5: 96,0% versus 92,6% voor SFT-only).
Ablatie Studies:
- Het verwijderen van hard negative mining (random sampling) resulteerde in een significante prestatiedaling, wat de noodzaak bevestigt van global hard negative mining en zachte supervisie.
- Het uitsluiten van regelgebaseerde heuristieken en counterfactuele negatives verminderde het vermogen van het model om subtiele semantische verschillen te onderscheiden.
- Het verwijderen van de RL-fase verminderde Recall@5 en Precision@5 voor de Notitie-naar-Notitie-taak met respectievelijk 1,4% en 3,4%.
MRL Prestaties: Bij 512 dimensies benaderde de prestatie full-dimensional features. Zelfs bij 64 dimensies behield het model ongeveer 70% van zijn capaciteit in sleuteltaken, wat effectieve trade-offs tussen opslag en nauwkeurigheid aantoont.
Online Implementatie: In online A/B-tests behaalde UniNote hoge recall-retentie (85,6%–93,6%) over Notitie-naar-Afbeelding/Video/Tekst taken met gebruik van één embeddingextractie, wat 9,2 $\times$ minder opslag en rekenkracht vereiste dan de baseline CLIP-gebaseerde aanpak. In offline grote-galerij retrieval liet UniNote een winst van 23,5% zien in relevante steekproefrecall ten opzichte van de baseline.

Betekenis

Het artikel beweert dat UniNote een efficiënte, praktische oplossing biedt voor industriële schaal heterogene item retrieval. Door representatie en ranking te verenigen, adresseert het de systemische inefficiëntie van ontkoppelde pipelines en de granulariteitsmismatch in bestaande MLLM-embeddings. Het werk demonstreert dat reinforcement learning embeddingruimten effectief kan uitlijnen met contentrelevantie, waardoor hoge precisie ranking in één doorgang mogelijk wordt. De succesvolle implementatie bij Xiaohongshu valideert het vermogen van het model om retrievalkwaliteit te balanceren met strikte latentie- en kostenbeperkingen in real-world, grote schaal toepassingen.