💬 NLP

Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector

Het paper introduceert MILCO, een meertalig model voor geleerde spaarse retrieval dat via een multilinguale connector en een nieuw LexEcho-head queries en documenten in een gedeelde Engelse lexische ruimte afbeeldt, waardoor het state-of-the-art prestaties bereikt met aanzienlijk lagere latentie en een kleinere indexgrootte dan bestaande dichte en spaarse baselines.

Oorspronkelijke auteurs: Thong Nguyen, Yibin Lei, Jia-Huei Ju, Eugene Yang, Andrew Yates

Gepubliceerd 2026-03-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Thong Nguyen, Yibin Lei, Jia-Huei Ju, Eugene Yang, Andrew Yates

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🌍 De Grote Vertaalprobleem: Hoe vind je iets in een ander land?

Stel je voor dat je op zoek bent naar een specifiek recept voor "Momo Live muziek" (een app uit China). Je zoekt in een enorme bibliotheek, maar de boeken staan in het Chinees, terwijl jij alleen Engels spreekt.

De oude manier (Dense Retrieval): Je geeft de bibliothecaris een samenvatting van je vraag in het Engels. Hij probeert de sfeer van je vraag te begrijpen en zoekt naar boeken die "gevoelsmatig" lijken op wat je zoekt. Dit werkt vaak goed, maar het is een beetje een raadsel. Je ziet niet precies waarom hij dat boek koos. En als je een heel specifiek Chinees woord gebruikt dat geen exact Engels equivalent heeft, slaat hij de plank volledig mis.
De nieuwe uitdaging: Bestaande slimme zoekmachines zijn geweldig in het Engels, maar zakken vaak in elkaar als je ze in het Chinees, Spaans of Swahili vraagt. Ze verliezen de betekenis van specifieke namen of termen.

🚀 De Oplossing: MILCO (De Meester-Vertaler)

De onderzoekers hebben MILCO bedacht. Het is een slimme zoekmachine die werkt met leerbare, spaarzame zoekopdrachten. Laten we het vergelijken met een multiculturele tolk met een speciale hoed.

1. De "Gemeenschappelijke Vertaalruimte" (De Engelse Hoed)

MILCO heeft een trucje: het vertaalt alles naar een gemeenschappelijke Engelse taal, maar dan op een heel slimme manier.

Hoe het werkt: Als je "陌陌直播" (Momo Live) in het Chinees invoert, vertaalt MILCO dit niet letterlijk naar "Momo Live", maar naar de Engelse concepten die erbij horen: music, import, phone, live stream.
Het voordeel: De bibliotheek (de index) hoeft maar in één taal te worden opgeslagen (Engels). Dat maakt het super snel en klein, alsof je alle boeken in de wereld in één taal hebt samengevat.

2. Het Probleem: "Verloren in Vertaling"

Soms werkt vertaling niet. Stel je zoekt naar een heel specifiek Chinees app-naam of een lokale naam. Als je dit vertaalt naar Engels, verdwijnt de oorspronkelijke naam. De zoekmachine ziet het niet meer.

Metafoor: Het is alsof je een foto van een vreemd fruit laat zien, maar de tolk zegt alleen "het is een vrucht". Je weet niet dat het een "durian" is.

3. De "LexEcho" Hoed (De Spiegel)

Hier komt het slimme deel van MILCO: de LexEcho-head.

De Twee-Oogjes: MILCO kijkt met twee ogen tegelijk.
1. Oog 1 (Engels): Kijkt naar de vertaling (de concepten).
2. Oog 2 (Bron): Kijkt naar het originele woord en zegt: "Wacht even, dit specifieke woord (zoals 'Momo') is belangrijk en heeft geen perfecte vertaling. Laten we het originele woord ook meenemen."
De Echo: Het woord "echo" betekent hier dat het originele woord een "echo" krijgt in het systeem. Zelfs als de vertaling het niet snapt, zorgt de echo ervoor dat de zoekmachine het originele woord herkent. Dit maakt de zoekmachine veel robuuster voor rare namen of specifieke termen.

🏗️ Hoe wordt het getraind? (De Twee-Fase Opleiding)

MILCO wordt niet zomaar "in het wild" geleerd. Het volgt een streng trainingsprogramma:

Fase 1: De "Spaarse Uitlijning" (SAP)
- De zoekmachine leert eerst hoe je een zin in het Chinees koppelt aan de juiste Engelse woorden. Het is alsof je een student eerst leert lezen en vertalen voordat je hem vraagt om een quiz te doen. Dit zorgt ervoor dat de vertalingen logisch en transparant zijn.
Fase 2: De "Contrastieve Training"
- Nu leert de machine om de beste resultaten te vinden. Het krijgt voorbeelden van "juiste" en "foute" antwoorden en leert om de juiste boeken sneller te vinden.

⚡ Waarom is dit zo snel en klein? (De Matroesjka-methode)

Dit is misschien wel het coolste deel.

Normale zoekmachines slaan elk document op als een zware, dichte vector (een lange lijst met getallen). Dit neemt veel ruimte in op de server.
MILCO werkt als een Matroesjka-pop (een pop met poppen erin).
- Je kunt de zoekopdracht "knippen" na het zoeken.
- Stel je zoekt iets simpels: je hebt maar 30 belangrijke woorden nodig.
- Zoek je iets complex? Dan gebruikt hij er 300.
- Het resultaat: Je kunt de index (de bibliotheek) 10 keer kleiner maken dan de concurrenten, terwijl de zoekmachine nog steeds net zo goed (of zelfs beter) werkt. Het is alsof je een hele bibliotheek in een kleine koffer kunt stoppen, maar je kunt er toch elk boek uit halen dat je nodig hebt.

🏆 De Resultaten: De Koning van Meertaligheid

In tests met 39 verschillende talen (van Chinees tot Swahili) doet MILCO het beter dan de beste concurrenten (zoals BGE-M3 en Qwen3), zelfs als die veel groter zijn.

Beter dan de grote jongens: Een MILCO-model van 560 miljoen parameters (klein) verslaat een model van 8 miljard parameters (groot) in veel gevallen.
Transparant: Omdat het werkt met echte woorden (lexicaal) en niet met onbegrijpelijke getallen, kun je precies zien waarom een resultaat werd gevonden. Je kunt de zoekmachine "uitleggen" wat hij deed.

Samenvatting in één zin

MILCO is een slimme, snelle en transparante zoekmachine die alles vertaalt naar een gemeenschappelijke taal, maar tegelijkertijd de originele woorden "in de gaten houdt" zodat niets verloren gaat, waardoor je wereldwijd kunt zoeken met een index die zo klein is als een postzegel.

Probleemstelling

Learned Sparse Retrieval (LSR) combineert de schaalbaarheid van bi-encoders met de transparantie van lexische matching (woorden zoeken). Bestaande LSR-modellen presteren echter uitstekend alleen in het Engels en worstelen om te schalen naar meertalige scenario's.
De belangrijkste uitdagingen zijn:

Semantische ineenstorting (Semantic Collapse): Als men een meertalige encoder direct koppelt aan een Engels lexicon, verliezen de representaties vaak hun interpreteerbare betekenis, wat leidt tot slechte prestaties en gebrek aan transparantie.
Verlies van zeldzame entiteiten: Bij het projecteren van teksten uit niet-Latijnse talen (zoals Chinees) naar het Engels, gaan specifieke entiteiten (bijv. namen van apps of lokale merken) vaak verloren of worden ze onjuist vertaald.
Fragmentatie: Bestaande meertalige oplossingen zijn vaak beperkt tot specifieke taalkoppels of combineren dichte en verspreide methoden op een manier waarbij de verspreide component ondermaats presteert (zoals bij BGE-M3).

Methodologie: MILCO Architectuur

MILCO (Multilingual Connector) is een LSR-architectuur die queries en documenten uit 39 verschillende talen mapt naar een gedeeld Engels lexicaal ruimte. De architectuur bestaat uit drie hoofdcomponenten:

Multilingual Encoder: Een Transformer-encoder die inputtekst omzet in contextuele hidden states in een meertalige embeddingruimte.
Multilingual Connector: Een lichtgewicht laag (een Multi-Layer Perceptron) die de meertalige hidden states projecteert naar een pivot-ruimte (Engels). Dit zorgt ervoor dat alle talen worden "gecollabseerd" naar één gemeenschappelijke vocabulaire, wat de trainingskosten verlaagt en cross-linguale matching mogelijk maakt.
LexEcho Head: Een innovatieve kop die twee complementaire weergaves genereert:
- Pivot (Engels) View: Genereert een verspreide representatie in het Engels door middel van een MLM-head. Dit ondersteunt cross-linguale zoekopdrachten.
- Source View: Gebruikt een speciaal [ECHO] token om belangrijke tokens uit de brontaal (bijv. "陌陌" in het Chinees) direct te behouden en te wegen. Dit lost het probleem op van het verlies van zeldzame entiteiten die niet goed vertalen naar het Engels.

Trainingsstrategie (Twee-fasen):
Om semantische ineenstorting te voorkomen en effectiviteit te garanderen, gebruikt MILCO een speciaal trainingsregime:

Fase 1: Sparse Alignment Pretraining (SAP): Het model wordt getraind met parallelle zinnen (bitext) om de Engelse weergave van een niet-Engelse zin af te stemmen op de representatie van de Engelse vertaling. Dit gebruikt een Sparse-aware MSE (SMSE) loss om de focus te leggen op actieve lexische coördinaten. Dit is cruciaal om de basis te leggen voor transparante representaties.
Fase 2: Sparse Contrastive Training (SCT): Na de alignment wordt het model verfijnd met contrastief leren (distillatie van een cross-encoder) om de zoekresultaten te optimaliseren, terwijl de verspreidheid (sparsity) wordt gehandhaafd via $\ell_1$ -regularisatie.

Belangrijkste Bijdragen

MILCO Architectuur: De eerste LSR-architectuur die meertalige en cross-linguale zoekopdrachten verenigt in één enkel model door gebruik te maken van een multilingual connector en een Engelse pivot.
LexEcho Head: Een nieuwe methode die robuustheid biedt tegen ongebruikelijke entiteiten door een dubbele weergave (Engels + Bron) te combineren.
Sparse Alignment Pretraining (SAP): Een nieuwe pretrainingstrategie die semantische ineenstorting voorkomt en de basis legt voor effectieve meertalige LSR.
Efficiëntie en Transparantie: Het model ondersteunt post-hoc pruning (na het trainen), waardoor de indexgrootte en latentie drastisch kunnen worden verlaagd zonder opnieuw te hoeven trainen.

Resultaten

MILCO (560M parameters) heeft state-of-the-art prestaties behaald op diverse benchmarks:

MIRACL (18 talen): MILCO overtreft de beste dichte modellen (zoals Qwen3-Embed 8B) en hybride modellen (BGE-M3) met aanzienlijke marges (+34.1% t.o.v. BGE-Sparse, +4.5% t.o.v. BGE-Dense).
MLDR (Lang documenten): Bereikt een nDCG@10 van 74.4, wat 14% hoger is dan de beste bestaande ensemble-modellen.
MKQA (Cross-linguale zoekopdrachten): Bereikt een zero-shot Recall@100 van 76.6, wat aanzienlijk beter is dan dichte baselines en ver boven traditionele verspreide methoden uitkomt.
Efficiëntie:
- Door mass-based pruning kan het model worden gereduceerd tot gemiddeld slechts 30 actieve dimensies per document.
- Ondanks deze extreme verdunning presteert MILCO beter dan Qwen3-Embed 0.6B (1024 dimensies).
- Indexgrootte: 10x kleiner dan dichte baselines (bijv. 12GB vs 134GB).
- Latentie: 3x sneller dan dichte baselines.

Betekenis en Impact

MILCO is een doorbraak in het veld van informatieretrieval omdat het de voordelen van verspreide zoekopdrachten (transparantie, interpretatie van fouten, dynamische efficiëntie) eindelijk succesvol toepasbaar maakt op meertalige data.

Transparantie: In tegenstelling tot dichte "black-box" embeddings, kunnen gebruikers precies zien welke woorden (in het Engels of de brontaal) bijdragen aan een resultaat.
Kostenbesparing: De mogelijkheid om de indexgrootte met 80-90% te verkleinen via pruning maakt het haalbaar om LSR in productie te gebruiken op schaal, zelfs voor grote collecties.
Inclusiviteit: Het model presteert sterk op talen die vaak worden verwaarloosd, inclusief niet-Latijnse scripts, door de LexEcho-mechanisme dat het verlies van specifieke entiteiten voorkomt.

Kortom, MILCO bewijst dat verspreide zoekopdrachten niet alleen efficiënter en transparanter zijn, maar ook superieur kunnen presteren aan dichte methoden in meertalige omgevingen, mits de juiste architectuur en trainingsstrategie worden toegepast.