🤖 machine learning

Do Static Embeddings Add Value to Hybrid Dutch Retrieval?

Dit artikel toont aan dat voor Nederlandse retrieval-taken het toevoegen van statische embedding-modellen aan een hybride systeem dat BM25 en transformer-gebaseerde embeddings (Qwen) combineert, geen marginale waarde biedt en vaak de effectiviteit vermindert, wat suggereert dat een robuuste twee-retriever lexicale-transformer architectuur voldoende is en dat scores op standalone embedding benchmarks geen bruikbaarheid garanderen in hybride fusie.

Oorspronkelijke auteurs: António Pereira Barata

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: António Pereira Barata

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een specifieke naald in een enorme, chaotische hooiberg te vinden. In de wereld van de informatica wordt dit informatie-extractie genoemd. Decennialang was de beste manier om die naald te vinden door te zoeken naar de exacte woorden die erop geschreven stonden. Als je zocht naar "rode appel", zou de computer alleen documenten tonen die de woorden "rood" en "appel" bevatten. Dit is als het gebruik van een strikte bibliothecaris die alleen een checklist volgt. Maar wat als het document "crimson fruit" zegt in plaats? De strikte bibliothecaris mist het.

Om dit op te lossen, zijn moderne computers "slimme" helpers gaan gebruiken die embeddings worden genoemd. Dit zijn als magische vertalers die de idee achter de woorden begrijpen. Ze weten dat "crimson fruit" hetzelfde is als "rode appel", zelfs als de woorden niet overeenkomen. Echter, deze slimme helpers kunnen traag en duur zijn in gebruik. Daarom zijn ingenieurs begonnen met het bouwen van hybride systemen, waarbij de strikte woord-zoekende bibliothecaris wordt gecombineerd met de slimme, idee-begrijpende vertaler om het beste van twee werelden te krijgen. Maar hier komt de grote vraag: hebben we een derde helper nodig? Er zijn goedkopere, snellere "statische" modellen die minder slim zijn maar wel erg snel. Het grote mysterie is: zodra je de strikte bibliothecaris en de slimme vertaler samen laat werken, voegt het toevoegen van deze goedkope derde helper dan daadwerkelijk iets toe aan de zoekopdracht, of is het slechts extra rommel?

Dit artikel duikt in dat exacte mysterie, maar specifiek voor de Nederlandse taal. De onderzoekers hebben een gigantisch, gecontroleerd experiment opgezet om te zien of het toevoegen van deze goedkope, statische modellen aan een team dat al een woordzoeker (BM25) en een slimme transformer (Qwen) had, daadwerkelijk zou helpen om de juiste antwoorden te vinden. Ze hebben het niet alleen geraden; ze hebben het getest op vijf verschillende soorten Nederlandse tekstcollecties, variërend van nieuwsartikelen en Wikipedia-pagina's tot overheidsaanbestedingen en FAQ's. Ze gebruikten een slimme scoreermethode genaamd Weighted Reciprocal Rank Fusion (RRF), wat een soort stemmechanisme is waarbij de drie helpers hun beste keuzes rangschikken, en de definitieve lijst een gewogen mix is van hun meningen.

De resultaten waren verrassend duidelijk en een beetje een realiteitscheck voor de techwereld. Na het draaien van duizenden tests over 14.500 queries en bijna 800.000 documenten, ontdekten de onderzoekers dat de "goedkope derde helper" (de statische embeddings) nooit een stem kreeg. In elke enkele test kwam de best mogelijke mix van resultaten voort uit enkel de strikte bibliothecaris en de slimme vertaler die samenwerkten. Sterker nog, wanneer ze de goedkope helper dwongen om lid te worden van het team, werden de resultaten zelfs slechter. Het artikel concludeert dat voor Nederlandse retrieval-taken het toevoegen van deze statische modellen geen waarde toevoegt; het voegt alleen maar kosten en complexiteit toe.

In plaats van een driepersoons-team suggereert de studie dat een tweepersoonsteam het ideale evenwicht is. Interessant genoeg veranderde de perfecte mix van de twee winnaars afhankelijk van het type tekst. Voor nieuwsartikelen werkte een 50/50 verdeling tussen de woordzoeker en de slimme vertaler het best. Voor overheidsaanbestedingen was de woordzoeker alleen de kampioen. Echter, als je niet wist voor welk type tekst je aan het zoeken was, was een eenvoudige 50/50 mix van de twee een zeer sterke, betrouwbare standaard die overal goed werkte. De studie bewijst dat hoewel standalone benchmarks deze goedkope modellen er oké uit kunnen laten zien, ze in de praktijk niets nieuws brengen wanneer ze al naast een krachtige woordzoeker en een slimme transformer werken. De les? Soms is minder meer, en een goed gekozen duo is beter dan een overvolle commissie.

Technische Samenvatting: Voegen Statische Embeddings Waarde Toe aan Hybride Nederlandse Retrieval?

Probleemstelling

Moderne retrieval-systemen combineren steeds vaker lexicale methoden (bijv. BM25) met dichte semantische representaties (bijv. transformer-gebaseerde embeddings). Hoewel standalone embedding-benchmarks (zoals MTEB-NL) de individuele modelkwaliteit effectief meten, beantwoorden ze een cruciale systeem-niveau vraag niet: Voegt een goedkope retriever complementaire rangschikkingsinformatie toe wanneer een lexicaal–transformer hybride al aanwezig is?

Specifiek onderzoekt dit artikel of moderne meertalige statische embeddings (die lagere encoding-kosten bieden maar minder contextuele expressiviteit hebben dan transformers) marginale waarde bieden wanneer ze worden gefuseerd met BM25 en een transformer-gebaseerde retriever (Qwen/Qwen3-Embedding-0.6B) over Nederlandse retrieval-taken heen. De studie stelt dat een zwakker standalone model de fusie nog steeds zou kunnen verbeteren als de fouten ervan complementair zijn, maar dat de standalone benchmark-prestaties onvoldoende zijn om deze marginale waarde vast te stellen.

Methodologie

De auteur heeft een gecontroleerde, uitputtende evaluatie uitgevoerd over vijf Nederlandse retrieval-datasets uit de Massive Text Embedding Benchmark voor Nederlands (MTEB-NL), bestaande uit 14.500 queries en 786.573 documenten.

Retrieval-systemen

Vier retrievers werden geëvalueerd:

BM25: Lexicale retrieval met Nederlandse stopwoorden en stemming.
Qwen: Transformer-gebaseerde dichte retrieval (1024 dimensies) met query-instructies.
Potion: Meertalige statische dichte embedding (256 dimensies, Model2Vec encoding).
Static Similarity: Meertalige statische dichte embedding (1024 dimensies, Sentence Transformers statische encoding).

Fusie en Evaluatieprotocol

Uitputtende Scoring: Elke query werd gescoord tegen elk document in de respectievelijke dataset (ongeveer 4,1 miljard query-document paren per retriever), waardoor top- $k$ benaderingsfouten werden geëlimineerd.
Weighted Reciprocal Rank Fusion (RRF): Het systeem combineerde rangschikkingen met de formule:
$RRF(d | q) = \frac{\alpha}{k + r_{BM25}} + \frac{\beta}{k + r_{Qwen}} + \frac{\gamma}{k + r_{static}}$
waarbij $\alpha + \beta + \gamma = 1$ en $k=60$ .
Gewichtszoektocht: Gewichten werden gezocht op een simplex in stappen van 0,1.
Cross-validatie: Een tienvoudige query-niveau cross-validatie (CV) procedure werd gebruikt. Gewichten werden geselecteerd op negen folds en geëvalueerd op de uitgesloten fold om de prestaties buiten de steekproef te schatten en modelselectie-bias te voorkomen.
Statistische Inferentie: Gepaard gepaarde bootstrap betrouwbaarheidsintervallen en sign-randomisatie testen (met Holm-correctie voor meervoudige vergelijkingen) werden gebruikt om de significantie van prestatieverschillen te kwantificeren.
Cross-Domain Transfer: Een "leave-one-dataset-out" experiment selecteerde een enkele configuratie op basis van vier datasets en evalueerde deze op de vijfde om de overdraagbaarheid te testen.

Belangrijkste Bijdragen

Beoordeling van Marginale Waarde: Een gecontroleerde test die bepaalt of statische retrievers waarde toevoegen bovenop een BM25–Qwen fusie voor Nederlandse taken.
Uitputtende Evaluatie: Volledige full-corpus scoring en simplex-zoektochten over gewogen lexicale, transformer en statische rangschikkingen, waarbij kandidaten-truncatie wordt vermeden.
Rigoureuze Inferentie: Alleen training-gewichten selectie met out-of-fold evaluatie, gepaard met onzekerheidsschattingen en multipliciteit-gecorrigeerde hypothesetesten.
Overdraagbare Standaarden: Bewijs dat de optimale configuratie altijd op de BM25–Qwen rand ligt, wat een robuuste gelijke-gewicht standaard ondersteunt voor instellingen zonder in-domain tuning data.

Resultaten

1. Statische Embeddings Voegen Geen Waarde Toe

De meest significante bevinding is dat noch het ene noch het andere statische embedding model (Potion of Static Similarity) een positief gewicht ontving in een van de 50 uitgesloten fold-selecties. Alle optimale configuraties lagen strikt op de BM25–Qwen rand ( $\gamma = 0$ ).

Het afdwingen van een statische bijdrage verminderde de effectiviteit ten opzichte van de BM25–Qwen rand.
De statische modellen werden afgewezen, ook al zijn ze meertalig en modern, wat suggereert dat hun rangschikkingsfouten niet complementair waren aan de lexicale–transformer hybride in deze setting.

2. Fusiewinst Ten Opzichte van Individuele Retriever

Gewogen RRF presteerde beter dan de beste individuele retriever geselecteerd uit dezelfde trainingsdata op vier van de vijf datasets:

Dutch News: +0,061 MRR (Fusie: 0,658 vs. BM25: 0,597).
VABB: +0,029 MRR (Fusie: 0,752 vs. Qwen: 0,723).
Wikipedia NL: +0,025 MRR (Fusie: 0,873 vs. Qwen: 0,848).
WebFAQ NL: +0,004 MRR (Fusie: 0,677 vs. Qwen: 0,673).
Open Tender: Geen winst (0,000), aangezien BM25 alleen optimaal was.

Alle positieve verschillen bleven statistisch onderscheidbaar van nul na de Holm-correctie, hoewel de winst bij WebFAQ NL als operationeel bescheiden werd genoteerd.

3. Stabiliteit en Overdraagbaarheid

Stabiliteit: De geselecteerde fusiegewichten waren zeer stabiel; dezelfde configuratie werd in alle tien de folds voor elke dataset gekozen.
Cross-Domain Transfer: Een leave-one-dataset-out selectie koos consistent voor een gelijke weging van BM25 en Qwen ( $\alpha=0,5, \beta=0,5, \gamma=0,0$ ). Deze gelijke-gewicht configuratie presteerde beter dan de individuele retriever geselecteerd uit de resterende vier datasets op elke uitgesloten taak.

Betekenis en Claims

Het artikel claimt dat standalone benchmark-prestaties onvoldoende zijn om marginale waarde vast te stellen in hybride retrieval. Een model kan goed presteren in isolatie, maar voegt geen waarde toe (of verslechtert zelfs de prestaties) wanneer het wordt gefuseerd met andere componenten.

De studie ondersteunt een twee-retriever lexicaal–transformer architectuur (BM25 + Qwen) als een robuuste, geteste standaard voor Nederlandse retrieval-taken. Het beargumenteert dat:

Statische embeddings (specifiek de twee geëvalueerde modellen) de toegevoegde architecturale en computationele complexiteit in deze hybride setting niet rechtvaardigen.
Gelijke weging (0,5 BM25, 0,5 Qwen) dient als een verdedigbare, domein-agnostische standaard wanneer er geen in-domain tuning data beschikbaar is, terwijl dataset-specifieke tuning verdere winsten oplevert wanneer representatieve queries aanwezig zijn.
Uitputtende evaluatie noodzakelijk is om verwarrende factoren zoals top- $k$ truncatie te vermijden, die de werkelijke marginale waarde van fusiecomponenten kunnen maskeren.

De auteur concludeert dat voor de geëvalueerde modellen, datasets en preprocessing-keuzes, de statische tak moet worden verwijderd uit daaropvolgende Nederlandse embedder-vergelijkingen, waarbij de focus moet verschuiven naar een effectiviteits–compute frontier tussen transformer-families.