💻 computer science

Semantic Recall for Vector Search

Dit paper introduceert 'Semantic Recall', een nieuwe metriek voor het beoordelen van vectorzoekalgoritmen die alleen semantisch relevante resultaten meet, en 'Tolerant Recall' als proxy, om zo de kwaliteit en kosten-effectiviteit van zoekopdrachten met weinig relevante resultaten te verbeteren.

Oorspronkelijke auteurs: Leonardo Kuffo, Ioanna Tsakalidou, Roberta De Viti, Albert Angel, Jiří Iša, Rastislav Lenhardt

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Leonardo Kuffo, Ioanna Tsakalidou, Roberta De Viti, Albert Angel, Jiří Iša, Rastislav Lenhardt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Probleemstelling: De "Wiskundige" vs. de "Menselijke" Zoeker

Stel je voor dat je een enorme bibliotheek hebt met miljoenen boeken. Je wilt een boek vinden dat gaat over "het weer in Thailand". Je geeft dit aan een super-snelle robot (de Vector Search).

De robot kijkt niet naar de inhoud van de boeken, maar naar een soort "gevoelsmatige afstand" tussen woorden. Als twee boeken qua woorden heel dicht bij elkaar liggen in de wiskundige ruimte, denkt de robot: "Die horen bij elkaar!"

Het probleem:
Soms ligt een boek dat wiskundig het dichtst bij jouw vraag staat, eigenlijk helemaal niet relevant.

Voorbeeld: Je vraagt om "weer in Thailand". De robot vindt een boek over "Thailand" dat perfect past bij de wiskundige afstand, maar het gaat alleen over de geschiedenis van de koning, niet over het weer.
De oude meetlat (Traditionele Recall): De oude manier om te meten of de robot goed werkt, zegt: "Als je het boek over de koning niet als eerste vindt, heb je gefaald!" De robot krijgt een straf, zelfs als hij wel het juiste boek over het weer heeft gevonden.

De auteurs van dit paper zeggen: "Dit is onzin. We moeten de robot niet straffen voor het missen van wiskundige ruis, maar alleen voor het missen van écht relevante antwoorden."

💡 De Oplossing: Twee Nieuwe Meetlaten

De auteurs introduceren twee nieuwe manieren om de robot te beoordelen.

1. Semantic Recall (Semantische Terugroep)

Dit is de "slimme" meetlat.

De Analogie: Stel je voor dat je een jury hebt (een mens of een slimme AI) die alle boeken die de robot had kunnen vinden (de perfecte lijst) bekijkt. De jury zegt: "Dit boek is relevant voor 'weer in Thailand', dat boek niet."
De Meting: De robot krijgt nu alleen een straf als hij een boek mist dat de jury als relevant heeft bestempeld. Als hij een irrelevant boek mist (dat wiskundig dichtbij zat), krijgt hij geen straf.
Het Resultaat: De robot wordt beloond voor het vinden van de juiste antwoorden, niet voor het perfect ordenen van de onbelangrijke antwoorden.

2. Tolerant Recall (Tolerante Terugroep)

Soms heb je geen jury of geen toegang tot de echte boeken (alleen de wiskundige codes). Dan gebruiken ze deze tweede meetlat.

De Analogie: Stel je voor dat je op een concert zit. De echte beste plek (nummer 1) is bezet. Maar als iemand op plek 2 zit en die zit bijna even goed (bijvoorbeeld 99% even goed als plek 1), dan tellen we dat ook mee als een "winnaar".
De Meting: Als de robot een boek vindt dat qua "score" (hoe goed het lijkt) bijna even goed is als het boek dat hij had moeten vinden, dan wordt het niet als een fout geteld.
Waarom? Omdat kleine wiskundige foutjes (door compressie van data) vaak betekenen dat irrelevantie net ietsje hoger of lager springt. Deze meetlat is "tolerant" voor die kleine verschuivingen.

🔍 Wat hebben ze ontdekt? (De "Aha!"-momenten)

De auteurs hebben gekeken naar grote datasets (zoals MSMARCO, een verzameling van miljoenen teksten) en ontdekten iets verrassends:

De "Ruis" is overal: Bij veel zoekopdrachten zijn er maar heel weinig écht goede antwoorden. De meeste boeken die de robot vindt, zijn gewoon "dichtbij" in de wiskunde, maar niet nuttig.
De oude meetlat is te streng: Omdat de oude meetlat elke fout telt, krijgen robots een lage score, zelfs als ze de gebruiker een perfect antwoord geven. Ze worden gestraft omdat ze een irrelevant boek niet op de eerste plek zetten.
Kostenbesparing: Dit is het belangrijkste. Als je robots traint om de oude meetlat te halen, moeten ze heel hard werken om die irrelevantie perfect te ordenen. Dat kost veel rekenkracht (geld en energie).
- Door te trainen op de nieuwe meetlaten, kunnen ze veel sneller werken en minder rekenkracht gebruiken, terwijl de gebruiker blijft tevreden met de resultaten.

🚀 Waarom is dit belangrijk voor jou?

Snellere zoekresultaten: Zoekmachines en AI-assistenten worden sneller en goedkoper om te draaien.
Betere kwaliteit: De systemen focussen op het vinden van betekenisvolle antwoorden in plaats van wiskundige perfectie.
Slimmer testen: Ontwikkelaars kunnen nu beter zien of een verbetering in hun software echt helpt voor de gebruiker, of dat het alleen maar wiskundige ruis aan het ordenen is.

🎯 Conclusie in één zin

De auteurs zeggen: "Stop met straffen voor het missen van wiskundige ruis; focus op het vinden van de echte antwoorden, en je krijgt snellere, goedkopere en slimmere zoeksystemen."

Het is alsof je een jager niet meer straft omdat hij een steen mist die op een konijn leek, maar alleen omdat hij het konijn zelf niet heeft gevonden.

Probleemstelling

In de moderne informatiezoekopdrachten (Information Retrieval - IR) worden vector-embeddings steeds vaker gebruikt om semantische relevantie te modelleren. Omdat exacte Nearest Neighbor Search (NNS) in hoge dimensies te rekenintensief is, maken systemen gebruik van Approximate Nearest Neighbor Search (ANNS). De kwaliteit van deze algoritmen wordt traditioneel gemeten met Recall (het percentage van de "ware" dichtstbijzijnde buren dat wordt teruggevonden).

Het paper identificeert een fundamenteel tekortkoming in traditionele Recall:

Wiskundige vs. Semantische relevantie: Traditionele Recall straft algoritmen af voor het niet terugvinden van wiskundig dichtbijgelegen punten die semantisch irrelevant zijn ("wiskundige ruis").
Spreiding van resultaten: In veel embedding-datasets hebben queries vaak slechts een klein aantal semantisch relevante resultaten binnen de top-N dichtstbijzijnde buren. De resterende punten zijn vaak wiskundig dichtbij maar semantisch irrelevant.
Misleidende optimalisatie: Door te proberen deze irrelevante, maar wiskundig dichtbijgelegen punten te vinden, worden ANNS-algoritmen gedwongen om onnodig veel rekkracht te investeren, wat leidt tot een slechte kosten-kwaliteit trade-off zonder verbetering van de gebruikerservaring.

Methodologie en Nieuwe Metrieken

De auteurs introduceren twee nieuwe metrieken om de zoekkwaliteit beter af te stemmen op semantische relevantie:

1. Semantic Recall (Semantische Recall)

Dit is de primaire metriek. In plaats van alle "ware" dichtstbijzijnde buren (ground truth) te tellen, focust deze metriek alleen op de subset van die buren die semantisch relevant zijn voor de query.

Definitie: Het fractioneel aantal semantisch relevante objecten dat wordt teruggevonden door het ANNS-algoritme, gedeeld door het totale aantal semantisch relevante objecten in de ground truth (die via exacte NNS zijn gevonden).
Bepaling van relevantie: Relevantie wordt bepaald door een externe "judge" (mens of Large Language Model zoals Gemini) die de top-k ground truth resultaten beoordeelt op basis van de query.
Voordeel: Het straft algoritmen niet af voor het missen van irrelevante punten die toevallig dichtbij liggen in de vectorruimte.

2. Tolerant Recall (Tolerante Recall)

Deze metriek is een proxy voor Semantic Recall, ontworpen voor scenario's waar de onderliggende data niet beschikbaar is voor semantische beoordeling (bijv. alleen embeddings).

Werking: Het staat toe dat een teruggevonden resultaat een "ware" dichtstbijzijnde buur vervangt als hun scores (afstanden) binnen een bepaalde tolerantie ( $x\%$ ) liggen.
Doel: Het is robuust tegen kleine verstoringen in de afstandsmetriek (bijv. door quantisatie) die de rangschikking van irrelevante punten kunnen veranderen, zonder de kernkwaliteit van de zoekopdracht te verliezen.

Kernbijdragen

Definitie van Semantic Recall: Een nieuwe proxy voor zoekkwaliteit die semantische relevantie isoleert van wiskundige precisie.
Methodologie voor identificatie: Een proces om semantische buren te vinden door ground truth resultaten te labelen met LLM's (in plaats van het labelen van hele datasets).
Introductie van Tolerant Recall: Een praktische metriek die werkt zonder semantische labels, maar wel de voordelen van Semantic Recall benadert.
Empirisch bewijs: Aantonen dat traditionele Recall vaak misleidt, vooral bij queries met weinig relevante resultaten.
Kosten-kwaliteit optimalisatie: Bewijs dat het optimaliseren van zoekalgoritmen voor deze nieuwe metrieken leidt tot aanzienlijke kostenbesparingen zonder kwaliteitsverlies voor de gebruiker.

Resultaten en Evaluatie

De auteurs hebben hun metrics geëvalueerd op de MSMARCO-corpus (8,83M documenten) en het MIRACL-dataset (Thaise taal), gebruikmakend van verschillende embedding-modellen (Gemini, Cohere) en ANNS-indexen (ScaNN, FAISS).

Verdeling van relevante resultaten: De analyse toont een bimodale verdeling: veel queries hebben zeer weinig (0-15) semantisch relevante resultaten in de top-100, terwijl andere queries er veel hebben. Queries met weinig relevante resultaten worden zwaar gestraft door traditionele Recall.
Scoreverschillen: Semantisch relevante buren hebben grotere verschillen in scores (deltas) tussen elkaar dan irrelevante buren. Irrelevante buren liggen vaak op bijna dezelfde afstand, wat traditionele Recall extreem gevoelig maakt voor kleine variaties.
Vergelijking:
- Semantic Recall toont een hogere en betrouwbaardere score dan traditionele Recall (bijv. 0,903 vs 0,762 voor queries met weinig relevante resultaten).
- Tolerant Recall volgt Semantic Recall zeer nauwkeurig en is makkelijker te integreren in bestaande pipelines.
Kostenreductie bij tuning:
- Wanneer zoekalgoritmen (zoals ScaNN) worden getuned op Semantic Recall in plaats van traditionele Recall, kan de rekkracht (bytes read/CPU-kosten) met 14% tot 35% worden verlaagd terwijl de kwaliteit voor de gebruiker gelijk blijft.
- Het optimaliseren voor traditionele Recall dwingt het systeem om "ruis" (irrelevante punten) te vinden, wat onnodige rekkracht kost.

Betekenis en Conclusie

De paper concludeert dat de IR-gemeenschap moet overstappen van strikte wiskundige precisie naar semantische relevantie bij het evalueren van vectorzoeksystemen.

Paradigmaverschuiving: Traditionele Recall optimaliseert voor wiskundige exactheid, wat vaak leidt tot het zoeken naar "ruis". Semantic Recall focust op wat de gebruiker echt nodig heeft.
Efficiëntie: Door te stoppen met het straffen van het missen van irrelevante buren, kunnen systemen efficiënter worden ontworpen.
Praktische toepasbaarheid: Hoewel Semantic Recall toegang vereist tot de ruwe data voor beoordeling (wat een beperking is), biedt Tolerant Recall een robuust alternatief dat direct toepasbaar is in dynamische omgevingen.

Samenvattend bieden deze nieuwe metrieken een nauwkeurigere manier om de prestaties van ANNS-algoritmen te meten en stellen ze ontwikkelaars in staat om betere afwegingen te maken tussen kosten en kwaliteit, gericht op het leveren van echte antwoorden in plaats van wiskundig dichtbijgelegen ruis.