💻 informatica

What Do Resume–Job Matching Benchmarks Actually Measure? Keywords, Embeddings and LLMs on Public Data

Dit artikel evalueert kritisch de publieke benchmarks voor het matchen van cv's met vacatures door aan te tonen dat huidige methoden vaak vertrouwen op datalekken en ruisgevoelige labels, kwetsbaar zijn voor oppervlakkige formateringsartefacten zoals markdown, en slechts bescheiden verbeteringen bieden ten opzichte van eenvoudige trefwoord-baselines (waarbij LLM-judges de embeddings niet significant verslaan), waardoor strengere evaluatieprotocollen inclusief onbekende cv-splitsingen en gegevensreiniging worden aanbevolen.

Oorspronkelijke auteur: Nusrat Jahan Rita

Gepubliceerd 2026-11-11✓ Author reviewed ⓘ

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteur: Nusrat Jahan Rita

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteur. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Elke dag sturen miljoenen mensen digitale cv's naar geautomatiseerde systemen om op banen te solliciteren. Deze systemen fungeren als de eerste poortwachters, waarbij ze duizenden sollicitaties scannen om te beslissen welke menselijke kandidaten de tijd van een recruiter waard zijn. Jarenlang vertrouwden deze tools op eenvoudige zoekopdrachten op trefwoorden, waarbij gezocht werd naar exacte overeenkomsten tussen de woorden in een vacaturetekst en de woorden in een cv. Recentelijk is de technologie echter verschoven naar meer geavanceerde kunstmatige intelligentie. Deze nieuwere systemen maken gebruik van "embeddings", een methode die tekst omzet in wiskundige representaties om de betekenis achter de woorden te begrijpen, in plaats van alleen ze te tellen. Nog geavanceerder zijn grote taalmodellen, die complexe teksten kunnen lezen en erover kunnen redeneren zoals een mens dat doet. De belofte van deze tools is een eerlijker, efficiënter wervingsproces waarbij de beste kandidaten naar boven komen op basis van hun werkelijke kwalificaties.

Maar hoe weten we of deze systemen daadwerkelijk werken zoals bedoeld? Het meeste onderzoek achter deze tools steunt op private data die eigendom is van grote bedrijven, waardoor het voor externe wetenschappers onmogelijk is om de resultaten te verifiëren of te controleren of de trainingsdata gebrekkig was. Om te begrijpen wat er werkelijk aan de hand is, besloot een onderzoeker genaamd Nusrat Jahan Rita de enige publiek beschikbare dataset te auditeren die beoordeelt hoe goed een cv bij een baan past. Deze dataset bevat duizenden paren van vacatures en cv's, die door mensen zijn gelabeld als een "Goede Match", een "Potentiële Match" of "Geen Match". Het doel was om te zien of de nieuwste methoden voor kunstmatige intelligentie werkelijk de wervingsbeslissingen verbeteren, of dat ze simpelweg verborgen patronen in de data uitbuiten die niets te maken hebben met de werkelijke geschiktheid van een kandidaat.

Het onderzoek begon met het testen van drie verschillende soorten matchingsmethoden op deze publieke data. Eerst vergeleek de onderzoeker de traditionele trefwoordbenadering met de nieuwere embedding-systemen. De resultaten lieten zien dat de embedding-modellen iets beter presteerden; ze rangschikten kandidaten nauwkeuriger dan de zoekopdracht op trefwoorden. De verbetering was echter bescheiden. De meer verrassende ontdekking kwam toen de onderzoeker onderzocht hoe de data werd gesplitst voor het testen. In de standaardopstelling kan een cv in de trainingsdata voor de ene baan voorkomen en vervolgens worden getest tegen een andere baan. Omdat het systeem dat specifieke cv al eerder had gezien, kon het simpelweg het label van de eerste baan onthouden en dit toepassen op de tweede. Wanneer de onderzoeker deze herhaalde cv's uit de trainingsset verwijderde om ervoor te zorgen dat het systeem echt leerde te matchen met nieuwe kandidaten, daalde de prestatie van de geavanceerde modellen aanzienlijk. Dit onthulde dat een groot deel van het gerapporteerde succes in eerdere studies eigenlijk te danken was aan het feit dat het systeem het cv zelf herkende, in plaats van de connectie tussen het cv en de nieuwe baan te begrijpen.

De studie testte ook een klein, open-source taalmodel door het de rol van rechter te geven om de kandidaten te rangschikken. Hoewel dit model de tekst kon lezen en een beslissing kon nemen, presteerde het niet significant beter dan de eenvoudigere embedding-systemen. Belangrijker nog, het was vele malen trager; het duurde ongeveer 850 keer langer om een enkele sollicitatie te verwerken dan de embedding-modellen. Voor een wervingsplatform dat duizenden sollicitaties snel moet sorteren, maakt dit verschil in snelheid het dure taalmodel een slechte praktische keuze, ondanks de capaciteit om door tekst te redeneren.

De meest cruciale bevinding betrof de kwaliteit van de menselijke labels zelf. De dataset ging ervan uit dat het onderscheid tussen een "Goede Match" en een "Potentiële Match" een heldere maatstaf was voor hoe goed een kandidaat bij een specifieke baan paste. De analyse toonde echter aan dat deze labels vaak meer werden bepaald door de vacaturetekst of het cv zelf dan door de werkelijke match tussen de twee. In veel gevallen ontving elke kandidaat voor een specifieke baan hetzelfde label, ongeacht hun individuele verschillen. Toen de onderzoeker een tweede mens vroeg om blindelings een steekproef van deze paren opnieuw te evalueren, was de overeenstemming tussen de twee mensen zeer laag. Sterker nog, de tweede persoon stemde vaker overeen met de labels uit de oorspronkelijke dataset dan met de eerste persoon. Dit suggereert dat de labels in de publieke dataset ruisachtig en inconsistent zijn, wat betekent dat het trainen van een computer om deze labels te voorspellen, er wellicht op neerkomt dat de computer leert om menselijke verwarring na te bootsen in plaats van de beste kandidaat te vinden.

Ten slotte onthulde de studie een subtiele maar krachtige bias gerelateerd aan de opmaak. De onderzoeker nam de cv's en voegde standaard opmaaktekens toe, zoals vetgedrukte koppen en opsommingstekens, zonder één woord van de inhoud te veranderen. Wanneer deze opgemaakte cv's in de embedding-modellen werden gevoerd, schoten hun scores drastisch omhoog. Een kandidaat met een tekstueel eenvoudig cv kon plotseling veel gekwalificeerder lijken dan een even gekwalificeerde kandidaat met een opgemaakt cv, simpelweg omdat het model de visuele structuur beloonde. Dit effect was zo sterk dat het gebeurde, ongeacht of de kandidaat daadwerkelijk een goede match was voor de baan. De modellen beoordeelden niet de inhoud; ze reageerden op de stijl.

De studie concludeert dat hoewel moderne embedding-tools een kleine verbetering bieden ten opzichte van eenvoudige zoekopdrachten op trefwoorden, de huidige benchmarks die worden gebruikt om hen te testen diepgaand gebrekkig zijn. De datalekken laten systemen toe om opgeblazen scores te behalen door cv's te memoriseren, de menselijke labels zijn onbetrouwbaar, en de modellen zijn gemakkelijk te misleiden door opmaaktrucs. De onderzoeker adviseert dat toekomstige tests strikt moeten voorkomen dat cv's zowel in de trainings- als in de testsets voorkomen, zich moeten richten op het duidelijkere onderscheid tussen "fit" en "geen fit" in plaats van de vage categorie "potentieel", en de opmaak moeten verwijderen vóór de analyse. Totdat deze problemen zijn aangepakt, kunnen de geautomatiseerde systemen die wervingsbeslissingen sturen, kandidaten rangschikken op basis van hoe goed ze in een gebrekkige dataset passen of hoe mooi hun opmaak is, in plaats van op basis van hun werkelijke vermogen om de baan uit te oefenen.

Technische Samenvatting: Wat meten benchmarks voor het matchen van cv's en vacatures eigenlijk?

Probleemstelling
Geautomatiseerde systemen voor het matchen van cv's aan vacatures zijn cruciaal voor het filteren van kandidaten bij online werving, maar het vakgebied kampt met een gebrek aan betrouwbare publieke benchmarks. De meeste hoogpresterende modellen worden getraind op private data, wat reproduceerbaarheid en onafhankelijke verificatie van de kwaliteit van labels of dataspins belemmert. De enige bekende publieke dataset met gegradeerde fit-labels ("Goede Match", "Potentiële Match", "Geen Match") is de resume-job-description-fit dataset. Deze dataset mist echter documentatie over de toewijzing van labels, protocollen voor dataspins of potentiële datalekken. Dit paper onderzoekt of huidige benchmarks daadwerkelijk de geschiktheid van kandidaten meten of of ze onbedoeld artefacten meten zoals cv-memorisatie, jobspecifieke biases of voorkeuren voor opmaak.

Methodologie
De studie voert een uitgebreide audit uit van de resume-job-description-fit dataset (7.987 paren, 351 banen, 643 cv's) door drie families van methoden te vergelijken en strikte controles op dataintegriteit uit te voeren:

Methodevergelijking:
- Keyword-methoden: TF-IDF en BM25.
- Zin-embeddings: Zero-shot modellen (E5-base-v2, BGE-base-en-v1.5, MPNet) en gefinetunede varianten (BGE-base met CoSENT loss).
- LLM Judges: Kleine open instructie-getunede modellen (Qwen3-4B en Qwen3-1.7B) gebruikt als zero-shot judges en re-rankers.
- Baselines: Een "Resume-prior" baseline die kandidaten scoort op basis van hun historische labels over andere banen heen (zonder de vacaturetekst ooit te lezen) en een tekstgebaseerde cv-classifier.
Experimenteel Ontwerp & Splits:
- Standaard Split: Banen zijn gesplitst in 70/15/15, maar 430 van de 434 test-cv's komen voor in de trainingsset (lekkage).
- Strikte Split: Verwijdert alle trainingsparen die test-cv's bevatten om evaluatie van onbekende cv's te garanderen.
- 5×5 Cross-Validatie: Een grid-aanpak om het effect van cv-memorisatie te scheiden van de omvang van de trainingsset.
- Formatting Bias Test: De cv's werden herschreven door een AI (Phi-4-mini) om de stijl te verbeteren zonder feiten toe te voegen, en markdown werd toegevoegd/verwijderd om de effecten van opmaak te isoleren op embedding-scores.
Label Audit:
- Menselijke Herlabeling: De auteur en een tweede annotator hebben respectievelijk 150 en 400 paren blind herlabeld om de overeenstemming met de originele dataset-labels te beoordelen.
- Statistische Analyse: Gebruikte NDCG@10, AUC (Fit vs. No Fit en Good vs. Potential) en Cohen's $\kappa$ voor overeenstemming. Statistische significantie werd getest via gepaarde permutatietests en bootstrap-resampling.

Belangrijkste Bijdragen

Reproduceerbare Benchmark Audit: De eerste reproduceerbare ranking-vergelijking van keywords, embeddings en LLM's op de enige publieke gegradeerde cv-vacature benchmark, inclusief per-job significantietesten en kostenanalyse op gratis hardware.
Bewijs van Datalekkage: Toonde aan dat de standaard dataset-split ervoor zorgt dat 430 van de 434 test-cv's in de training voorkomen. Het paper kwantificeert dat de prestatiewinst van gefinetunede modellen grotendeels wordt gedreven door het zien van deze specifieke cv's, en niet alleen door het leren van algemene fit-signalen.
Betrouwbaarheid van Labels Audit: Onthulde dat de "Good vs. Potential" labels grotendeels worden bepaald door de specifieke baan en de identiteit van het cv, in plaats van de matchkwaliteit tussen beide. De menselijke overeenstemming met de dataset-labels is zwak ( $\kappa \approx 0.32$ ), en de overeenstemming tussen annotatoren is nog lager.
Ontdekking van Formatting Bias: Identificeerde dat E5-familie embedding-modellen markdown-opmaak (bijv. vette koppen, opsommingstekens) significant belonen, zelfs wanneer de inhoud ongewijzigd blijft. Het toevoegen van markdown verhoogde de scores met 0,91 standaarddeviaties, ongeacht de werkelijke geschiktheid van de kandidaat.
Praktische Aanbevelingen: Stelde een "strikte split"-protocol voor, het gebruik van "fit vs. no fit" als primair doelwit boven fijnmazige labels, en de noodzaak van cv-only baselines om memorisatie te detecteren.

Resultaten

Embeddings vs. Keywords: Zero-shot embeddings (E5, BGE) presteerden significant maar bescheiden beter dan TF-IDF (NDCG@10: 0,739 vs. 0,706).
Finetuning & Memorisatie: Finetuning verbeterde de prestaties (NDCG@10 0,833 op de standaard split), maar deze winst stortte in toen de test-cv's uit de training werden geëlimineerd (dalend naar 0,791). Het verschil tussen de standaard en de strikte split was bijna volledig toe te schrijven aan het feit dat het model de specifieke cv's eerder had gezien.
LLM Judges: De Qwen3-4B judge presteerde niet significant beter dan zero-shot embeddings (NDCG@10 0,807 vs. 0,784), maar was ongeveer 850 keer trager (27s vs. 0,03s per baan).
Labelkwaliteit: Geen enkele baan-bewuste methode scheidde "Good" van "Potential" fit significant beter dan toeval ten opzichte van de dataset-labels. Omgekeerd bereikte een baseline die de vacaturetekst volledig negeerde een AUC van 0,727 voor "Good vs. Potential", wat suggereert dat het label meer de kenmerken van het cv reflecteert dan de match.
Menselijke Overeenstemming: De blind herlabeling door de auteur kwam zwak overeen met de dataset ( $\kappa = 0,324$ voor fit vs. no fit). Een tweede annotator stemde meer overeen met de dataset dan met de auteur, wat aangeeft dat er geen enkele bron als gouden standaard dient.
Formatting Bias: E5-base scores stegen met 0,74 SD voor door AI gepolijste cv's en met 0,91 SD voor cv's met toegevoegde markdown, zonder een corresponderende verbetering in de werkelijke geschiktheid. Deze bias beïnvloedde zowel fit als non-fit kandidaten gelijkmatig.

Significantie en Claims
Het paper betoogt dat de huidige ranking-scores op deze benchmark reflecteren hoe nauw een methode een onbekend, ruisachtig labelingsproces nabootst, in plaats van hoe goed het de geschiktheid van een kandidaat beoordeelt. De auteur claimt dat:

Lekkage prestaties opblaast: Standaard job-gegroepeerde splits maken fine-tuning effectiever lijken dan het is door modellen toe te staan specifieke cv's te memoriseren.
Labels onbetrouwbaar zijn: De "Good vs. Potential" distinctie is geen robuust signaal voor ranking; "Fit vs. No Fit" is een betrouwbaarder doelwit.
Opmaak een confounder is: Embedding-modellen kunnen worden gemanipuleerd door presentatie (markdown) in plaats van inhoud, wat een risico vormt voor de eerlijkheid in automatische screening.
LLM's geen wondermiddel zijn: Kleine open LLM's bieden geen significante winst in nauwkeurigheid ten opzien van efficiënte embeddings voor deze taak en brengen prohibitieve latentiekosten met zich mee.

De auteur concludeert dat toekomstig werk strikte dataspins (onbekende cv's), betrouwbare multi-annotator labels en preprocessing-stappen vereist om formatting bias te verwijderen vóór de embedding. De auteur stelt haar code, splits en menselijke labels beschikbaar om deze verbeteringen te faciliteren.

Meer zoals dit