WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain

Dit paper introduceert WorkRB, het eerste open-source, door de gemeenschap gedreven evaluatiekader dat 13 diverse taken in het werkdomein verenigt om de fragmentatie in AI-onderzoek voor recruitment en talentmanagement te overbruggen en reproduceerbaarheid te bevorderen.

De kern

Stel je voor dat de wereld van werk en banen een enorme, chaotische bibliotheek is. Overal ter wereld proberen bedrijven, overheden en onderzoekers AI (kunstmatige intelligentie) te gebruiken om mensen de juiste baan te vinden, vaardigheden te matchen of vacatures te ordenen. Maar tot nu toe was dit alsof iedereen in een andere taal sprak en zijn eigen eigenaardige regels had.

Sommigen gebruikten de ene lijst met beroepen, anderen de andere. De ene groep mat succes op één manier, de andere op een heel andere. Het was een ware warboel: je kon niet vergelijken of de ene AI beter was dan de andere, en omdat banen en carrières gevoelige privégegevens zijn, durfde niemand zijn "geheime recepten" (data) te delen.

WorkRB is de oplossing voor dit probleem. Het is een gemeenschappelijke speelplaats die door onderzoekers, bedrijven en overheden samen is gebouwd. Hier is hoe het werkt, vertaald naar alledaagse beelden:

1. De Universele Vertaler (De Ontologie)

Stel je voor dat WorkRB een super-verteller is die 28 talen spreekt. In de echte wereld hebben landen hun eigen lijsten met beroepen (zoals een Nederlandse lijst, een Franse lijst, een Amerikaanse lijst). WorkRB gebruikt een grote, universele "woordenlijst" (de ESCO-ontologie) die al deze verschillende lijsten met elkaar verbindt.

• De analogie: Het is alsof je een tolk hebt die ervoor zorgt dat een "plaatjesmaker" in Nederland en een "illustrator" in Spanje als dezelfde beroepsgroep worden gezien, zodat de AI ze correct kan vergelijken.

2. De Grote Testbaan (De Benchmark)

Vroeger testte elke ontwikkelaar zijn AI in een eigen, afgesloten circuit. WorkRB is nu een groot, open circuit waar iedereen zijn auto (AI-model) op kan testen.

• 13 verschillende proefnummers: De test bestaat uit 13 verschillende uitdagingen. Soms moet de AI een kandidaat vinden voor een baan, soms moet hij een vaardigheid uit een tekst halen, en soms moet hij twee vergelijkbare banen vinden.
• De "Schaal" (Scalability): Je kunt je auto nu niet alleen testen op droog asfalt (één taal), maar ook op regen, sneeuw en ijs (meerdere talen en cross-linguale situaties).

3. De Veilige Kluis (Privacy & Eigendom)

Dit is misschien wel het slimste stukje. Veel bedrijven hebben gevoelige data (wie heeft welke baan, wat verdienen ze?) die ze niet openbaar willen maken.

• De analogie: WorkRB werkt als een veilige kluis. Je mag je eigen, geheime data meenemen en testen in het systeem, maar je hoeft je data niet te delen met de rest van de wereld. Het systeem zegt: "Oké, jouw AI werkt goed op jouw geheime data," zonder dat jij je geheime data hoeft te tonen aan je concurrenten.

4. Het Samenwerkingsproject (Het Ecosysteem)

WorkRB is niet gemaakt door één persoon in een torentje. Het is een gemeenschapsproject met drie pijlers:

• De Academie: De wetenschappers die de theorie en de nieuwe ideeën bedenken.
• De Industrie: De bedrijven (zoals TechWolf, Avature, Malt) die de echte, dagelijkse problemen en data leveren.
• De Overheid: De instanties die de officiële lijsten met beroepen en vaardigheden beheren (zoals de Europese Commissie).

Waarom is dit belangrijk?

Stel je voor dat je een nieuwe auto wilt kopen. Vroeger kon je alleen kijken naar de testresultaten van de fabrikant zelf (die natuurlijk zeggen dat hun auto de beste is). Met WorkRB heb je nu een onafhankelijke, eerlijke testbaan.

• Het zorgt voor eerlijkheid: Iedereen wordt op dezelfde manier getoetst.
• Het zorgt voor veiligheid: Omdat het openbaar is, kunnen we controleren of AI-systemen eerlijk zijn en geen vooroordelen hebben.
• Het zorgt voor inclusiviteit: Het werkt in veel talen, zodat ook mensen in minder bekende talen niet achterblijven.

Kortom: WorkRB is de "olympische spelen" voor AI in de arbeidsmarkt. Het zorgt ervoor dat alle spelers op hetzelfde veld spelen, met dezelfde regels, zodat we samen kunnen bouwen aan een toekomst waar AI mensen helpt de juiste baan te vinden, zonder dat we onze privacy hoeven op te geven.

Technische samenvatting

Probleemstelling

De huidige onderzoeksliteratuur op het gebied van AI in de arbeidsmarkt (zoals vacature- en vaardigheidsaanbevelingen, talentmanagement en werkkrachtanalyse) is sterk gefragmenteerd. Dit creëert verschillende obstakels:

• Gebrek aan vergelijkbaarheid: Onderzoekers gebruiken uiteenlopende ontologieën (bijv. ESCO, O*NET, nationale taxonomieën), heterogene taakformuleringen en diverse modelfamilies. Dit maakt het bijna onmogelijk om resultaten tussen studies te vergelijken of bevindingen te reproduceren.
• Data-gevoeligheid: Arbeidsgerelateerde data (carrièregeschiedenis, salarissen, sollicitaties) valt onder strikte privacyreguleringen (zoals de AVG/GDPR). Dit beperkt de beschikbaarheid van open datasets en belemmert open evaluatie.
• Tekort aan domeinspecifieke benchmarks: Bestaande algemene NLP-benchmarks (zoals MTEB of BEIR) zijn niet afgestemd op de specifieke eisen van aanbevelingstaken in de werkwereld, noch op de multilinguale complexiteit van beroepsontologieën.

Methodologie: WorkRB Framework

WorkRB (Work Research Benchmark) is een open-source, gemeenschapsgedreven evaluatieframework dat is ontworpen om deze fragmentatie op te lossen. Het werkt als een "repository-stijl" evaluatietoolbox in plaats van een beperkt competitieplatform met een live leaderboard.

Kernarchitectuur en functionaliteiten:

1. Gestandaardiseerde Taken: WorkRB verenigt 13 verschillende aanbevelings- en NLP-taken onder 7 hoofdgroepen, allemaal geformuleerd als rangschikkingsproblemen (ranking problems). De taken omvatten:
   • Aanbeveling: Van beroep naar vaardigheid (SRec), van vaardigheid naar beroep (ORec), vergelijkbare items (SIRec) en kandidaat-aanbeveling (CRec).
   • Normalisatie: Het mappen van vrije tekst naar gestandaardiseerde ESCO-entries voor beroepen (JNorm) en vaardigheden (SNorm).
   • Extractie: Het extraheren van vaardigheden uit vacatureteksten (SExtr).
2. Multilinguale Ondersteuning: Het framework ondersteunt dynamisch laden van ontologieën (zoals ESCO) in tot 28 talen. Hierdoor kunnen zowel monolinguale als cross-linguale evaluaties worden uitgevoerd (bijv. Franse zoekopdrachten tegenover Engelse doelen).
3. Modulair en Uitbreidbaar Ontwerp:
   • Het is een pip-installable toolkit met een modulaire architectuur.
   • Gebruikers kunnen eigen, proprietaire taken en modellen toevoegen via abstracte basisclasses (RankingTask, ModelInterface) zonder gevoelige data te hoeven delen.
   • Het systeem ondersteunt automatische checkpointing, zodat evaluaties kunnen worden hervat na onderbreking.
4. Basismodellen en Metrieken: WorkRB biedt implementaties voor diverse modellen, variërend van traditionele methoden (BM25, TF-IDF) tot state-of-the-art neurale modellen (JobBERT, ConTeXTMatch, Qwen3-Embed). De evaluatie gebruikt een hiërarchische aggregatie van metrieken (MAP, NDCG, R-Precision@10, MRR) op vier niveaus: per taal, per taak, per taakgroep en over het hele benchmark.

Belangrijkste Bijdragen

1. Eerste Unificatie: WorkRB is het eerste open-source benchmarkframework dat specifiek is ontworpen voor AI in de werkdom, met een uniforme evaluatie voor 13 taken en 7 taakgroepen.
2. Ecosysteem van Stakeholders: Het project is een gezamenlijke inspanning van academici, industrie (bijv. TechWolf, Avature, Malt) en overheidsinstellingen (die ontologieën zoals ESCO en O*NET leveren). Dit creëert een mutual incentive-model waarbij bijdragers toegang krijgen tot gestandaardiseerde evaluatie en schaalbaarheid.
3. Flexibiliteit voor Privacy: Door de mogelijkheid om proprietaire datasets lokaal te evalueren binnen hetzelfde framework, wordt de drempel voor organisaties om bij te dragen verlaagd zonder inbreuk te maken op privacywetgeving.
4. Multilinguale Schaal: Het framework maakt het mogelijk om evaluaties te schalen over een kwadratisch matrix van taken en talen, wat essentieel is voor globale toepassing.

Resultaten

Het paper presenteert een eerste set van baseline-resultaten (Tabel 2) die de prestaties van verschillende modellen over de taakgroepen vergelijkt:

• Prestatieverschillen: Traditionele methoden zoals BM25 presteren redelijk op sommige taken (bijv. Skill Normalization met 47.4 MAP), maar neurale embedding-modellen overtreffen deze significant op complexere semantische taken.
• Beste Modellen: Modellen zoals CurriculumMatch en JobBERT-v2/v3 tonen de beste resultaten in de Engelstalige subsets (bijv. 44.1 en 41.8 gemiddelde MAP over alle taken).
• Multilinguale Uitdaging: Multilinguale modellen (zoals Qwen3-Embed) presteren goed, maar er is nog ruimte voor verbetering ten opzichte van taalspecifieke modellen, wat de noodzaak onderstreept van verdere ontwikkeling in dit domein.
• Referentiepunten: De resultaten bieden een duidelijk ondergrens (Random Ranking) en een bovengrens voor de huidige state-of-the-art, wat een solide basis legt voor toekomstig onderzoek.

Betekenis en Impact

• Wetenschappelijke Vooruitgang: WorkRB versnelt de collectieve vooruitgang door reproducibiliteit en directe vergelijkbaarheid mogelijk te maken, wat eerder werd belemmerd door gefragmenteerde methodologieën.
• Compliance en Verantwoordelijkheid: Het framework ondersteunt de naleving van strenge regelgeving (zoals de EU AI Act en AVG) door transparante, reproduceerbare en onafhankelijke audits van AI-systemen in de rekrutering mogelijk te maken.
• Representativiteit: Door de focus op 28 talen en diverse ontologieën, verlegt WorkRB de focus van enkel Engelstalige evaluaties naar een meer representatieve, globale benadering, wat essentieel is voor publieke arbeidsdiensten wereldwijd.
• Toekomstvisie: Het framework is ontworpen om te groeien met de gemeenschap, met plannen voor uitbreiding naar loopbaanadvies, temporele evaluaties en integratie van Large Language Models (LLMs).

Kortom, WorkRB biedt de ontbrekende schakel om AI in de werkwereld van een gefragmenteerd onderzoeksgebied naar een gestandaardiseerd, betrouwbaar en schaalbaar domein te transformeren.