Scalable Identification and Prioritization of Requisition-Specific Personal Competencies Using Large Language Models

1. Het Probleem

In de moderne werving en selectie worden AI-gestuurde tools steeds vaker ingezet om kandidaten te screenen en te beoordelen. Een cruciaal element hierbij is het identificeren van persoonlijke competenties (Personal Competencies - PCs) die nodig zijn voor succes in een baan.

Het huidige probleem is dat bestaande systemen vaak werken op het niveau van een functiecategorie (Job Category - JC), zoals "Program Manager". Deze systemen gebruiken gestandaardiseerde competentielibraries (bijv. "Omgaan met ambiguïteit") die breed toepasbaar zijn. Echter, specifieke vacatures (requisitions of 'reqs') binnen dezelfde categorie vereisen vaak unieke, domeinspecifieke vaardigheden die niet in de algemene library staan.

• Voorbeeld: Een "Program Manager" voor een machine learning-team heeft specifieke kennis nodig van "ML-systemen", terwijl een algemene PM dit niet nodig heeft.
• De uitdaging: Bestaande methoden (sleutelwoordextractie, statistische analyses of eerdere LLM-toepassingen) onderscheiden niet tussen algemene JC-competenties en req-specifieke competenties. Ze kunnen ook moeite hebben met het prioriteren van deze vaardigheden en het filteren van irrelevante of te brede termen, wat leidt tot onnauwkeurige kandidaatbeoordelingen.

2. Methodologie

De auteurs stellen een schaalbaar, LLM-gebaseerd raamwerk voor dat een gestructureerde pipeline doorloopt om req-specifieke PCs te identificeren, te prioriteren en te valideren. Het proces bestaat uit de volgende componenten:

• Dynamische Few-Shot Learning (Primary Call):
  • Het systeem gebruikt een Large Language Model (LLM) om een eerste set PCs te genereren op basis van de vacaturetekst.
  • In plaats van statische voorbeelden, selecteert het systeem dynamisch het meest relevante voorbeeld uit een bibliotheek door contextuele gelijkenis te berekenen met behulp van sentence-transformer embeddings. Als geen enkel voorbeeld een bepaalde drempelwaarde haalt, wordt er teruggevallen op zero-shot learning.
• Reflectie en Zelfverbetering (Evaluation & Regeneration):
  • Een tweede LLM-evaluatiefase beoordeelt de gegenereerde PCs op zes dimensies (o.a. granulariteit, categorisatie, rechtvaardiging).
  • Op basis van deze evaluatie worden specifieke verbeteringsvoorstellen gegenereerd.
  • Een regeneratie-stap past de initiële PCs aan volgens deze feedback om de kwaliteit te verhogen.
• Filtering (Similarity-based Filtering):
  • Deze component verwijdert redundante PCs en "out-of-scope" items (zoals algemene JC-competenties die al in de standaardlibrary staan). Dit gebeurt via gelijkenisfiltering om te voorkomen dat het systeem bekende termen opnieuw genereert als "nieuw".
• Validatie en Labelverbetering:
  • De gegenereerde labels worden vergeleken met een gestandaardiseerde competentielibrary.
  • Als een nieuwe label te veel lijkt op een bestaande library-PC maar een andere definitie heeft, wordt een kleinere LLM ingezet om het label te verfijnen tot een uniek en duidelijk alternatief.
• Human-in-the-Loop (HITL):
  • Tijdens de ontwikkeling hebben Subject Matter Experts (SMEs) iteratief feedback gegeven op modeloutput. Deze feedback werd gebruikt om de prompts te verfijnen en de drempelwaarden voor de algoritmen te optimaliseren.

3. Belangrijkste Bijdragen

• Eerste expliciete onderscheiding: Dit is het eerste werk dat systematisch onderscheid maakt tussen JC-niveau competenties en req-specifieke competenties binnen een schaalbaar identificatie- en prioriteringsproces.
• Geavanceerde LLM-pipeline: Het paper introduceert een multi-stap architectuur die dynamische few-shot learning combineert met reflectie (self-refinement) en validatie tegen bestaande libraries, wat de nauwkeurigheid aanzienlijk verbetert ten opzichte van statische prompting.
• Schaalbaarheid en Efficiëntie: Het systeem is ontworpen om duizenden vacatures te verwerken, met een potentieel besparing van 3.500 uur aan SME-tijd per jaar voor Amazon alleen al.
• Robuuste Evaluatie: De auteurs gebruiken zowel algoritmische metrics (gebaseerd op bipartite matching) als menselijke beoordelingen door SMEs om de prestaties te valideren.

4. Resultaten

Het systeem werd getest op een dataset van 140 vacatures voor Senior Program Managers (PM) en Senior Product Managers-Technical (PMT) bij Amazon.

• Nauwkeurigheid (Top-1 Precisie):
  • Het systeem bereikte een gemiddelde Top-1 precisie van 0,76 (geëvalueerd door SMEs).
  • Voor PM-vacatures was de precisie 0,76 en voor PMT 0,78.
  • Dit komt dicht in de buurt van de inter-rater betrouwbaarheid (IRR) van menselijke experts (die als benchmark diende: 0,88 voor PM en 0,79 voor PMT).
• Filtering van Irrelevante Items:
  • Het systeem behaalde een zeer lage "out-of-scope" rate van 0,07 (7%), wat onder de gestelde doelstelling van 0,10 ligt. Dit betekent dat het systeem effectief irrelevante of te algemene competenties filtert.
• Top-N Prestaties:
  • Wanneer de exacte Top-1 PC niet werd gevonden, bevatte de lijst vaak wel de juiste competentie op de tweede of derde plek. De Top-2 en Top-3 precisie lagen tussen de 0,86 en 0,93.
• Ablatie-studies:
  • De studie toonde aan dat de componenten voor extended reasoning (reflectie), evaluatie/regeneratie en validatie het meest cruciaal zijn voor de Top-1 precisie.
  • Het gebruik van een krachtiger model (Claude 4.0 vs. Claude 3.7) had een significant positief effect, vooral bij technische rollen (PMT).

5. Betekenis en Conclusie

Dit paper demonstreert dat Large Language Models, wanneer ze worden ingezet in een zorgvuldig ontworpen pipeline met menselijke feedback en validatiestappen, superieur kunnen zijn aan traditionele methoden voor het analyseren van specifieke vacaturevereisten.

• Praktische Impact: Het systeem stelt organisaties in staat om kandidaten te beoordelen op basis van de werkelijke eisen van een specifieke rol, in plaats van alleen op basis van algemene functieprofielen. Dit leidt tot betere matchings en eerlijkere selectieprocessen.
• Toekomstperspectief: De auteurs plannen om het systeem uit te breiden naar andere functiecategorieën en een bibliotheek van herbruikbare req-specifieke competenties te creëren.
• Ethiek: Het paper benadrukt dat het systeem bedoeld is als beslissingsondersteuning en geen vervanging voor menselijke experts. Menselijke review blijft essentieel voordat de output wordt gebruikt voor kandidaatbeoordeling.

Kortom, dit onderzoek biedt een robuust, schaalbaar kader om de kloof te overbruggen tussen algemene functiebeschrijvingen en de specifieke, dynamische vaardigheidsvereisten van individuele vacatures.