💬 NLP

Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

Dit artikel introduceert TaxonomyBuilder, een raamwerk dat aantoont dat het filteren van vacaturedata voorafgaand aan verwerking leidt tot helderdere en meer domeinspecifieke AI-vaardigheids-taxonomieën dan het gebruik van ongefilterde corpora met door LLM's versterkte clusteringtools.

Oorspronkelijke auteurs: Stephen Meisenbacher, Peter Norlander

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Stephen Meisenbacher, Peter Norlander

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een enorme, chaotische bibliotheek te organiseren met miljoenen boeken over Kunstmatige Intelligentie (KI). Je doel is om een duidelijk, makkelijk te lezen kaart (een taxonomie) te maken die mensen helpt precies te vinden wat ze nodig hebben: specifieke KI-vaardigheden en taken.

De auteurs van dit artikel, Stephen Meisenbacher en Peter Norlander, bouwden een nieuw hulpmiddel genaamd TAXONOMYBUILDER om deze taak automatisch uit te voeren. Ze testten het met twee enorme stapels real-world data: miljoenen vacatures uit de Amerikaanse arbeidsmarkt.

Hier is het verhaal van wat ze ontdekten, eenvoudig uitgelegd:

Het Probleem: De Valstrik van "Meer is Beter"

Meestal is de instinctieve reactie van mensen wanneer ze proberen een enorme rommel te ordenen, om alles in de mix te gooien. Ze denken: "Als ik meer vacatures opneem, zal mijn kaart completer zijn." Ze proberen misschien zelfs vergelijkbare zinnen te kopiëren en plakken om de stapel nog groter te maken (een proces dat data-augmentatie heet).

De auteurs vroegen zich af: Is dit eigenlijk wel nuttig? Of maakt het de bibliotheek gewoon rommeliger?

Het Experiment: Koken met Verschillende Ingrediënten

Om het antwoord te vinden, voerden ze 24 verschillende experimenten uit met hun TAXONOMYBUILDER-tool. Ze veranderden drie hoofd"ingrediënten" in hun recept:

Data-augmentatie (Meer toevoegen): Voegden ze extra, vergelijkbare zinnen toe aan de mix om de dataset groter te maken?
Filteren (Het ruis verwijderen): Goooiden ze de "zwakste" of meest vage vacaturebeschrijvingen weg, waarbij ze alleen de top 25%, 50% of 75% van de duidelijkste behielden?
Zachte clustering (Vage groepering): Dwongen ze "ruizige" items die niet helemaal in een groep pasten om toch mee te doen, gewoon om op zeker te spelen?

De Grote Verrassing: Minder is Meer

De resultaten waren tegenintuïtief. Het team ontdekte dat het toevoegen van meer data de kaart eigenlijk slechter maakte.

De "Augmentatie"-fout: Toen ze extra data toevoegden om de stapel groter te maken, werd de resulterende kaart verwarrend en minder nauwkeurig. Het was alsof je een bibliotheek probeerde te ordenen door meer boeken toe te voegen die slechts lichtelijk verschillende kopieën van hetzelfde verhaal waren; het creëerde alleen maar rommel.
De "Filter"-winst: De beste kaarten werden gemaakt toen ze streng waren. Ze gooiden de vage, slechte kwaliteit vacaturebeschrijvingen weg (en behielden alleen de top 75% of 50% van de beste data). Door het "ruis" te verwijderen, kon de KI de duidelijke patronen veel beter zien.
De "Zachte clustering"-nuance: Het dwingen van rommelige items in groepen hielp alleen als ze geen extra data hadden toegevoegd in de eerste plaats. Als ze extra data hadden toegevoegd, maakte het dwingen van rommelige items erin de situatie alleen maar erger.

De Analogie: Het Goudpannen Test

Stel je voor dat je goud (KI-vaardigheden) aan het pannen bent in een enorme rivier (de vacatures).

De Oude Manier: Je schept elke emmer water, modder en stenen op die je kunt vinden, in de hoop meer goud te krijgen. Je eindigt met een enorme, modderige hoop waar het onmogelijk is om het goud te zien.
De Nieuwe Manier (de bevinding van TAXONOMYBUILDER): Je zeurt eerst zorgvuldig door het water. Je gooit de modderige, nutteloze emmers weg (filteren). Je houdt alleen de emmers die veelbelovend lijken. Dan pan je die. Je eindigt met een kleinere hoop, maar het is puur goud.

De Conclusie

Het artikel concludeert dat bij het maken van een kaart van complexe vaardigheden uit enorme hoeveelheden tekst, kwaliteit de hoeveelheid verslaat.

Probeer niet om elk enkel stukje data dat je kunt vinden op te nemen.
Wees selectief. Filter zwakke of ruizige informatie eruit.
Laat de KI zich richten op de duidelijke, hoogwaardige voorbeelden om een kaart te bouwen die daadwerkelijk nuttig en makkelijk te begrijpen is.

Kortom: Als je een duidelijke kaart van de KI-jobsmarkt wilt, hoef je niet elke enkele vacature die bestaat te lezen. Je hoeft alleen de beste eruit zorgvuldig te lezen.

Technische Samenvatting: Het Bouwen van een Aangepaste Taxonomie van AI-Vaardigheden en Taken van de Grond af op Basis van Vacatures

Probleemstelling
De snelle evolutie van de arbeidsmarkt, met name met betrekking tot Kunstmatige Intelligentie (AI), vereist de creatie van open, gedetailleerde taxonomieën om veranderingen in vaardigheden en taken bij te houden. Hoewel er propriëtaire taxonomieën bestaan, lijden deze vaak onder beperkingen in gegevenstoegang en een gebrek aan standaardisatie, wat hun bruikbaarheid voor publieke goederen zoals arbeidskrachtontwikkeling en onderwijsontwerp beperkt. Hoewel Large Language Models (LLM's) een weg bieden om taxonomie-bouw te automatiseren vanuit enorme tekstcorpora (bijvoorbeeld vacatures), blijft er een kritieke kloof bestaan in het begrijpen van hoe dergelijke grootschalige gegevens het beste kunnen worden benut. Specifiek is het onduidelijk of het opnemen van meer gegevens (via augmentatie) of het strikt filteren van gegevens leidt tot betere domeinspecifieke dekking en duidelijkheid. Eerdere werken hebben zich gericht op kleinere datasets of vertrouwd op zaad-taxonomieën, waardoor de systematische evaluatie van ontwerpparameters voor enorme, ongestructureerde corpora onverkend is gebleven.

Methodologie: TAXONOMYBUILDER
De auteurs stellen TAXONOMYBUILDER voor, een systematische pijplijn ontworpen om grootschalige, ongestructureerde vacaturetekst om te zetten in hiërarchische taxonomieën. De methode werkt in drie hoofdfasen:

Opzet en Context Mining:
- Kandidaatextractie: Het systeem voert een zoekopdracht op basis van trefwoorden uit met behulp van een gecureerde lijst van 590 AI-gerelateerde trefwoorden om kandidaat-zinnen te extraheren uit enorme corpora van vacatures.
- Scoren en Filteren: Om vals-positieven te mitigeren (bijvoorbeeld "torch" als lasgereedschap versus een bibliotheek), worden kandidaten gescoord met een hybride methode gebaseerd op cosinus-ähnelijkheid tussen zins-embeddings en trefwoord-embeddings. Drie embedding-modellen (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) worden gemiddeld voor stabiliteit.
- Configuratievariabelen: De studie onderzoekt drie belangrijke ontwerpbeslissingen:
  - Gegevensaugmentatie: Het toevoegen van semantisch vergelijkbare zinnen uit het corpus aan de kandidaatset (drempel > 0,9).
  - Percentiel-filtering: Alleen het behoud van de top 25e, 50e of 75e percentiel van gescorede kandidaten om ruis te verminderen.
  - Zachte clustering: Het opnieuw toewijzen van "ruis"-punten (degenen die niet in een cluster passen) aan het dichtstbijzijnde clustercentrum.
Het Leggen van de Basis (Blaadniveau):
- Clustering: Kandidaat-zinnen worden geclusterd met behulp van HDBSCAN (met UMAP-dimensiereductie naar 10 dimensies).
- Generatieve Labeling: Een LLM (GPT-4o-mini) genereert beknopte labels voor elke cluster, waarbij de kandidaat-zinnen worden samengevat.
- Uitsnijden: gegenereerde labels ondergaan een op overeenkomst gebaseerde controle; sterk vergelijkbare labels (cosinus-ähnelijkheid > 0,95) worden samengevoegd om redundantie te verwijderen.
Het Opbouwen (Hiërarchische Constructie):
- Het proces loopt verticaal iteratief: de labels van het huidige niveau dienen als invoer voor het volgende niveau van clustering en labeling.
- Het proces stopt wanneer het aantal labels onder een drempelwaarde daalt (standaard 10) of wanneer een maximale diepte (standaard 5) wordt bereikt.

Datasets
De pijplijn werd geëvalueerd op twee grote Amerikaanse vacaturecorpora:

NLx: 32,12 miljoen vacatures uit 2024–2025.
USAJOBS: 1,54 miljoen federale vacatures uit 2017–2023.
Een deel van de meest recente gegevens uit elk corpus werd terzijde gehouden als testset voor evaluatie van externe validiteit.

Evaluatiemetrics
De auteurs hanteerden een meerdimensionale evaluatiestrategie over 24 experimentele configuraties (12 per dataset):

Kwaliteit van Clustering: Silhouette-score om de definitie van clusters te meten.
LLM als Rechter: Een LLM (GPT-5.4-Nano) evalueerde de taxonomieën op vier categorieën: Duidelijkheid (precisie, ambiguïteit, consistentie, toegankelijkheid), Hiërarchische coherentie, Orthogonaliteit (onderscheidend vermogen, niet-overlappend) en Volledigheid (dekking, diepte, balans).
Domeindekking: Gemeten door hoe goed de resulterende taxonomie-labels terzijde gehouden vacaturezinnen als AI-gerelateerd konden classificeren. Dit omvatte "Laxe" (ten minste één LLM is het eens) en "Strikte" (beide LLM's zijn het eens) dekkingpercentages bij verschillende overeenkomstsdrempels ( $\tau$ ), samen met een "Labelbenutting"-metric.

Belangrijkste Resultaten
De experimentele resultaten, geanalyseerd via factoriële ANOVA, onthullen een tegen-intuïtieve bevinding: "Minder is meer."

Gegevensaugmentatie: In tegenstelling tot de intuïtie dat meer gegevens de dekking verbetert, verminderde gegevensaugmentatie de strikte dekkingpercentages en labelbenutting aanzienlijk. Het introduceerde ruis die de kwaliteit van de resulterende taxonomie verslechterde.
Filteren: Strikter filteren (hogere percentielen, bijvoorbeeld alleen de top 25e of 50e percentiel van scores behouden) verbeterde over het algemeen de clusterfit, orthogonaliteit en labelbenutting.
Zachte clustering: Zachte clustering (het opnieuw toewijzen van ruis-punten) was alleen gunstig wanneer gegevensaugmentatie niet werd gebruikt. In combinatie met augmentatie leverde het geen significante verbeteringen op.
Afwegingen: De studie identificeerde een omgekeerd verband tussen gegevensopname en dekkingprestaties, afhankelijk van de strengheid van de evaluatiedrempel. Terwijl grotere, ruizigere taxonomieën (lage filtering) beter presteerden bij zeer hoge overeenkomstsdrempels (bijvoorbeeld $\tau=0,9$ ), presteerden beknoptere, gefilterde taxonomieën beter bij lagere drempels (bijvoorbeeld $\tau=0,6$ ) vanwege beter gedefinieerde concepten.

Bijdragen en Betekenis
Het artikel levert vier primaire bijdragen:

Systematisch Onderzoek: Het adresseert de onverkende vraag naar optimaal gegevensgebruik (augmentatie versus filtering) bij geautomatiseerde taxonomie-bouw voor enorme domeinen.
TAXONOMYBUILDER: Het introduceert een generaliseerbare, open-source pijplijn voor het construeren van hiërarchische taxonomieën uit ongestructureerde tekst, gedemonstreerd op het complexe domein van AI-werkplekvaardigheden.
Empirisch Bewijs: Het biedt duidelijke aanbevelingen dat zorgvuldige augmentatie, strikte clustering en selectieve filtering leiden tot meer uitgebreide maar beknopte taxonomieën dan onbeperkte gegevensopname.
Open Bronnen: De auteurs geven de geconstrueerde AI-vaardigheidstaxonomieën en de TAXONOMYBUILDER-tool vrij (beschikbaar als Python-pakket en op GitHub) om verder onderzoek en arbeidskrachtontwikkeling te ondersteunen.

Conclusie
De auteurs concluderen dat hoewel enorme gegevenscorpora een vruchtbare basis bieden voor taxonomie-bouw, het ongedifferentieerd opnemen van gegevens schadelijk kan zijn. De studie pleit voor een "minder is meer"-filosofie, waarbij selectief filteren en zorgvuldige omgang met ruis essentieel zijn voor het creëren van hoogwaardige, interpreteerbare en domeinrelevante taxonomieën. Het werk waarschuwt dat deze bevindingen specifiek zijn voor dit geval en dat toekomstig onderzoek de afwegingen in ontwerp moet blijven verkennen en evaluatiemetrics moet formaliseren voor generaliseerbaarheid in de echte wereld.