💬 NLP

Building a Custom Taxonomy of AI Skills and Tasks from the Ground Up with Job Postings

Cet article présente TaxonomyBuilder, un cadre démontrant que le filtrage des données d'offres d'emploi avant leur traitement produit des taxonomies de compétences en IA plus claires et plus spécifiques au domaine que l'utilisation de corpus non filtrés avec des outils de clustering améliorés par les LLM.

Auteurs originaux : Stephen Meisenbacher, Peter Norlander

Publié 2026-05-21

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Stephen Meisenbacher, Peter Norlander

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'organiser une bibliothèque massive et chaotique contenant des millions de livres sur l'intelligence artificielle (IA). Votre objectif est de créer une carte claire et facile à lire (une taxonomie) qui aide les gens à trouver exactement ce dont ils ont besoin : des compétences et des tâches spécifiques en IA.

Les auteurs de cet article, Stephen Meisenbacher et Peter Norlander, ont créé un nouvel outil appelé TAXONOMYBUILDER pour effectuer ce travail automatiquement. Ils l'ont testé en utilisant deux énormes tas de données réelles : des millions d'offres d'emploi provenant du marché du travail américain.

Voici l'histoire de ce qu'ils ont découvert, expliquée simplement :

Le Problème : Le Piège du « Plus c'est Mieux »

Habituellement, lorsque les gens tentent d'organiser un énorme désordre, leur instinct est de jeter tout dans le mélange. Ils pensent : « Si j'inclus plus d'offres d'emploi, ma carte sera plus complète. » Ils pourraient même essayer de copier-coller des phrases similaires pour rendre le tas encore plus gros (un processus appelé augmentation des données).

Les auteurs se sont demandé : Est-ce que cela aide vraiment ? Ou cela rend-il simplement la bibliothèque plus désordonnée ?

L'Expérience : Cuisiner avec Différents Ingrédients

Pour trouver la réponse, ils ont mené 24 expériences différentes en utilisant leur outil TAXONOMYBUILDER. Ils ont modifié trois « ingrédients » principaux dans leur recette :

Augmentation des données (Ajouter plus) : Ont-ils ajouté des phrases supplémentaires et similaires au mélange pour agrandir l'ensemble de données ?
Filtrage (Retirer le bruit) : Ont-ils jeté les descriptions d'emploi les plus « faibles » ou les plus vagues, en ne conservant que les 25 %, 50 % ou 75 % supérieurs des plus claires ?
Clustering souple (Regroupement flou) : Ont-ils forcé des éléments « bruyants » qui ne correspondaient pas tout à fait à un groupe à s'y joindre quand même, juste pour être sûrs ?

La Grande Surprise : Moins c'est Plus

Les résultats étaient contre-intuitifs. L'équipe a découvert que l'ajout de plus de données rendait en réalité la carte moins bonne.

L'Erreur de « l'Augmentation » : Lorsqu'ils ajoutaient des données supplémentaires pour agrandir le tas, la carte résultante devenait confuse et moins précise. C'était comme essayer d'organiser une bibliothèque en ajoutant plus de livres qui n'étaient que des copies légèrement différentes de la même histoire ; cela créait simplement de l'encombrement.
La Victoire du « Filtrage » : Les meilleures cartes ont été créées lorsqu'ils ont été stricts. Ils ont jeté les descriptions d'emploi vagues et de mauvaise qualité (en ne conservant que les 75 % ou 50 % supérieurs des meilleures données). En éliminant le « bruit », l'IA pouvait voir les motifs clairs beaucoup mieux.
La Nuance du « Clustering Souple » : Forcer des éléments désordonnés à entrer dans des groupes n'a aidé que s'ils n'avaient pas ajouté de données supplémentaires au départ. S'ils avaient ajouté des données supplémentaires, forcer des éléments désordonnés à entrer aggravait les choses.

L'Analogie : Le Test du Lavage d'Or

Imaginez que vous laviez de l'or (des compétences en IA) dans une rivière massive (les offres d'emploi).

L'Ancienne Façon : Vous ramassez chaque seau d'eau, de boue et de roches que vous trouvez, espérant obtenir plus d'or. Vous vous retrouvez avec un énorme tas boueux où il est impossible de voir l'or.
La Nouvelle Façon (la découverte de TAXONOMYBUILDER) : Vous tamisez soigneusement l'eau d'abord. Vous jetez les seaux boueux et inutiles (filtrage). Vous ne gardez que les seaux qui semblent prometteurs. Ensuite, vous les lavez. Vous vous retrouvez avec un tas plus petit, mais il est d'or pur.

La Conclusion

L'article conclut que lorsqu'on construit une carte de compétences complexes à partir de grandes quantités de texte, la qualité bat la quantité.

Ne cherchez pas à inclure chaque morceau de données que vous pouvez trouver.
Soyez sélectif. Filtrez les informations faibles ou bruyantes.
Laissez l'IA se concentrer sur les exemples clairs et de haute qualité pour construire une carte qui est réellement utile et facile à comprendre.

En bref : Si vous voulez une carte claire du marché de l'emploi en IA, vous n'avez pas besoin de lire chaque offre d'emploi existante. Vous avez juste besoin de lire attentivement les meilleures.

Résumé technique : Élaboration d'une taxonomie personnalisée des compétences et tâches en IA à partir de zéro à l'aide d'offres d'emploi

Énoncé du problème
L'évolution rapide du marché du travail, en particulier concernant l'intelligence artificielle (IA), rend nécessaire la création de taxonomies ouvertes et granulaires pour suivre les changements dans les compétences et les tâches. Bien que des taxonomies propriétaires existent, elles souffrent souvent de restrictions d'accès aux données et d'un manque de normalisation, limitant leur utilité pour des biens publics tels que le développement de la main-d'œuvre et la conception éducative. Bien que les grands modèles de langage (LLM) offrent une voie pour automatiser la construction de taxonomies à partir de vastes corpus textuels (par exemple, les offres d'emploi), un écart critique subsiste dans la compréhension de la manière optimale d'exploiter de telles données à grande échelle. Plus précisément, il est incertain que l'inclusion de davantage de données (via l'augmentation) ou le filtrage strict des données produise une couverture et une clarté meilleures pour un domaine spécifique. Les travaux antérieurs se sont concentrés sur des ensembles de données plus petits ou se sont appuyés sur des taxonomies de départ, laissant inexplorée l'évaluation systématique des paramètres de conception pour des corpus massifs et non structurés.

Méthodologie : TAXONOMYBUILDER
Les auteurs proposent TAXONOMYBUILDER, un pipeline systématique conçu pour transformer de vastes textes d'offres d'emploi non structurés en taxonomies hiérarchiques. La méthode opère en trois étapes principales :

Configuration et exploration du contexte :
- Extraction des candidats : Le système effectue une recherche basée sur des mots-clés utilisant une liste curatée de 590 mots-clés liés à l'IA pour extraire des phrases candidates de vastes corpus d'offres d'emploi.
- Notation et filtrage : Pour atténuer les faux positifs (par exemple, « torch » comme outil de soudage versus une bibliothèque), les candidats sont notés à l'aide d'une méthode hybride basée sur la similarité cosinus entre les embeddings de phrases et les embeddings de mots-clés. Trois modèles d'embedding (ALL-MINILM-L12-V2, GTE-LARGE, EMBEDDINGGEMMA-300M) sont moyennés pour assurer la stabilité.
- Variables de configuration : L'étude examine trois décisions de conception clés :
  - Augmentation des données : Ajout de phrases sémantiquement similaires du corpus à l'ensemble des candidats (seuil > 0,9).
  - Filtrage par percentile : Conservation uniquement du 25e, 50e ou 75e percentile supérieur des candidats notés pour réduire le bruit.
  - Regroupement souple (Soft Clustering) : Réaffectation des points « bruit » (ceux ne correspondant à aucun regroupement) au centroïde du regroupement le plus proche.
Établissement des fondations (Niveau feuille) :
- Regroupement : Les phrases candidates sont regroupées à l'aide de HDBSCAN (avec réduction de dimensionnalité UMAP vers 10 dimensions).
- Étiquetage génératif : Un LLM (GPT-4o-mini) génère des étiquettes concises pour chaque regroupement, résumant les phrases candidates.
- Élagage : Les étiquettes générées subissent une vérification basée sur la similarité ; les étiquettes très similaires (similarité cosinus > 0,95) sont agrégées pour éliminer la redondance.
Construction ascendante (Construction hiérarchique) :
- Le processus itère verticalement : les étiquettes du niveau actuel servent d'entrée pour le niveau de regroupement et d'étiquetage suivant.
- Le processus s'arrête lorsque le nombre d'étiquettes tombe en dessous d'un seuil (par défaut 10) ou qu'une profondeur maximale (par défaut 5) est atteinte.

Ensembles de données
Le pipeline a été évalué sur deux vastes corpus d'offres d'emploi américaines :

NLx : 32,12 millions d'offres d'emploi de 2024 à 2025.
USAJOBS : 1,54 million d'offres d'emploi fédérales de 2017 à 2023.
Une partie des données les plus récentes de chaque corpus a été mise de côté comme ensemble de test pour l'évaluation de la validité externe.

Métriques d'évaluation
Les auteurs ont employé une stratégie d'évaluation multidimensionnelle sur 24 configurations expérimentales (12 par ensemble de données) :

Qualité du regroupement : Score de silhouette pour mesurer la définition des regroupements.
LLM en tant que juge : Un LLM (GPT-5.4-Nano) a évalué les taxonomies selon quatre catégories : Clarté (précision, ambiguïté, cohérence, accessibilité), Cohérence hiérarchique, Orthogonalité (distinctivité, non-chevauchement) et Complétude (couverture, profondeur, équilibre).
Couverture du domaine : Mesurée par la capacité des étiquettes de taxonomie résultantes à classer les phrases d'offres d'emploi mises de côté comme liées à l'IA. Cela incluait des taux de couverture « Lenients » (au moins un LLM est d'accord) et « Strictes » (les deux LLMs sont d'accord) à divers seuils de similarité ( $\tau$ ), ainsi qu'une métrique de « Utilisation des étiquettes ».

Résultats clés
Les résultats expérimentaux, analysés par ANOVA factorielle, révèlent une découverte contre-intuitive : « Moins, c'est plus ».

Augmentation des données : Contrairement à l'intuition selon laquelle plus de données améliore la couverture, l'augmentation des données a considérablement réduit les taux de couverture stricte et l'utilisation des étiquettes. Elle a introduit du bruit qui a dégradé la qualité de la taxonomie résultante.
Filtrage : Un filtrage plus strict (percentiles plus élevés, par exemple, ne conservant que le 25e ou le 50e percentile supérieur des scores) a généralement amélioré l'ajustement des regroupements, l'orthogonalité et l'utilisation des étiquettes.
Regroupement souple : Le regroupement souple (réaffectation des points de bruit) n'a été bénéfique que lorsque l'augmentation des données n'était pas utilisée. Lorsqu'il était combiné avec l'augmentation, il n'a pas produit d'améliorations significatives.
Compromis : L'étude a identifié une relation inverse entre l'inclusion de données et la performance de couverture, selon la rigueur du seuil d'évaluation. Bien que des taxonomies plus vastes et plus bruyantes (faible filtrage) aient mieux performé à des seuils de similarité très élevés (par exemple, $\tau=0,9$ ), des taxonomies plus concises et filtrées les ont surpassées à des seuils plus bas (par exemple, $\tau=0,6$ ) en raison de concepts mieux définis.

Contributions et importance
L'article apporte quatre contributions principales :

Investigation systématique : Il aborde la question inexplorée de l'utilisation optimale des données (augmentation vs filtrage) dans la construction automatisée de taxonomies pour des domaines massifs.
TAXONOMYBUILDER : Il introduit un pipeline généralisable et open source pour construire des taxonomies hiérarchiques à partir de textes non structurés, démontré sur le domaine complexe des compétences professionnelles en IA.
Preuve empirique : Il fournit des recommandations claires selon lesquelles une augmentation prudente, un regroupement strict et un filtrage sélectif produisent des taxonomies plus complètes tout en restant concises, par rapport à une inclusion de données sans restriction.
Ressources ouvertes : Les auteurs publient les taxonomies de compétences en IA construites et l'outil TAXONOMYBUILDER (disponible en tant que package Python et sur GitHub) pour soutenir la recherche ultérieure et le développement de la main-d'œuvre.

Conclusion
Les auteurs concluent que si les vastes corpus de données offrent une base fertile pour la construction de taxonomies, l'inclusion indiscriminée de données peut être préjudiciable. L'étude préconise une philosophie du « moins, c'est plus », où le filtrage sélectif et la gestion prudente du bruit sont essentiels pour créer des taxonomies de haute qualité, interprétables et pertinentes pour le domaine. Le travail met en garde que ces résultats sont spécifiques à ce cas et que la recherche future devrait continuer à explorer les compromis de conception et à formaliser les métriques d'évaluation pour une généralisabilité dans le monde réel.