UniSkill: A Dataset for Matching University Curricula to Professional Competencies

Cet article présente UniSkill, un nouveau jeu de données annoté et synthétique reliant les cours universitaires aux compétences professionnelles de la taxonomie ESCO, démontrant la faisabilité de l'appariement entre programmes éducatifs et compétences via des modèles de langage atteignant un score F1 de 87 %.

L'essentiel

🎓 UniSkill : Le Grand Dictionnaire de Liaison entre l'École et le Travail

Imaginez que le monde du travail et le monde de l'université sont deux îles séparées par un océan. D'un côté, les entreprises crient : « Nous avons besoin de gens qui savent faire du Python ou gérer des projets Agile ! » De l'autre, les universités disent : « Nous enseignons la théorie des bases de données et la méthodologie de recherche. »

Le problème ? Personne ne parle vraiment la même langue. Il est difficile de savoir si un cours donné à l'université prépare vraiment un étudiant à un métier précis. C'est ce qu'on appelle le « fossé des compétences ».

Les auteurs de cet article, Nurlan, Joszef et Mike, ont décidé de construire un pont entre ces deux îles. Ils ont créé un outil appelé UniSkill.

1. La Mission : Trouver l'Élément Manquant

Jusqu'à présent, la plupart des recherches se concentraient sur les offres d'emploi (ce que les recruteurs demandent) ou sur les CV (ce que les candidats offrent). Mais on oubliait souvent ce qui est enseigné dans les salles de classe.

L'équipe a voulu répondre à une question simple : « Si un étudiant suit ce cours précis, acquiert-il la compétence exacte demandée par l'entreprise ? »

2. La Recette : Comment ont-ils fait ?

Pour construire ce pont, ils ont eu besoin de trois ingrédients principaux :

• Le Menu (Les Cours) : Ils ont pris des milliers de descriptions de cours de niveau master dans des universités finlandaises (informatique, business, etc.).
• La Liste de Courses (Les Compétences) : Ils ont utilisé une immense base de données européenne officielle appelée ESCO. C'est comme un dictionnaire géant qui liste tous les métiers et toutes les compétences possibles en Europe (ex: "Analyste système", "Gestion d'équipe").
• Les Jumeaux (Les Données) : C'est là que ça devient magique. Ils ont créé un jeu de données où ils ont marié manuellement des phrases de cours avec des compétences du dictionnaire ESCO.
  • Exemple : Une phrase disant « Apprendre à utiliser Jupyter Notebook » a été étiquetée comme correspondant à la compétence « Programmation en Python ».

Ils ont aussi créé des données synthétiques. Imaginez que vous demandiez à un robot très intelligent (une IA) d'écrire des exemples de phrases de cours pour chaque compétence, afin d'entraîner leur modèle encore mieux. C'est comme entraîner un athlète avec des simulateurs de pluie et de vent avant la vraie course.

3. Le Test : L'Entraîneur IA

Une fois qu'ils avaient leurs données, ils ont entraîné un « cerveau numérique » (un modèle de langage, un peu comme un super-Chatbot) pour apprendre à faire ces associations.

Ils ont posé deux défis à l'IA :

1. Le Titre du cours suffit-il ? (Ex: « Intelligence Artificielle » -> Compétence : « Machine Learning » ?)
2. Faut-il lire le détail ? (Ex: Le titre est vague, mais la phrase « Nous analyserons les réseaux de neurones » confirme-t-elle la compétence ?)

4. Les Résultats : Un Score de 87% !

Leur IA a obtenu un score impressionnant de 87% de réussite.

• L'analogie du détective : Imaginez un détective qui doit relier un suspect (la compétence) à un lieu de crime (le cours). Parfois, le titre du cours est un indice trop vague. Mais si le détective lit aussi le rapport détaillé (la phrase du cours), il trouve la preuve.
• La découverte clé : L'IA a appris que pour être sûr, il faut regarder à la fois le titre et le contenu. Si on ne regarde que le titre, on rate des détails importants. Si on ne regarde que le contenu, on perd le contexte global. Les deux ensemble font la différence.

5. Pourquoi c'est important pour vous ?

• Pour les étudiants : Vous pourrez un jour utiliser un outil qui vous dira : « Ce cours que vous hésitez à prendre contient exactement les compétences que l'entreprise X recherche pour le poste de vos rêves. »
• Pour les universités : Elles pourront voir où sont leurs lacunes. « Oh, nous enseignons la théorie, mais nos cours ne mentionnent jamais les outils pratiques demandés par le marché. »
• Pour les entreprises : Elles pourront mieux comprendre ce que les diplômés savent réellement faire, au-delà du simple nom du diplôme.

En Résumé

UniSkill, c'est comme un traducteur universel entre le langage académique (les cours) et le langage professionnel (les compétences). Grâce à une IA entraînée sur des milliers d'exemples réels et synthétiques, ils ont prouvé qu'il est possible de connecter automatiquement ce qu'on apprend à l'école avec ce qu'on fait dans la vie réelle, rendant le passage de l'école au travail beaucoup plus fluide et moins stressant.

C'est une première étape vers un futur où l'éducation et l'emploi ne sont plus deux mondes séparés, mais un seul écosystème connecté.

Résumé technique

1. Problématique et Contexte

L'extraction et la recommandation de compétences sont des domaines de recherche actifs, mais ils se concentrent principalement sur deux perspectives : l'offre (les offres d'emploi) et la demande (les candidats). Une lacune majeure persiste dans la troisième perspective cruciale : l'éducation.

• Le « Skill Gap » : Il existe un décalage entre les compétences enseignées dans les universités et celles requises par le marché du travail.
• Manque de données : Bien que des ressources existent pour l'analyse des offres d'emploi, il n'existe pas, à ce jour, de jeu de données public systématiquement annoté reliant les objectifs d'apprentissage des cours universitaires aux compétences professionnelles standardisées.
• Limites des travaux existants : Les études antérieures reposent souvent sur des méthodes statistiques simples, des cadres théoriques, ou sont limitées au contexte américain (O*NET) et à des données payantes ou non publiques.

L'objectif de ce travail est de combler ce vide en introduisant UniSkill, un jeu de données open-source pour aligner les objectifs d'apprentissage des cours sur les compétences standardisées du marché du travail.

2. Méthodologie

L'approche proposée repose sur la création d'un jeu de données hybride (annoté manuellement et synthétique) et l'entraînement de modèles de langage pour la tâche d'appariement (matching).

A. Construction du Jeu de Données (UniSkill)

• Taxonomie : Utilisation de ESCO (European Skills, Competences, Qualifications and Occupations), la norme européenne pour les compétences.
• Domaines ciblés : Deux groupes d'occupations ont été sélectionnés :
  1. Analystes de systèmes (2511).
  2. Analystes de gestion et d'organisation (2421).
• Sources éducatives : Descripteurs de cours de niveau master provenant de cinq universités finlandaises (2019-2025), filtrés pour la langue anglaise.
• Granularité : L'appariement est effectué à deux niveaux :
  1. Titre du cours ↔ Compétence.
  2. Phrase du cours (extrait du contenu ou des objectifs d'apprentissage) ↔ Compétence.
• Annotation :
  • Deux annotateurs ont travaillé sur 500 paires (300 pour le calcul de l'accord inter-annotateur).
  • Accord mesuré par le Kappa de Cohen (0,45) et un F1-score global de 0,73, jugé acceptable pour ce domaine complexe.
  • Le jeu de données final contient 2 192 paires annotées (1 096 paires titre-compétence et 1 096 paires phrase-compétence).

B. Génération de Données Synthétiques

• Pour pallier le manque de données, les auteurs ont utilisé un LLM (GPT-4o) pour générer des phrases de cours synthétiques basées sur les définitions ESCO.
• Stratégie de prompt : Génération de deux types de phrases par compétence : une mention explicite et une mention implicite.
• Validation : Les données synthétiques ont été utilisées uniquement pour l'entraînement, tandis que l'évaluation a été strictement réalisée sur les données réelles annotées pour éviter le biais d'entraînement.

C. Modélisation et Entraînement

• Approche Combinée (Combined Approach - CA) : Le modèle reçoit en entrée à la fois le titre du cours et la phrase du cours, ainsi que la compétence (nom et description).
• Format d'entrée : Utilisation de tokens spéciaux (ex: [TITLE], [SENTENCE], [SKILL]) pour aider le modèle à distinguer les composants.
• Modèles testés :
  • BERT (modèle de base).
  • Modèles spécifiques au domaine : labor_space, GBERT, ESCOXLM-R, ESCOXLM-R_ENG, me5-base-course-skill.
• Stratégie d'étiquetage : Une paire est considérée comme un « match » (classe 1) uniquement si à la fois le titre et la phrase sont jugés pertinents pour la compétence (approche conservatrice).

3. Résultats Principaux

Les expériences ont été menées sur un ensemble de test de 300 paires annotées manuellement.

• Performance du modèle de base (BERT) :

  • Le modèle atteint un F1-score de 87 % et un Rappel (Recall) de 89 % pour l'identification des compétences pertinentes.
  • L'approche combinée (Titre + Phrase) surpasse légèrement les modèles traitant séparément les titres ou les phrases (gain de ~0,015 en F1-score).
  • L'utilisation de données synthétiques lors de l'entraînement a un impact positif significatif, augmentant le rappel de 6 à 8 % par rapport à un entraînement uniquement sur des données réelles.
  • L'ajout de tokens spéciaux et d'étiquettes dans le format d'entrée améliore les performances, en particulier pour le rappel des correspondances positives.

• Comparaison des modèles :

  • Les modèles pré-entraînés spécifiques au domaine (comme ESCOXLM-R_ENG) offrent une meilleure précision mais un rappel inférieur au modèle BERT standard dans cette configuration.
  • Le modèle BERT standard reste le plus performant globalement (F1 ~84-87 % selon les configurations).

• Analyse des erreurs (Faux Négatifs) :

  • Les erreurs se produisent principalement sur des paires « difficiles » où la pertinence est ambiguë.
  • L'analyse révèle que le composant « phrase du cours » est souvent la cause du rejet d'une paire, même si le titre est pertinent. Cela suggère que des objectifs d'apprentissage plus détaillés pourraient améliorer la précision.

4. Contributions Clés

1. UniSkill Dataset : Le premier jeu de données open-source alignant les objectifs d'apprentissage universitaires sur les compétences professionnelles standardisées (ESCO), comprenant 2 192 annotations manuelles.
2. Guides d'annotation : Documentation détaillée du processus d'alignement entre les syllabus et les compétences ESCO.
3. Données Synthétiques : Un jeu de données synthétique généré par LLM avec des directives de prompting (prompt engineering) pour la génération de contenu éducatif.
4. Lignes de base (Baselines) : Des résultats de référence complets utilisant des encodeurs bi-directionnels (bi-encoders) et une analyse détaillée des prédictions erronées.

5. Signification et Impact

• Validation de la faisabilité : L'étude démontre que l'appariement automatique entre les cours universitaires et les compétences professionnelles est une tâche réalisable avec des modèles de langage modernes (F1 > 85 %).
• Importance du contexte : L'intégration du titre du cours et de son contenu (phrase) est essentielle pour une compréhension contextuelle précise.
• Rôle des données synthétiques : Bien que les données synthétiques issues d'offres d'emploi ne fonctionnent pas bien pour les cours, la génération de données synthétiques spécifiques au contexte éducatif améliore considérablement les performances des modèles.
• Applications potentielles : Ce travail ouvre la voie à des systèmes de recommandation de cours plus intelligents, à l'analyse des écarts de compétences (skill gaps) dans les programmes universitaires, et à une meilleure alignement entre l'éducation et le marché du travail.

Limites et Perspectives :
L'étude se limite à deux groupes d'occupations et à des cours en anglais. Les travaux futurs devront explorer la généralisation à d'autres langues, niveaux d'études et taxonomies, ainsi que l'intégration de compétences émergentes non encore définies dans ESCO. Une transparence accrue sur la logique d'appariement est recommandée pour éviter des conclusions éducatives trompeuses.