💬 NLP

STEP: Career-Path Recommendation via Temporal and Educational Trajectory Modeling

Cet article présente STEP, un nouveau système de recommandation de parcours de carrière qui exploite les grands modèles de langage pour extraire des signaux temporels et éducatifs à partir de CV non structurés, en utilisant un GRU à décroissance temporelle, un conditionnement FiLM et un cadre d'apprentissage contrastif spécialisé appelé ROUTE pour surpasser les modèles de référence de l'état de l'art dans la prédiction des prochaines transitions professionnelles.

Auteurs originaux : Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

Publié 2026-07-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Iman Johary, Guillaume Bied, Alexandru C. Mara, Tijl De Bie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que votre carrière ne soit pas une ligne droite sur une carte, mais un fleuve sinueux qui change de vitesse, de profondeur et de direction selon le temps que vous avez passé à pagayer et la quantité d'entraînement que vous avez embarquée dans votre bateau. Pendant longtemps, essayer de prédire où ce fleuve allait couler ensuite revenait à essayer de deviner la météo en regardant un seul nuage. Mais un nouveau système appelé STEP (Sequential Trajectory of Employment Prediction) est comme un navigateur super intelligent et voyageur dans le temps qui observe l'ensemble de votre parcours pour vous dire à quoi pourrait ressembler le prochain virage du fleuve.

Voici comment il fonctionne, pourquoi il est différent, et ce que les auteurs ont réellement découvert.

La Carte Magique : Transformer le Chaos en Clarté

D'abord, l'équipe a dû faire face à un problème désordonné : les CV. Ils sont comme une pile géante de notes manuscrites dans des dizaines de langues différentes, avec des intitulés de postes qui signifient des choses différentes pour différentes personnes. On ne peut pas simplement injecter une pile de notes désordonnées dans un ordinateur et s'attendre à ce qu'il comprenne.

Pour corriger cela, ils ont construit un outil appelé ROUTE. Considérez ROUTE comme un maître traducteur et bibliothécaire. Il prend ces CV désordonnés et non structurés et transforme chaque intitulé de poste et chaque description en une « coordonnée » précise et standardisée sur une immense carte de 3 007 métiers différents (en utilisant un système appelé ESCO). Il y parvient en deux étapes : d'abord, il lit des millions d'histoires de carrières pour apprendre l'« ambiance » du marché du travail (comme un étudiant lisant une bibliothèque de livres), puis il s'exerce à trouver les bonnes connexions entre les emplois, en veillant à ne pas se laisser confondre par des métiers qui se ressemblent mais qui sont en réalité différents.

Le Navigateur : Comment STEP Prédit l'Avenir

Une fois la carte prête, STEP prend le relais. Ce n'est pas du simple hasard ; c'est un moteur sophistiqué doté de quatre engrenages spéciaux :

L'Engrenage de Décomposition Temporelle : Les carrières ne sont pas comme un jeu vidéo où chaque niveau prend exactement le même temps. Vous pouvez rester dans un emploi pendant six mois ou vingt ans. STEP utilise un mécanisme spécial de « décomposition temporelle » (time-decay). Imaginez que le souvenir d'une compétence spécifique s'estompe comme un signal radio plus le temps passe sans que vous ne l'utilisiez. Si vous n'avez pas travaillé dans un domaine spécifique depuis une décennie, STEP sait que cette partie de votre « signal de carrière » est plus faible désormais. Il accorde plus de poids aux expériences récentes qu'aux expériences anciennes, mais il se souvient que certaines compétences profondes (comme être médecin) s'estompent très lentement.
Le Filtre d'Éducation : Une personne titulaire d'un doctorat peut prendre un chemin différent de quelqu'un ayant un diplôme de fin d'études secondaires, même si elles ont le même historique de travail. STEP utilise un filtre « FiLM » (Feature-wise Linear Modulation). Voyez cela comme le fait de mettre une paire de lunettes qui change la couleur du monde en fonction de votre niveau d'éducation. Cela ajuste la prédiction pour qu'elle corresponde à la « lentille » spécifique du diplôme de la personne.
Le Projecteur d'Attention : Lorsque vous examinez un long historique de carrière, vous ne vous souvenez pas de chaque détail de la même manière. STEP utilise un mécanisme d'« attention » pour mettre en lumière les parties les plus importantes de votre passé. Il demande : « Lequel de ces emplois passés compte le plus pour prédire le suivant ? »
Le Bouton de Température : Enfin, le système possède un réglage de « température ». Cela contrôle son niveau de confiance. Si la température est basse, il est très exigeant et ne suggère que les étapes suivantes les plus évidentes. Si elle est plus élevée, il est plus ouvert à des possibilités plus audacieuses. Les auteurs ont découvert que régler ce bouton était la chose la plus importante pour obtenir de bons résultats.

Ce Qu'Ils Ont Réellement Trouvé (La Preuve)

Les auteurs ont testé STEP sur quatre ensembles de données différents, allant de petites collections d'environ 2 000 parcours de carrière à des ensembles massifs comprenant plus de 500 000 trajectoires. Ils l'ont comparé à d'autres méthodes, incluant des modèles mathématiques simples, des réseaux de neurones standards et même certains grands modèles de langage (LLM).

Le Gagnant : STEP est arrivé en tête dans chaque test. Sur le plus grand ensemble de données (JobHop v2), il a correctement prédit le prochain emploi dans les 10 meilleures suggestions 41,1 % du temps. Sur un autre ensemble de données (Karrierewege), il a atteint 70,3 %.
Ce qu'il a battu : Il a surpassé les meilleures méthodes précédentes, y compris des modèles complexes qui tentaient simplement de « lire » le texte sans comprendre la séquence du temps et de l'éducation.
Ce qu'il a écarté : Les auteurs ont explicitement testé l'utilisation de modèles de langage de grande taille (LLM) puissants et polyvalents pour effectuer la prédiction directement. Ils ont constaté que, dans cette tâche spécifique consistant à choisir le prochain emploi parmi une liste fixe de 3 007 options, ces géants des LLM étaient en fait moins performants que leur modèle plus petit et spécialisé. L'article suggère que tenter de générer le mot suivant dans une phrase n'est pas la même chose que de récupérer le bon emploi dans une base de données massive ; un moteur de « recherche » spécialisé fonctionne mieux ici.

L'Écart d'« Exploration »

Il y a un revers à la médaille. Bien que STEP soit excellent pour prédire ce que les gens font réellement ensuite, il a tendance à être un peu conservateur.

La Réalité : Lorsque les gens changent réellement d'emploi, ils font souvent des bonds de géant, passant à des industries totalement différentes (un score de « nouveauté » d'environ 2,9 sur une échelle où 4 représente un monde totalement différent).
La Prédiction : STEP suggère des mouvements plus proches de l'existant (un score de nouveauté d'environ 1,5 à 1,7).
La Conclusion : Le système est excellent pour vous dire quelle est l'étape suivante la plus probable, mais il pourrait manquer les opportunités « joker » que les gens saisissent parfois. Les auteurs suggèrent que si vous voulez un conseiller de carrière qui encourage les grands sauts risqués, vous devrez ajuster le système pour qu'il soit moins conservateur.

Jusqu'Où Peut-Il Voir ?

Les auteurs ont également testé ce qui se passe si vous demandez à STEP de prédire non seulement le prochain emploi, mais aussi l'emploi d'après, et celui d'après encore (jusqu'à 5 étapes dans le futur).

Le Résultat : La précision diminue naturellement plus on regarde loin, mais elle ne s'effondre pas. Même 5 étapes plus loin, STEP avait toujours une chance de 28,7 % d'être dans les 10 meilleures suggestions pour l'ensemble de données JobHop v2. Cela suggère qu'il s'agit d'un outil fiable pour la planification à long terme, et pas seulement pour la recherche d'emploi immédiate.

L'Essentiel

L'article prouve qu'en combinant une carte de métiers propre et standardisée (ROUTE) avec un modèle qui comprend le temps, l'éducation et l'attention (STEP), nous pouvons prédire les parcours de carrière mieux que jamais. Ce n'est pas une boule de cristal magique qui résout tous les problèmes du marché du travail, et cela ne corrige pas les biais historiques présents dans les données sur lesquelles il a été entraîné. Mais en tant qu'outil pour comprendre comment les carrières évoluent, c'est une avancée significative, montant que les modèles spécialisés et conscients du temps sont actuellement la meilleure façon de naviguer dans le fleuve complexe d'une vie professionnelle.

Résumé technique : STEP – Recommandation de parcours de carrière via la modélisation des trajectoires temporelles et éducatives

1. Formulation du problème

L'article traite du défi de la prédiction du prochain emploi au sein des trajectoires de carrière. Bien que les CV contiennent des informations riches concernant l'historique professionnel, l'éducation et les compétences, leur nature non structurée, hétérogène et multilingue a historiquement entravé une analyse systématique à grande échelle. Les auteurs cadrent la recommandation de parcours de carrière comme une tâche de prédiction de séquence de type "plusieurs-vers-un" : étant donné une séquence observée d'emplois $(j_1, \dots, j_{t-1})$ et des signaux auxiliaires (intervalles de temps entre les emplois $\delta$ et niveau d'éducation $e$ ), l'objectif est de prédire l'occupation suivante $j_t$ à partir d'un ensemble de candidats finis (généralement les 3 007 nœuds feuilles des occupations de la taxonomie ESCO).

Le problème est complexifié par trois facteurs :

Rareté des données : Les benchmarks publics existants sont soit de petite taille, manquent de métadonnées temporelles/éducatives, ou reposent sur des données propriétaires (ex. : LinkedIn) qui empêchent une réplication indépendante.
Représentation : Les encodeurs de phrases standards échouent souvent à capturer la sémantique compositionnelle du texte de carrière ou les relations spécifiques entre les titres d'emploi et la taxonomie ESCO.
Dynamiques temporelles et éducatives : Les transitions de carrière ne sont pas uniformes dans le temps (allant de quelques mois à des décennies) et sont fortement influencées par le niveau d'instruction, pourtant peu de modèles intègrent conjointement ces signaux dans une architecture séquentielle basée sur la recherche (retrieval).

2. Méthodologie

La solution proposée se compose de deux composantes principales : ROUTE (pour l'apprentissage de la représentation) et STEP (pour la prédiction séquentielle).

2.1 ROUTE : Représentation de trajectoires de carrière uniques sous forme de plongements (embeddings)

ROUTE est une procédure d'apprentissage contrastif en deux étapes conçue pour produire des plongements d'occupations de haute qualité qui servent d'entrée au prédicteur.

Étape 1 : Adaptation de domaine non supervisée (TSDAE) : Un encodeur multilingue pré-entraîné (spécifiquement multilingual-e5-base) est adapté au domaine de la carrière en utilisant l'auto-encodage de débruitage séquentiel basé sur les Transformers (TSDAE). Le modèle reconstruit le texte de la carrière à partir d'entrées où des jetons ont été supprimés, forçant l'encodeur à capturer le contenu sémantique complet des descriptions de CV hétérogènes.
Étape 2 : Fine-tuning contrastif guidé (GISTEmbedLoss) : L'encodeur adapté subit un fine-tuning contrastif supervisé sur des paires (historique, prochain emploi). Pour traiter le problème des "faux négatifs" (où l'échantillonnage aléatoire dans un batch sélectionne des occupations sémantiquement similaires comme négatifs), les auteurs emploient la GISTEmbedLoss. Celle-ci utilise un modèle guide gelé pour calculer les similitudes par paire, filtrant les faux négatifs et accentuant les négatifs difficiles afin de produire un signal de gradient plus propre.

2.2 STEP : Prédiction de la trajectoire séquentielle d'emploi

STEP est un modèle de prédiction séquentielle qui opère sur les plongements générés par ROUTE. Il intègre quatre composantes architecturales spécifiques pour modéliser la dynamique de carrière :

Cellule GRU à décroissance temporelle (Time-Decay GRU Cell) : Contra-irement aux RNN standards qui supposent des pas de temps uniformes, STEP incorpore un mécanisme de décroissance exponentielle dans la mise à jour de l'état caché du GRU. Avant de traiter un nouvel emploi, l'état caché précédent $h_{t-1}$ est décrémenté par un facteur apprenable $\exp(-\lambda \cdot \delta_t)$ , où $\delta_t$ est l'intervalle de temps entre les emplois. Cela permet au modèle d'apprendre que certains attributs de carrière (ex. : expertise métier) décroissent plus lentement que d'autres (ex. : compétences techniques spécifiques).
Conditionnement de degré par FiLM : Au lieu de concaténer le niveau d'éducation comme une simple caractéristique d'entrée, STEP utilise la Modulation Linéaire par Caractéristique (FiLM). Le niveau d'éducation est encodé et projeté en paramètres de mise à l'échelle ( $\gamma$ ) et de décalage ( $\beta$ ) qui modulent l'état caché à chaque étape de temps ( $h'_t = \tanh(\gamma) \odot h_t + \beta$ ). Cela permet au modèle de conditionner directement les schémas de progression de carrière sur le niveau d'instruction.
Regroupement de séquence basé sur l'attention (Attention-Based Sequence Pooling) : Plutôt que de se fier uniquement au dernier état caché, le modèle utilise un mécanisme d'attention apprenable pour agréger la séquence des états cachés conditionnés par le degré en une seule représentation de trajectoire. Cela pondère les étapes de carrière selon leur pertinence prédictive.
Mise à l'échelle de température apprenable (Learnable Temperature Scaling) : L'embedding de la trajectoire finale est comparé à toutes les occupations ESCO candidates via une similitude cosinus. Un paramètre de température apprenable $\tau$ met à l'échelle les logits avant le softmax, contrôlant la netteté de la distribution de probabilité sur le grand ensemble de candidats ( $K=3,007$ ).

Le modèle est entraîné de bout en bout avec une perte d'entropie croisée avec lissage de labels (label smoothing).

3. Principales contributions

Le modèle STEP : Une nouvelle architecture séquentielle qui modélise conjointement les intervalles temporels et l'atteinte éducative pour la prédiction du prochain emploi. Il atteint l'état de l'art sur quatre benchmarks.
La procédure ROUTE : Un pipeline d'embedding en deux étapes (TSDAE + GISTEmbedLoss) qui améliore considérablement la qualité de la représentation des occupations, particulièrement pour les tâches de recherche, en adaptant les encodeurs multilingues au domaine de la carrière et en atténuant les faux négatifs dans l'apprentissage contrastif.
Le jeu de données JobHop v2 : Une version améliorée du précédent jeu de données JobHop des auteurs. Il présente une extraction de meilleure qualité via des LLM contrôlés par raisonnement, un schéma plus riche (incluant les types de contrats et les compétences), et une taxonomie d'éducation à cinq niveaux (Aucun, Secondaire, Licence, Master, Doctorat), remplaçant le précédent indicateur binaire.
Évaluation complète : Le travail évalue sur quatre jeux de données distincts (Decorte, Karrierewege, JobHop, et JobHop v2), démontnant une robustesse à travers différentes échelles, langues (anglais, néerlandais, français, allemand) et richesse d'annotation.

4. Résultats

Les auteurs rapportent les performances en utilisant le Rang Reciproque Moyen (MRR), le Recall@5 et le Recall@10.

Performance globale : STEP surpasse tous les baselines (incluant Markov, Linéaire, MLP, BiLSTM et la recherche directe) sur les quatre jeux de données.
- Sur Decorte, STEP atteint 46,6 % R@10, dépassant le meilleur score précédent (43,01 %) et la baseline de recherche directe (46,1 %).
- Sur Karrierewege, STEP atteint 70,3 % R@10, un gain de 1,4 point de pourcentage par rapport à la baseline BiLSTM réimplémentée.
- Sur JobHop v2, STEP atteint 41,1 % R@10, surpassant BiLSTM (38,2 %) et MLP (38,5 %).
Études d'ablation :
- Mise à l'échelle de la température : Supprimer ce composant provoque une dégradation catastrophique (le R@10 chute de 41,24 % à 24,69 % sur JobHop v2), soulignant son rôle critique dans le calibrage des probabilités sur le vaste espace de labels ESCO.
- FiLM vs Concaténation : Le conditionnement par FiLM apporte une amélioration marginale mais constante par rapport à la simple concaténation, confirmant que la modulation multiplicative capture mieux les interactions entre diplôme et carrière.
- Embedding vs Prédicteur : Bien que ROUTE améliore considérablement la performance de la recherche directe, le prédicteur STEP est le principal moteur des gains de bout en bout. Le prédicteur réapprend la fonction de score, ce qui le rend robuste aux variations de la pile d'embeddings, bien que la pipeline complète de ROUTE reste l'option par défaut la plus sûre.
Diversité et Nouveauté : L'analyse révèle un compromis entre précision et exploration. Bien que STEP atteigne une précision élevée, il a tendance à recommander des occupations proches du rôle actuel (scores de "Nouveauté" plus faibles) par rapport aux transitions réelles, qui sont souvent plus exploratoires. Cependant, STEP offre un meilleur équilibre entre diversité et précision que les baselines de recherche pure.
Prédiction multi-étapes : Dans l'évaluation autoregressive multi-étapes (horizons jusqu'à 5), la performance se dégrade graduellement plutôt que de manière catastrophique, conservant un rappel significatif (ex. : 28,7 % R@10 à l'horizon 5 sur JobHop v2).

5. Signification et affirmations

L'article affirme que STEP représente une avancée significative dans la recommandation de parcours de carrière en exploitant avec succès la "richesse" des données de CV non structurées grâce aux Large Language Models (LLM) pour l'extraction et la modélisation temporelle et éducative.

Accessibilité des données : En publiant JobHop v2 et le code, les auteurs répondent au manque critique de jeux de données de trajectoires de carrière largement annotés et publiquement disponibles, permettant une recherche reproductible dans ce domaine.
Intégration méthodologique : Ce travail démontre que l'intégration d'intervalles temporels réels et du niveau d'instruction dans une architecture séquentielle basée sur la recherche produit des résultats supérieurs aux modèles séquentiels standards (LSTM/MLP) ou aux méthodes de recherche pure.
Adaptation de domaine : L'étude valide que le pré-entraînement adaptatif au domaine (TSDAE) et l'apprentissage contrastif guidé (GISTEmbedLoss) sont essentiels pour créer des plongements d'occupations qui généralisent bien, particulièrement lorsqu'on traite des données de CV multilingues et bruitées.
Modestie sur les limites : Les auteurs reconnaissent explicitement que leurs modèles sont entraînés sur des données historiques et peuvent refléter les biais existants du marché du travail (ex. : ségrégation professionnelle). Ils avertissent qu'une haute précision n'équivaut pas à un conseil de carrière optimal, car les modèles ont tendance à être conservateurs et peuvent sous-recommander des mouvements de carrière exploratoires. Ils soulignent qu'une évaluation de l'équité est un prérequis nécessaire à tout déploiement dans le monde réel.

En résumé, l'article établit un nouvel état de l'art pour la prédiction du prochain emploi en combinant un apprentissage de représentation avancé avec un modèle séquentiel conscient du temps et de l'éducation, tout en fournissant à la communauté les données et les outils nécessaires pour approfondir ce travail.