WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain

Ce papier présente WorkRB, le premier benchmark open-source et communautaire conçu pour évaluer de manière unifiée et reproductible les modèles d'IA dans le domaine du travail, en surmontant la fragmentation actuelle des recherches grâce à une architecture modulaire intégrant 13 tâches variées et des ontologies multilingues.

L'essentiel

Imaginez que le monde du travail est une immense bibliothèque, mais c'est une bibliothèque chaotique. D'un côté, vous avez des recruteurs qui cherchent des livres (des candidats), de l'autre, des chercheurs qui écrivent des guides (des modèles d'IA). Le problème ? Tout le monde utilise des systèmes de classement différents, des langues différentes et des catalogues incompatibles. C'est comme si l'un d'eux cherchait un livre en français, un autre en espagnol, et qu'ils utilisaient des étagères de tailles différentes. Résultat : personne ne peut vraiment comparer qui a le meilleur système de recherche.

C'est là qu'intervient WorkRB, présenté dans cet article. Voici une explication simple de ce projet, imagée pour tout le monde.

1. Le Problème : Un labyrinthe sans boussole

Aujourd'hui, les entreprises utilisent l'intelligence artificielle pour trouver des talents, classer des CVs ou suggérer des formations. Mais la recherche dans ce domaine est très fragmentée.

• L'analogie : Imaginez que chaque entreprise ou chercheur construit sa propre boussole pour s'orienter dans la forêt du travail. L'un utilise le nord magnétique, l'autre le soleil, un troisième les étoiles. Même s'ils arrivent tous à destination, ils ne peuvent pas dire qui a pris le chemin le plus court ou le plus sûr, car ils ne parlent pas le même langage. De plus, les données sur les carrières sont très sensibles (comme des secrets de famille), donc on ne peut pas simplement les partager publiquement pour les tester.

2. La Solution : WorkRB, le "Grand Terrain de Jeu" standardisé

Les auteurs ont créé WorkRB (Work Research Benchmark). C'est un cadre d'évaluation open-source, conçu comme un grand terrain de jeu communautaire.

• Le concept clé : Au lieu que chacun construise son propre stade, WorkRB construit un stade unique avec des règles claires, où tout le monde peut venir tester ses joueurs (ses modèles d'IA).
• Les 13 épreuves : Sur ce terrain, il y a 13 types de défis différents, comme :
  • Le match "Poste vs Compétence" : Si je cherche un "Chef de projet", quelles compétences sont nécessaires ?
  • Le match "Candidat vs Projet" : Quel est le meilleur profil pour ce job spécifique ?
  • Le match "Traduction de CV" : Transformer un titre de poste bizarre ("Gourou du café") en un titre standard ("Barista").

3. Les Super-Pouvoirs de WorkRB

A. Le traducteur universel (Multilinguisme)

Le monde du travail ne parle pas seulement anglais. WorkRB agit comme un traducteur magique en temps réel. Il utilise des "ontologies" (des dictionnaires géants de métiers et compétences, comme ESCO en Europe) qui existent dans 28 langues.

• L'image : Vous pouvez poser une question en français sur un poste en Allemagne, et le système comprendra les deux côtés sans que vous ayez à apprendre l'allemand. Il permet de tester si l'IA fonctionne aussi bien en suédois qu'en bulgare.

B. La boîte à outils modulaire (Extensibilité)

WorkRB est conçu comme une boîte à Lego.

• Si vous êtes une entreprise (comme TechWolf ou Avature, les créateurs), vous avez des données confidentielles que vous ne voulez pas montrer au public. Pas de problème ! WorkRB vous permet de brancher vos propres pièces de Lego (vos données privées) sur le système pour les tester en interne, sans jamais les révéler.
• Si vous êtes un chercheur, vous pouvez ajouter de nouvelles pièces (de nouveaux modèles) pour voir comment ils se débrouillent sur le terrain.

C. L'équipe de trois piliers

Ce projet n'est pas fait par une seule personne, mais par une alliance de trois mondes qui se complètent :

1. L'Industrie (Les entreprises) : Apporte les vrais problèmes du quotidien et les données réelles.
2. L'Académie (Les universités) : Apporte la science, les nouvelles méthodes et les modèles de pointe.
3. Le Gouvernement (Les institutions publiques) : Apporte les règles du jeu (les dictionnaires officiels des métiers comme ESCO ou O*NET).
   C'est comme une équipe de football où les entraîneurs, les joueurs et les arbitres travaillent ensemble pour améliorer le sport.

4. Pourquoi est-ce important pour nous ?

• Confiance et Sécurité : Avec les nouvelles lois (comme l'IA Act en Europe), les entreprises doivent prouver que leurs algorithmes ne sont pas racistes ou injustes. WorkRB offre une méthode standardisée pour vérifier cela, comme un contrôle technique obligatoire pour les voitures avant de les vendre.
• Équité : Aujourd'hui, la plupart des tests d'IA se font en anglais. WorkRB s'assure que les langues moins répandues ne soient pas oubliées, rendant le marché du travail plus juste pour tout le monde.
• Économie de temps : Fini de réinventer la roue à chaque fois. Les chercheurs et les entreprises peuvent comparer leurs résultats directement, accélérant ainsi l'innovation.

En résumé

WorkRB, c'est comme créer un grand laboratoire commun pour l'IA du travail. Au lieu que chacun travaille dans son coin avec des règles floues, tout le monde se réunit sur un terrain de jeu standardisé, multilingue et sécurisé. Cela permet de s'assurer que les outils qui nous aideront à trouver du travail ou à gérer nos carrières sont performants, justes et fonctionnent aussi bien pour un candidat à Paris que pour un candidat à Varsovie ou à Tokyo.

C'est un pas vers un futur où l'IA au travail est transparente, fiable et vraiment utile pour tous.

Résumé technique

1. Problématique

Le domaine de l'IA appliquée au marché du travail (recommandation d'emplois, gestion des talents, analyse de compétences) souffre d'une fragmentation extrême qui entrave les progrès collectifs. Les principaux obstacles identifiés sont :

• Hétérogénéité des ontologies : Les études utilisent des taxonomies divergentes (ESCO, O*NET, SkillsFuture, taxonomies nationales) sans standardisation.
• Formulations de tâches disparates : Les tâches sont définies de manière inconsistante, rendant la comparaison inter-études et la reproductibilité quasi impossibles.
• Sensibilité des données : Les données d'emploi (historiques de carrière, salaires) sont soumises à des réglementations strictes (RGPD, AI Act), limitant le partage ouvert de jeux de données et la création de benchmarks publics.
• Manque de couverture spécifique : Les benchmarks NLP généraux (comme MTEB ou BEIR) ne couvrent pas les tâches spécifiques au domaine du travail ni les stratégies d'évaluation de recommandation adaptées.
• Limites multilingues : Les ressources d'évaluation sont concentrées sur l'anglais, alors que les ontologies professionnelles (comme ESCO) existent dans de nombreuses langues.

2. Méthodologie et Architecture de WorkRB

WorkRB (Work Research Benchmark) est présenté comme le premier cadre d'évaluation open-source et communautaire conçu spécifiquement pour l'IA dans le domaine du travail.

• Structure Unifiée : Le framework formalise 13 tâches distinctes regroupées en 7 catégories, toutes formulées comme des problèmes de classement (ranking) ou d'extraction :
  • Recommandation : Occupation vers Compétence (SRec), Compétence vers Occupation (ORec), Recommandation d'éléments similaires (SIRec), Recommandation de candidats (CRec).
  • Normalisation : Normalisation de titres d'emploi (JNorm) et de compétences (SNorm) vers des entrées standardisées (ex: ESCO).
  • Extraction : Extraction de compétences à partir d'offres d'emploi (SExtr).
• Support Multilingue Dynamique : WorkRB charge dynamiquement les ontologies (comme ESCO) par langue et version. Cela permet d'évaluer des scénarios monolingues et translingues (ex: requêtes en français ciblées sur des compétences en anglais) sans restructurer le code. Il supporte jusqu'à 28 langues.
• Boîte à outils Extensible (Toolkit) :
  • Installation : Disponible via pip install workrb.
  • Modularité : Utilisation de classes de base abstraites (RankingTask, ModelInterface) permettant aux utilisateurs d'ajouter facilement des tâches personnalisées ou des modèles propriétaires.
  • Confidentialité : Les organisations peuvent intégrer leurs propres données sensibles pour une évaluation interne sans avoir à les rendre publiques, grâce à un système de registre local.
• Métriques et Agrégation :
  • Métriques par défaut : MAP (Mean Average Precision), NDCG, R-Precision@10, MRR.
  • Agrégation hiérarchique en 4 niveaux : par langue, par tâche, par groupe de tâches, et score global du benchmark.
• Gestion des Checkpoints : Sauvegarde automatique des résultats après chaque tâche pour permettre la reprise du processus d'évaluation.

3. Contributions Clés

Les auteurs mettent en avant quatre contributions majeures :

1. Un Benchmark Unifié : Une plateforme centralisée couvrant 13 tâches et 7 groupes de tâches, permettant une évaluation comparative cohérente sur un large éventail de scénarios de travail.
2. Un Écosystème Multi-Parties Prenantes : WorkRB est le fruit d'une collaboration entre l'industrie (TechWolf, Avature, Malt), le monde académique (Universités de Gand, Copenhague, Edinburgh Napier, etc.) et les institutions publiques (Commission Européenne via ESCO, WAPES). Chaque partie apporte des modèles, des données réelles ou des ontologies.
3. Extensibilité et Confidentialité : La conception modulaire permet d'évaluer des modèles propriétaires sur des données sensibles sans violation de la confidentialité, tout en favorisant le partage de modèles open-source.
4. Impact Sociétal et Réglementaire : Le framework soutient la conformité aux régulations (RGPD, AI Act) en offrant une méthode standardisée, transparente et reproductible pour auditer les systèmes d'IA à risque élevé dans l'emploi.

4. Résultats et Évaluations

L'article présente des résultats préliminaires sur un sous-ensemble de modèles de base (baselines) :

• Modèles Évalués : Comparaison entre des approches lexicales traditionnelles (BM25, TF-IDF), des modèles d'embeddings neuronaux génériques (Qwen3-Embed), et des modèles spécialisés dans le domaine du travail (JobBERT-v1 à v3, CurriculumMatch, ConTeXTMatch).
• Performance :
  • Les modèles spécialisés (JobBERT, CurriculumMatch) surpassent nettement les baselines lexicales et les modèles génériques sur la plupart des tâches.
  • Par exemple, pour la tâche de normalisation de compétences (SNorm), CurriculumMatch atteint un score MAP de 88,2 (sur des données uniquement anglaises), contre 47,4 pour BM25.
  • Les modèles multilingues montrent une capacité à généraliser, bien que les performances varient selon la langue et la tâche.
• Données : Le benchmark inclut des jeux de données de tailles variées, allant de quelques centaines à plus de 150 000 paires requête-cible, couvrant des langues comme l'anglais, le bulgare, le suédois, l'allemand, etc.

5. Signification et Impact

WorkRB représente une avancée significative pour le domaine de l'IA appliquée aux ressources humaines et au marché du travail :

• Standardisation : Il comble le vide actuel en fournissant un standard ouvert pour l'évaluation, facilitant la comparaison des recherches et l'accumulation de connaissances.
• Inclusion Linguistique : En intégrant jusqu'à 28 langues via des ontologies comme ESCO, il réduit le biais anglo-centrique et améliore la représentativité des évaluations pour les populations sous-représentées.
• Conformité et Confiance : Il offre une infrastructure technique pour répondre aux exigences croissantes de l'AI Act européen concernant la transparence et l'audit des systèmes d'IA à haut risque (comme le recrutement).
• Durabilité Communautaire : En adoptant un modèle de contribution communautaire (guides de contribution, intégration continue, défis prévus pour RecSys 2026), WorkRB vise à s'assurer une évolution continue et à long terme, évitant l'obsolescence rapide des benchmarks.

En résumé, WorkRB n'est pas seulement un ensemble de données, mais un écosystème technique et collaboratif conçu pour accélérer le développement d'IA éthique, performante et multilingue dans le secteur de l'emploi.