When LLM meets Fuzzy-TOPSIS for Personnel Selection through Automated Profile Analysis

Résumé technique : Quand le LLM rencontre le Fuzzy-TOPSIS pour la sélection de personnel via l'analyse automatisée de profils

Énoncé du problème
L'article traite des défis inhérents à la sélection traditionnelle de personnel, particulièrement dans le secteur du génie logiciel. Les méthodes de recrutement conventionnelles reposent lourdement sur le jugement humain subjectif, ce qui entraîne des incohérences, des biais et des inefficacités. Bien que l'intelligence artificielle (IA) et le traitement du langage naturel (NLP) aient progressé, les solutions existantes échouent souvent à prendre en compte de manière adéquate l'incertitude et la subjectivité inhérentes aux évaluations humaines. De plus, il existe une lacune dans l'intégration de modèles de NLP sophistiqués avec des cadres de prise de décision robustes capables de gérer des critères vagues. Les auteurs identient la nécessité d'un système intelligent combinant une analyse complète des candidats avec une prise de décision cohérente, interprétable et impartiale afin d'automatiser et d'améliorer les résultats du recrutement.

Méthodologie
La solution proposée est un cadre hybride nommé LLM-TOPSIS, qui intègre les grands modèles de langage (LLM) avec la décision multicritère floue (Fuzzy MCDM). La méthodologie se déroule en trois phases principales :

1. Construction du jeu de données et annotation par des experts :

   • Un jeu de données a été construit à partir de 100 profils LinkedIn de développeurs de logiciels, se concentrant sur quatre attributs clés : Expérience, Compétences, Éducation et À propos (auto-introduction).
   • Trois experts seniors de l'industrie ont évalué chaque profil en utilisant une échelle de Likert à cinq points standardisée, qui a ensuite été mappée vers trois classes de compétence : Médiocre, Passable et Excellent.
   • Pour remédier à la rareté des données et au déséquilibre des classes, le jeu de données a été augmenté par paraphrase, substitution de synonymes et expansion contextuelle, résultant en 10 000 échantillons par sous-ensemble de données. Les données ont été équilibrées par suréchantillonnage aléatoire.

2. Classification multiclasse basée sur les Transformers :

   • Le modèle DistilRoBERTa a été affiné (fine-tuned) pour effectuer une classification multiclasse pour chaque attribut de candidat. DistilRoBERTa a été choisi pour son efficacité (40 % plus petit et 60 % plus rapide que RoBERTa-base) tout en maintenant des performances élevées.
   • Des expériences comparatives ont été menées avec RoBERTa-base et LastBERT pour évaluer les architectures distillées légères.
   • Les modèles prédisent les niveaux de compétence basés sur les entrées textuelles, générant des scores stables par aspect.

3. Classement basé sur le Fuzzy-TOPSIS :

   • Pour agréger les prédictions par attribut en un classement final de candidats, la technique Fuzzy Technique for Order of Preference by Similarity to Ideal Solution (Fuzzy TOPSIS) a été appliquée.
   • Des nombres flous triangulaires (TFNs) ont été utilisés pour modéliser l'incertitude et la subjectivité des jugements d'experts. Les termes linguistiques (par exemple, « Très élevé ») ont été mappés vers des TFNs.
   • Les poids des critères ont été déterminés via une comparaison par paires inspirée de l'Analytic Hierarchy Process (AHP) par des experts, aboutissant aux poids suivants : Compétences (0,60), Expérience (0,20), Éducation (0,15) et À propos (0,05).
   • L'algorithme calcule la distance de chaque candidat par rapport à la Solution Idéale Positive Floue (FPIS) et à la Solution Négative Idéale Floue (FNIS) pour dériver un coefficient de proximité pour le classement.

Principales contributions
L'article présente cinq contributions principales :

• Création de jeu de données : Développement d'un jeu de données unique comprenant des profils LinkedIn augmentés par des évaluations d'experts à travers plusieurs attributs.
• Cadre hybride : Intégration de scores de compétence générés par LLM (via DistilRoBERTa affiné) avec le Fuzzy TOPSIS pour traiter explicitement la subjectivité et l'incertitude, produisant des classements fiables.
• Validation du modèle : Affinement systématique et validation empirique de DistilRoBERTa en tant que colonne vertébrale légère et évolutive, adaptée à un déploiement en conditions réelles.
• Haute précision : Démonstration d'une forte concordance entre les classements générés par le modèle et les jugements des experts, DistilRoBERTa atteignant jusqu'à 91 % de précision sur les attributs Expérience et Global.
• Cadre évolutif : Établissement d'un cadre de recrutement piloté par l'IA interprétable qui fusionne le NLP avec la prise de décision floue pour une sélection de personnel cohérente.

Résultats

• Performance de classification : Le modèle DistilRoBERtha a atteint une précision globale de 91 % pour les attributs Expérience et Global, et de 87 % pour les Compétences. L'attribut « À propos » a atteint 99 % de précision. Le modèle a démontré une précision et un rappel élevés, particulièrement dans les catégories « Médiocre » et « Excellent », bien qu'un certain chevauchement ait été observé dans la catégorie « Passable ».
• Étude d'ablation : L'étude a confirmé que l'augmentation des données et l'affinement étaient critiques, car le modèle de base sur des données non augmentées performait mal (F1-score de 0,16). L'intégration de Fuzzy-TOPSIS a amélioré les métriques de classement (le MAP est passé de 0,93 à 0,99) sans modifier la précision de la classification.
• Alignement du classement : Les classements LLM-Fuzzy TOPSIS montrent un fort alignement avec les classements Human-TOPSIS et les classements directs des experts humains. Les métriques clés incluent :
  • Similarité Cosinus : 0,983 (LLM-Fuzzy TOPSIS) vs 0,981 (Human-TOPSIS).
  • Précision Moyenne (MAP) et Rang de Réciprocité Moyen (MRR) : Tous deux supérieurs à 0,99.
  • RMSE : 0,043, indiquant une erreur minimale de déviation de classement.
• Comparaison de modèles : DistilRoBERTa et LastBERT ont surpassé le modèle complet RoBERTa-base en termes de score F1 et de taux d'erreur dans des conditions de données limitées, validant l'efficacité des architectures distillées.

Signification et affirmations
L'article affirme que la fusion du NLP avec les méthodes de décision floue offre une solution évolutive, transparente et impartiale aux difficultés de recrutement. L'étude souligne que :

• Le cadre proposé peut efficacement reproduire les schémas de jugement des experts humains avec une cohérence statistique.
• Il répond à la nature de « boîte noire » de certains outils de recrutement par IA en fournissant un processus de décision interprétable grâce au mécanisme Fuzzy TOPSIS.
• Le système réduit la dépendance aux méthodologies humaines subjectives, minimisant potentiellement les préjugés et améliorant l'efficacité.
• Bien que l'étude actuelle se concentre sur le génie logiciel, les auteurs suggèrent que le cadre a un potentiel d'application dans d'autres secteurs impliquant des décisions multicritères complexes sous incertitude, tels que la défense, la santé, l'éducation et la finance.

Les auteurs maintiennent un ton modeste concernant les implications futures, notant que l'ensemble de données actuel est limité au génie logiciel et nécessite une expansion pour une généralisabilité plus large. Ils soulignent que les travaux futurs se concentreront sur l'augmentation du jeu de données, l'amélioration de l'interprétabilité du modèle (par exemple, en utilisant SHAP ou LIME) et la vérification du système dans des scénarios de recrutement réels.