💬 NLP

From Classification to Ranking: Enhancing LLM Reasoning Capabilities for MBTI Personality Detection

Cet article propose un nouveau cadre d'apprentissage par renforcement qui reformule la détection de la personnalité MBTI comme une tâche de classement plutôt que de classification, en utilisant l'ajustement fin supervisé et l'optimisation de politique relative de groupe (GRPO) avec une fonction de récompense spécialisée pour surmonter les limites des méthodes basées sur les invites existantes et atteindre des performances de pointe.

Auteurs originaux : Yuan Cao, Feixiang Liu, Xinyue Wang, Yihan Zhu, Hui Xu, Zheng Wang, Qiang Qiu

Publié 2026-01-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuan Cao, Feixiang Liu, Xinyue Wang, Yihan Zhu, Hui Xu, Zheng Wang, Qiang Qiu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de deviner le type de personnalité d'un ami (comme le célèbre MBTI : Introverti vs Extraverti, Penseur vs Sentimentel, etc.) simplement en lisant ses publications sur les réseaux sociaux.

L'ancienne méthode : Le piège du « QCM »
Auparavant, les ordinateurs essayaient de résoudre cela comme un test à choix multiples strict. Ils examinaient une publication et demandaient : « Cette personne est-elle Introvertie ou Extravertie ? » Puis, ils demandaient : « Est-ce un Penseur ou un Sentimentel ? » Ils traitaient ces quatre questions comme quatre problèmes mathématiques totalement distincts et sans lien.

Le problème ? La personnalité humaine n'est pas un ensemble d'interrupteurs isolés. C'est plutôt comme une recette complexe où les ingrédients interagissent. Si vous changez un ingrédient (comme la « Pensée »), cela change la saveur des autres ingrédients (comme le « Sentiment »). L'ancienne méthode du « choix multiple » manquait ces connexions subtiles, ce qui menait à des suppositions confuses et inexactes. De plus, ces systèmes reposaient lourdement sur des humains écrivant des instructions (prompts) très spécifiques, ce qui était lent et coûteux.

La nouvelle méthode : Le classement du « Talent Show »
Les auteurs de ce document, PerDet-R1, ont décidé de ne plus traiter la détection de la personnalité comme un quiz, mais comme un Talent Show.

Au lieu de demander : « Est-ce un INTJ ? », ils demandent à l'IA : « Voici les 16 types de personnalité possibles. Veuillez les classer du "Plus probable" au "Moins probable" en vous basant sur ces publications. »

Ce changement change tout. Cela force l'IA à comparer les types entre eux, comprenant qu'un « INTJ » n'est pas seulement un mélange de « Introverti + Intuitif », mais une combinaison spécifique qui est différente d'un « ENTJ ».

Comment ils ont enseigné à l'IA (L'apprentissage en deux étapes)
Pour faire fonctionner cela, ils ont utilisé un processus d'apprentissage en deux étapes, similaire à un étudiant apprenant une nouvelle compétence :

Étape 1 : La leçon d'« imitation » (Ajustement fin supervisé)
Imaginez un chef étoilé (une IA très intelligente appelée Qwen-plus) enseignant à un chef junior (le modèle qu'ils sont en train d'entraîner). Le chef étoilé regarde une publication sur les réseaux sociaux et rédige un « processus de pensée » détaillé expliquant pourquoi un certain type de personnalité correspond le mieux, puis dresse une liste des 3 meilleures suppositions par ordre de préférence.
Le chef junior observe cela, apprend la logique et s'entraîne à rédiger des listes similaires. Cela donne une base solide à l'IA et lui apprend à « réfléchir » avant de deviner.
Étape 2 : Le « coup de sifflet du coach » (Apprentissage par renforcement)
Maintenant, le chef junior commence à cuisiner de son côté. Chaque fois qu'il fait une liste de types de personnalité, un « Coach » (un système de notation spécial) vérifie le travail.

L'ancien Coach : Se contentait de dire « Juste » ou « Faux ».
Le Nouveau Coach (GRPO) : Utilise un système de notation sophistiqué appelé NDCG. Ce coach ne se contente pas de vérifier si la bonne réponse est dans la liste ; il se soucie de savoir où elle se trouve.
- Si la personnalité correcte est classée n°1, le chef reçoit un énorme bonus.
- Si elle est classée n°3, le chef reçoit un petit bonus.
- Si elle ne figure pas dans le top 3, le chef reçoit zéro.
Le Twist : Le coach vérifie également si la première supposition est « proche » de la vérité, même si elle n'est pas parfaite. Cela empêche l'IA de tricher en devinant au hasard.

Pourquoi cela importe
En transformant la tâche en un jeu de classement plutôt qu'en un jeu de classification, l'IA a appris à comprendre les « saveurs » subtiles de la personnalité. Elle a cessé de voir la personnalité comme quatre boîtes séparées pour commencer à la voir comme un profil unique et complexe.

Les résultats
Lorsqu'ils ont testé cette nouvelle méthode sur de vraies données de réseaux sociaux (provenant de forums comme PersonalityCafe et Reddit), elle a battu toutes les autres méthodes testées. Elle était meilleure pour deviner le type de personnalité exact et, plus important encore, elle était bien meilleure pour comprendre la nuance entre des types similaires.

En résumé
Le document conclut : « Arrêtez de demander à l'IA de choisir une seule boîte. Au lieu de cela, apprenez-lui à être un juge qui classe toutes les boîtes de la meilleure correspondance à la moins bonne. Cela aide l'IA à comprendre la réalité désordonnée et interconnectée de la personnalité humaine bien mieux qu'auparavant. »

Résumé technique : De la classification au classement pour la détection de la personnalité MBTI

Énoncé du problème

La détection de la personnalité, particulièrement dans le cadre de l'indicateur de type Myers-Briggs (MBTI), traite traditionnellement la tâche comme quatre problèmes de classification binaire indépendants (E/I, S/N, T/F, J/P). Les auteurs soutiennent que cette approche souffre de deux lacunes critiques :

Découplage dimensionnel : Elle ignore les interactions hiérarchiques et les interdépendances dynamiques établies par la psychométrie entre les dimensions (par exemple, comment une fonction cognitive dominante comme l'Intuition Introvertie façonne l'expression d'autres traits).
Étiquetage statique : Elle ne parvient pas à capturer le spectre continu de la personnalité, négligeant la position relative d'un individu sur une échelle de traits.

De plus, les approches existantes basées sur les grands modèles de langage (LLM), telles que les méthodes de Chaîne de Pensée (CoT) basées sur des prompts (par exemple, PsyCoT), reposent lourdement sur des prompts conçus par des experts et des modèles à grande échelle. Cela crée une latence d'inférence élevée, des coûts de calcul importants et un manque de capacité d'apprentissage autonome de motifs, ce qui les rend peu pratiques pour les applications en temps réel.

Méthodologie : PerDet-R1

Le papier propose PerDet-R1, un cadre en deux étapes qui reformule la détection de la personnalité, passant d'une tâche de classification catégorielle à une tâche de classement (ranking) de type liste (list-wise). L'objectif est de classer les types MBTI les plus pertinents pour un utilisateur en fonction de ses publications sur les réseaux sociaux, plutôt que d'assigner un seul label discret.

1. Construction des données d'entraînement

La construction du jeu de données implique un processus rigoureux en deux étapes pour adapter les données aux différents objectifs de fine-tuning :

Étape 1 (Données SFT) : Les auteurs utilisent le modèle Qwen-plus comme enseignant pour générer des traces de raisonnement et des listes de réponses Top-K à partir de publications sur les réseaux sociaux. Ils utilisent l'échantillonnage par rejet pour filtrer les échantillons où l'étiquette de vérité terrain ne figure pas dans les prédictions Top-K du modèle. Cela garantit des chaînes d'inférence de haute qualité et lisibles.
Étape 2 (Données RL) : Le jeu de données original (excluant les échantillons SFT) est utilisé pour l'apprentissage par renforcement afin d'éviter la fuite de données et de s'assurer que le modèle apprend de la distribution complète des données comportementales.

2. Étape 1 : Fine-tuning supervisé (SFT)

Le modèle de base (Qwen2.5-7B-Instruct) subit un fine-tuning supervisé pour distiller les capacités de raisonnement du modèle enseignant (Qwen-plus).

Objectif : Instiller des schémas de raisonnement fondamentaux et des connaissances de domaine sans trop mettre l'accent sur la performance immédiate.
Sortie : Le modèle apprend à produire une liste ordonnée des types MBTI Top-K avec une conscience explicite des combinaisons et interactions dimensionnelles, formatée sous la forme <answer>[option 1, option 2, ...]<answer>.

3. Étape 2 : Apprentement par renforcement du raisonnement (GRPO)

Le modèle est optimisé davantage via l'algorithme Group Relative Policy Optimization (GRPO), un algorithme sans valeur qui calcule des avantages normalisés au niveau du groupe.

Conception de la fonction de récompense : Pour remédier à la parcimonie et au manque de différenciation des récompenses de classification standard, les auteurs conçoivent une fonction de récompense spécialisée basée sur le classement combinant :
1. Gain cumulatif décroissant normalisé (NDCG) : Mesure la pertinence et la position de la bonne réponse dans la liste de sortie, privilégiant les rangs élevés.
2. Récompense de similitude dimensionnelle (DS) : Calcule la similitude basée sur les quatre dimensions MBTI. Le score de similitude $s(\hat{t}, t^*)$ est calculé en sommant les correspondances de caractères pondérées à travers les quatre dimensions, avec un hyperparamètre $\epsilon$ contrôlant le poids de la contribution de chaque dimension.
Récompense Totale : La somme des récompenses NDCG et DS. Cette conception vise à amplifier les interactions subtiles entre les traits et à éviter le "reward hacking" en s'assurant que le modèle apprend un classement optimal des réponses plutôt qu'une simple classification correcte.

Contributions clés

Changement de paradigme : Le papier introduit le premier paradigme de classement de type liste pour la détection de la personnalité, éliminant le "sophisme catégoriel" consistant à traiter les dimensions MBTI comme des tâches binaires indépendantes.
Modélisation de récompense novatrice : Une estimation de l'avantage de cohorte de traits est introduite pour le modèle de récompense. En calculant les récompenses basées sur la similitude dimensionnelle et le NDCG, la méthode génère des signaux de récompense denses qui capturent les interactions trans-dimensionnelles et atténuent le "reward hacking".
Performance de pointe (State-of-the-Art) : La méthode proposée atteint des résultats supérieurs sur les benchmarks principaux, établissant un nouveau standard pour l'évaluation de la personnalité basée sur les données, réduisant la dépendance aux prompts d'experts.

Résultats expérimentaux

Les expériences ont été menées sur les jeux de données Kaggle et PANDORA. Le modèle a été évalué via le Macro-F1 (pour la classification binaire à 4 dimensions), le F1-Score (pour la classification multiclasse à 16 types) et le NDCG@k (pour le classement).

Gains de performance : PerDet-R1 a surpassé toutes les bases de référence, y compris les modèles de ML traditionnels (SVM, XGBoost), les architectures basées sur BERT (D-DGCN) et les méthodes basées sur les LLM (PsyCoT, ETM).
- Sur le jeu de données Kaggle, PerDet-R1 a atteint un Macro-F1 de 80,57 % (contre 77,79 % pour le précédent meilleur, ETM) et un F1-score de 41,34 % (contre 32,55 %).
- Sur le jeu de données PANDORA, il a atteint un Macro-F1 de 66,10 % et un F1-score de 35,08 %.
Études d'ablation :
- Le retrait de l'entraînement en deux étapes (SFT + GRPO) a provoqué des chutes de performance significatives (par exemple, le NDCG a chuté d'environ 20-24 %).
- Le remplacement de la stratégie de classement par la classification a entraîné une baisse de 17,50 % du F1 binaire, confirmant la supériorité de l'approche de classement.
- Les récompenses NDCG et de similitude dimensionnelle ont toutes deux été jugées essentielles ; le retrait de l'une ou l'autre a provoqué l'effondrement des signaux de récompense ou une dégradation des performances.

Signification et affirmations

Les auteurs affirment que leur travail reconceptualise fondamentalement la détection de la personnalité comme un problème de classement comparatif plutôt que comme des classifications binaires disjointes. Ce changement permet au modèle de :

Capturer les interactions nuancées entre les traits et les fonctions cognitives hiérarchiques inhérentes à la théorie MBTI, qui sont occultées par les méthodes de classification traditionnelles.
Atteindre un apprentissage autonome de motifs à partir de données comportementales, réduisant la dépendance aux prompts d'experts coûteux et aux modèles à grands paramètres.
Fournir une initialisation robuste et une capacité de généralisation grâce à la combinaison de la distillation hors-politique (SFT) et du renforcement sensible à la position (GRPO).

Le papier conclut que ce cadre offre une approche plus holistique et orientée vers le raisonnement pour la modélisation de la personnalité, atteignant des résultats de pointe tout en abordant la complexité inhérente et les frontières floues des traits de personnalité humaine. Des travaux futurs sont suggérés pour explorer les données multimodales (par exemple, avatars, expressions faciales) afin d'améliorer davantage les performances de détection.