💬 NLP

Team MKC at CLPsych 2026: Capturing and Characterizing Mental Health Changes through Social Media Timeline Dynamics

Cet article présente le pipeline basé sur les LLM de l'équipe MKC pour la tâche partagée CLPsych 2026, qui propose un cadre unifié pour effectuer conjointement l'évaluation de la santé mentale au niveau des publications et la modélisation temporelle au niveau des utilisateurs en analysant des publications de réseaux sociaux ordonnées séquentiellement.

Auteurs originaux : Kyomin Hwang, Hyeonjin Kim, Hyunho Lee, Nojun Kwak

Publié 2026-07-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kyomin Hwang, Hyeonjin Kim, Hyunho Lee, Nojun Kwak

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de comprendre le parcours émotionnel d'une personne en lisant simplement ses entrées de journal intime au fil du temps. Certains jours, elle écrit qu'elle se sent très bien ; d'autres jours, elle semble inquiète ou triste. Parfois, il y a un passage soudain du bonheur à la tristesse, ou un sentiment de dégradation lente et rampante.

Ce document traite d'une équipe de chercheurs (l'équipe MKC) qui a construit un système de détective numérique utilisant une IA avancée (appelée Grands Modèles de Langage ou LLM) pour faire exactement cela. Ils ont participé à une compétition appelée CLPsych 2026, dont l'objectif est d'analyser les publications sur les réseaux sociaux pour repérer les changements dans la santé mentale.

Voici comment leur système fonctionne, décomposé en étapes simples :

1. Le « Microscope » (Étape 1 & 2)

D'abord, l'IA examine une seule publication à la fois. Considérez cela comme un microscope zoomant sur une seule phrase.

Ce qu'elle fait : Elle essaie d'étiqueter la publication avec des marqueurs spécifiques. La personne est-elle en mode « adaptatif » (gère bien la situation) ou « maladaptif » (est en difficulté) ? Elle décompose ces sentiments en 12 micro-catégories (comme « sentiment de désespoir » ou « sentiment d'espoir »).
Le défi : Les données d'entraînement étaient très désordonnées. La plupart des publications concernaient des sentiments communs, mais très peu concernaient des sentiments rares et extrêmes. C'est comme essayer d'apprendre à identifier des oiseaux rares quand vous n'avez que 500 photos d'eux, mais 4 000 photos de pigeons.
La solution : Pour empêcher l'IA d'ignorer les oiseaux rares, les chercheurs lui ont appris à prêter une attention particulière aux exemples rares. Ils ont également utilisé une astuce appelée « validation croisée K-fold », qui revient à faire appel à cinq détectives différents pour examiner les mêmes indices, puis à voter sur la réponse pour s'assurer de ne rien manquer.

2. La « Feuille de score » (Étape 2)

Après avoir étiqueté la publication, l'IA lui attribue une note de 1 à 5.

Ce qu'elle fait : Elle demande : « Quelle est l'intensité de ce sentiment ? »
Le résultat : Elle produit un chiffre qui représente à quel point cette publication spécifique semble « saine » ou « malsaine ».

3. Le « Feu tricolore » (Étape 3)

Maintenant, l'IA examine deux publications consécutives pour voir ce qui s'est passé entre elles.

Ce qu'elle fait : Elle essaie de repérer deux choses spécifiques :
1. Le Changement : Un changement soudain et brutal (comme un feu rouge qui devient instantanément vert).
2. L'Escalade : Un changement lent et rampant (comme un feu de signalisation qui passe lentement du jaune au rouge).
Le résultat : Elle signale le moment exact où l'humeur d'une personne a changé de manière significative.

4. Le « Conteur » (Étape 4)

Une fois que l'IA a analysé les publications individuelles et les changements, elle agit comme un synthétiseur.

Ce qu'elle fait : Elle lit l'ensemble de la chronologie des publications et écrit une courte histoire ou un résumé de ce qui s'est passé.
Le bémol : Les chercheurs ont constaté que lorsqu'ils essayaient d'« enseigner » à l'IA comment écrire ces histoires en lui montrant des exemples (ajustement fin ou fine-tuning), elle faisait en réalité moins bien que si on lui demandait simplement d'écrire l'histoire de zéro en utilisant ses connaissances existantes. C'est comme un étudiant qui mémoriserait tellement bien un essai spécifique qu'il oublierait comment écrire un nouvel essai sur un sujet similaire. L'approche « zero-shot » (sans exemples) a mieux fonctionné ici.

5. Le « Chercheur de motifs » (Étape 5)

Enfin, l'IA examine les chronologies de nombreuses personnes pour trouver des modèles communs.

Ce qu'elle fait : Elle demande : « Est-ce que les gens qui vont mieux commencent généralement par faire X ? Est-ce que les gens qui vont de moins en moins bien commencent généralement par faire Y ? »
Le résultat : Elle essaie d'identifier la « signature » de l'amélioration ou de la détérioration — des motifs récurrents qui apparaissent chez différentes personnes.

Les grands défis auxquels ils ont été confrontés

Trop peu de données : L'ensemble des données était minuscule (seulement environ 500 exemples pour certaines tâches). C'est comme essayer d'apprendre une nouvelle langue avec seulement quelques cartes mémo. À cause de cela, l'IA se perdait facilement et « mémorisait » parfois les données d'entraînement au lieu d'apprendre les règles (un problème appelé surapprentissage ou overfitting).
Le problème de l'« oiseau rare » : Comme certains états de santé mentale étaient très rares dans les données, l'IA avait du mal à les reconnaître. Les chercheurs ont suggéré qu'à l'avenir, ils pourraient utiliser l'IA pour inventer des exemples faux mais réalistes de ces états rares afin d'aider le système à mieux apprendre.

L'essentiel à retenir

L'équipe a construit un pipeline qui prend un flux de publications sur les réseaux sociaux et le transforme en un rapport structuré :

Étiquette ce qui se passe dans chaque publication.
Évalue l'intensité.
Détecte les changements soudains ou lents.
Résume l'histoire.
Trouve des motifs répétitifs de rétablissement ou de déclin.

Note importante : Les auteurs sont très clairs sur le fait qu'il s'agit d'un outil de recherche, et non d'un médecin. Ils avertissent que si l'IA commet une erreur (comme dire que quelqu'un va bien alors qu'il ne l'est pas, ou inversement), cela pourrait avoir de graves conséquences dans le monde réel. Ils insistent sur le fait que ce système ne doit jamais être utilisé pour diagnostiquer des personnes sans la supervision d'un professionnel de la santé mentale.

Résumé Technique : Équipe MKC à CLPsych 2026

Énoncé du Problème

L'article traite du défi consistant à capturer et caractériser les changements de santé mentale à travers les chronologies des réseaux sociaux, une tâche critique compte tenu de la prévalence mondiale des troubles de la santé mentale et de l'accessibilité limitée des soins professionnels. Bien que les grands modèles de langage (LLM) aient montré des promesses dans les domaines généraux, leur application à la psychologie clinique est entravée par la rareté des données d'entraînement dues aux préoccupations relatives à la vie privée. Les auteurs se concentrent sur la tâche partagée CLPsych 2026, qui utilise un ensemble de données introduit par Tsakalidis et al. (2022b) pour identifier les « Moments de Changement » (MOC — Moments of Change) — des points temporels où les changements dans l'humeur d'un utilisateur deviennent observables. Le problème central implique un pipeline de cinq tâches interdépendantes :

Évaluation au niveau du post : Classer les sous-éléments ABCD et les états de soi (adaptatifs/maladaptatifs) pour chaque post individuel.
Agrégation au niveau de l'utilisateur : Estimer le taux de présence de chaque état mental dans l'historique d'un utilisateur.
Modélisation Temporelle : Identifier les « Commutations » (Switches — changements soudains) et les « Escalades » (Escalations — intensifications graduelles) dans les posts ordonnés chronologiquement.
Résumé : Générer des résumés des événements de changement.
Extraction de Motifs : Détecter les signatures dynamiques récurrentes d'amélioration et de détérioration.

Un obstacle technique majeur identifié est le sévère déséquilibre des classes et la parcimonie des données au sein de l'ensemble de données, où certaines sous-dimensions ne contiennent qu'une seule instance d'entraînement ou aucune.

Méthodologie

Les auteurs proposent un pipeline unifié en cinq étapes basé sur les LLM, conçu pour intégrer l'évaluation au niveau du post avec la modélisation temporelle au niveau de l'utilisateur.

Étape 1 : Classification au niveau du post

Le système classifie 12 cibles indépendantes par post (6 sous-dimensions pour les états adaptatifs et 6 pour les états maladaptatifs).

Architecture : Qwen3-4B-Embedding (Qwen Embed) sert d'extracteur de caractéristiques, affiné via LoRA.
Stratégie d'entraînement : Les plongements (embeddings) sont injectés dans 12 classifieurs indépendants entraînés avec une perte d'entropie croisée (Cross-Entropy). Pour traiter le déséquilibre des classes, les auteurs utilisent une pondération par fréquence inverse (plafonnée à 10 pour éviter l'instabilité) et une stratégie de validation croisée en 5 plis avec ensemblage.

Étape 2 : Évaluation de la présence de l'état de soi

Cette étape prédit des scores numériques (échelle de Likert de 1 à 5) pour les états de soi adaptatifs et maladaptatifs.

Architecture : Des prédicteurs dédiés effectuent une régression de valeurs scalaires à partir des plongements de l'Étape 1.
Stratégie d'entraînement : Les modèles utilisent une perte de Huber pondérée, où les poids sont dérivés de la fréquence inverse des classes de scores. La sortie est mise à l'échelle sur la plage [1, 5]. Comme pour l'Étape 1, un ensemblage par validation croisée en 5 plis est utilisé.

Étape 3 : Détection du Moment de Changement (MOC)

Cette étape détecte deux types de transitions : la Commutation (Switch — changement soudain entre deux posts consécutifs) et l'Escalade (Escalation — intensification graduelle).

Architecture : Qwen Embed est affiné avec LoRA, attaché à deux classifieurs linéaires indépendants.
Entrée : Une fenêtre glissante de taille 2 (posts à $t-1$ et $t$ ) pour prédire les transitions à l'instant $t$ .
Stratégie d'entraînement : Entropie croisée binaire avec pondération de classe adaptative et un ensemblage par validation croisée en 5 plis. Les auteurs notent que les modèles plus grands (8B) sur-apprennent (overfit) sur le petit ensemble de données (~500 échantillons), ce qui les amène à préférer le modèle 4B.

Étape 4 : Résumé de séquence

L'objectif est de générer un résumé en langage naturel de la séquence entière, en incorporant les annotations des étapes précédentes.

Architecture : Apprentissage supervisé par affinement (Supervised Fine-Tuning - SFT) sur Qwen3.5-4B et Qwen3-4B-Instruct via LoRA.
Inférence : Le modèle prend les prédictions des étapes 1 à 3 comme entrée plutôt que les données réelles (ground truth), simulant fidèlement le cadre du pipeline.
Défi : Les auteurs ont observé que l'affinement sur ce petit ensemble de données dégrada parfois les performances par rapport au prompting zero-shot, probablement en raison de la propagation du bruit et du risque que le modèle écrase ses connaissances pré-entraînées.

Étape 5 : Extraction de Signature Dynamique

Cette dernière étape analyse comment les composantes de l'état de soi interagissent à travers les séquences pour identifier des motifs récurrents de détérioration et d'amélioration.

Approche : Une approche zero-shot utilisant Qwen3.5-9B.
Processus : Pour éviter les erreurs de dépassement de mémoire (Out-of-Memory), les séquences sont divisées en groupes pour extraire les signatures, qui sont ensuite résumées.

Résultats Clés

Étapes 1 & 2 (Classification & Régression) : Sur l'ensemble de validation, la pondération adaptative a systématiquement amélioré les performances pour l'Étape 1. Cependant, pour l'Étape 2, les modèles non pondérés ont été plus performants. Sur l'ensemble de test, l'ensemblage par K-fold a apporté des améliorations claires par rapport aux modèles de base pour les deux étapes, grâce à une utilisation plus complète des données d'entraînement.
Étape 3 (Détection du MOC) : Le modèle Qwen3-4B a surpassé la variante 8B, confirmant que les modèles plus grands sur-apprennent sur le jeu de données limité. L'ensemblage K-fold a davantage boosté le score F1 à 0,55.
Étape 4 (Résumé) : Les modèles affinés (Qwen3.5-4B et Qwen3-4B) ont sous-performé par rapport à la ligne de base zero-shot en termes de scores de cohérence et de contradiction. Les auteurs attribuent cela au bruit provenant des étapes précédentes et au risque que l'affinement efface les connaissances pré-entraînées dans un régime de faibles ressources.
Étape 5 (Signatures) : L'approche zero-shot a produit des scores de 0,7266 pour l'Amélioration et de 0,2301 pour la Détérioration.

Signification et Contributions

L'article présente un pipeline complet qui unifie l'évaluation au niveau du post et la modélisation temporelle au niveau de l'utilisateur pour l'analyse de la santé mentale. Ses principales contributions incluent :

Cadre Unifié : Un système cohérent qui gère tout le spectre, de la classification granulaire des posts à l'extraction de motifs temporels de haut niveau.
Robustesse à l'Imbalance : L'utilisation efficace de la pondération par fréquence inverse et de l'ensemblage K-fold pour atténuer le sévère déséquilibre des classes et la parcimonie des données inhérents aux ensembles de données de santé mentale.
Aperçus Empiriques sur le Passage à l'Échelle des Modèles : L'étude souligne que dans des domaines à faibles ressources et à fort bruit, des modèles plus petits (4B) combinés à des stratégies d'ensemblage peuvent surpasser des modèles plus grands (8B) sujets au sur-apprentissage.
Mise en Garde sur l'Affinement : Les résultats suggèrent que dans des contextes de très faibles ressources, le prompting zero-shot peut parfois être supérieur à l'affinement, car ce dernier risque d'écraser des connaissances pré-entraînées précieuses.

Limites et Travaux Futurs

Les auteurs reconnaissent des limites importantes, principalement la rareté des données d'entraînement (environ 500 échantillons) et le déséquilibre des classes qui en résulte. Ils notent que certaines sous-dimensions disposaient de données insuffisantes pour un apprentissage fiable.

Solution Proposée : Les auteurs suggèrent d'utiliser les LLM pour générer des posts d'utilisateurs synthétiques pour les sous-dimensions sous-représentées afin de créer un ensemble de données plus équilibré.
Considérations Éthiques : L'article souligne que ce pipeline est un artefact de recherche, et non un outil de diagnostic. Il met en garde contre les risques de faux positifs/négatifs en milieu clinique et les complexités éthiques de la génération de données synthétiques sur des sujets sensibles comme l'automutilation, préconisant un examen par des experts cliniques avant toute utilisation de ces données pour l'entraînement.