Leveraging LLMs for Translating and Classifying Mental Health Data

Résumé Technique : Exploiter les LLM pour la traduction et la classification de données de santé mentale

Énoncé du problème
Bien que les grands modèles de langage (LLM) offrent un potentiel pour l'identification précoce des troubles de la santé mentale grâce aux marqueurs linguistiques dans les textes générés par les utilisateurs, leur application reste fortement biaisée en faveur des ensembles de données en langue anglaise. Il existe un écart important dans la recherche concernant les performances de ces modèles pour les langues à faibles ressources et les contextes non anglophones. De plus, l'efficacité de l'utilisation des LLM pour traduire automatiquement des données de santé mentale de l'anglais vers une autre langue et les classifier par la suite reste sous-explorée. Cette étude aborde ces lacunes en examinant si un LLM peut prédire avec précision la sévérité de la dépression dans des publications en anglais et si cette performance est maintenue lorsque les publications sont automatiquement traduites en grec, une langue manquant de ressources spécifiques pour cette tâche.

Méthodologie
Les auteurs proposent un pipeline qui utilise un LLM multilingue de pointe (GPT-3.5-turbo) pour les tâches de traduction et de classification.

• Jeu de données : L'étude utilise le jeu de données DEPSEVERITY (Naseem et al., 2022), comprenant 3 553 publications Reddit étiquetées selon quatre niveaux de sévérité de la dépression : Minimum, Léger, Modéré et Sévère. Le jeu de données est noté comme étant fortement déséquilibré, la majorité des publications appartenant à la catégorie « Minimum ».
• Procédure :
  1. Base de référence (Anglais) : Le LLM est incité à classer les publications originales en anglais dans les quatre niveaux de sévérité en utilisant l'apprentissage zero-shot.
  2. Traduction : Le même LLM traduit les publications anglaises en grec.
  3. Classification cible (Grec) : Les textes grecs traduits sont réinjectés dans le LLM avec une consigne pour prédire les niveaux de sévérité.
  4. Évaluation : La performance est mesurée à l'aide de la précision, du rappel et des scores F1, en comparant les classes prédites aux étiquettes de vérité terrain dans les deux langues. Le paramètre de température a été fixé à 0 pour garantir la reproductibilité.
• Stratégie de prompting : Avant les expériences principales, les auteurs ont mené un prompting préliminaire pour comprendre la logique interne du LLM. Le modèle a identifié des schémas tels que des émotions négatives persistantes, l'autocritique et des changements de comportement, adaptant les niveaux de sévérité pour qu'ils correspondent aux contextes des réseaux sociaux (par exemple, définissant « Sévère » comme des publications indiquant un risque d'autolyse ou un retrait social complet).

Résultats clés
Les résultats expérimentaux indiquent que le LLM peine à distinguer précisément les niveaux spécifiques de sévérité de la dépression dans les deux langues, bien que la performance varie selon la classe et la langue.

• Performance en Anglais : Le modèle a obtenu son score F1 le plus élevé pour la classe « Minimum » (0,25) et la classe « Sévère » (0,22). Le score F1 macro global était faible, à 0,17. Les auteurs attribuent cette difficulté aux distinctions subtiles entre les niveaux de sévérité dans les publications des utilisateurs par rapport à d'autres conditions.
• Performance en Grec : Après la traduction, la performance a généralement diminué pour la plupart des classes.
  • La classe « Léger » a connu une légère baisse (F1 : 0,07 en anglais contre 0,06 en grec).
  • La classe « Minimum » a chuté de manière significative (F1 : 0,25 en anglais contre 0,14 en grec).
  • La classe « Sévère » a également chuté (F1 : 0,22 en anglais contre 0,20 en grec).
  • Notamment, la classe « Modéré » a montré une amélioration du score F1 (0,17 en anglais contre 0,23 en grec).
• Analyse d'erreurs : Les auteurs ont analysé des cas spécifiques où le LLM a classé par erreur des symptômes d'anxiété ou de panique comme étant de la dépression. Par exemple, une publication décrivant de la panique et de l'anxiété a été classée comme « Sévère » par le LLM, alors que la vérité terrain était « Minimum ». Les auteurs suggèrent que le LLM peut confondre la détresse générale (panique/anxiété) avec la sévérité dépressive, une nuance que les étiquettes de vérité terrain distinguaient.
• Coût : Les expériences ont été menées avec un coût total d'API inférieur à 30 $, démontrant que de telles évaluations peuvent être réalisées sans infrastructure GPU coûteuse ou fine-tuning.

Signification et affirmations
L'article affirme que, bien que les LLM soient prometteurs, ils ne sont pas encore assez fiables pour déterminer à eux seuls la sévérité de la dépression, particulièrement lorsqu'on s'appuie sur la traduction automatique pour les langues à faibles ressources comme le grec.

• Limites de l'automatisation : L'étude souligne que la performance des LLM varie considérablement selon les langues et les classes de sévérité. Les auteurs insistent sur le fait que les résultats actuels sont insuffisants pour un diagnostic direct du patient.
• Rôle de la supervision humaine : Conformément aux conclusions de Stade et al. (2024), les auteurs affirment que le diagnostic de santé mentale ne devrait jamais être laissé entièrement à des systèmes automatiques. La supervision humaine reste cruciale pour éviter les erreurs de diagnostic.
• Utilité potentielle : Plutôt que de remplacer les cliniciens, les auteurs suggèrent que cette approche pourrait être précieuse pour la formation des professionnels de la santé mentale, particulièrement dans les régions non anglophones où les ressources sont rares.
• Besoins futurs : Ce travail souligne la nécessité de recherches supplémentaires sur des approches culturellement et linguistiquement sensibles, une meilleure collecte de données pour les langues à faibles ressources, et le développement de techniques de transfert d'apprentissage plus robustes pour gérer les nuances de la terminologie de la santé mentale à travers différentes cultures.