A Reliable Framework for The Safe and Interpretable Detection of Mental Health Risks from Social Media Texts

Résumé technique : Un cadre fiable pour la détection sûre et interprétable des risques de santé mentale à partir de textes issus des réseaux sociaux

Énoncé du problème
La détection automatisée des risques de santé mentale dans les textes des réseaux sociaux est confrontée à un défi critique : l'ambiguïté inhérente, le langage métaphorique et le chevauchement sémantique du contenu généré par les utilisateurs rendent souvent une classification binaire définitive risquée. Les modèles actuels forcent fréquemment une décision pour chaque entrée, ce qui entraîne des erreurs à haut risque lorsque les échantillons se situent près des frontières de décision ou présentent une faible fiabilité. De plus, les modèles de deep learning standards manquent souvent de calibration de probabilité et ne parviennent pas à distinguer les prédictions confiantes des décisions véritablement dignes de confiance, particulièrement en cas de décalage de domaine (domain shift). L'article soutient qu'une conception de décision orientée vers la sécurité est aussi cruciale que la performance prédictive, nécessissant un cadre capable d'identifier quand une décision doit être différée plutôt que forcée.

Méthodologie : Le cadre SAFER-MIND
Les auteurs proposent SAFER-MIND (Safe, Adaptive, Fair, Explainable, and Reliable Medical Identity Network), un cadre sélectif, calibré et interprétable conçu pour catégoriser les textes en trois états : Accepté, Ambigu ou Différé. L'architecture intègre plusieurs évaluations de fiabilité avant de produire une décision finale :

1. Représentation textuelle multi-vues : Le cadre extrait des caractéristiques en utilisant deux perspectives complémentaires : le TF-IDF au niveau des mots (capturant la sémantique lexicale) et le TF-IDF au niveau des caractères (préservant les motifs de sous-mots, les variations d'orthographe et l'écriture informelle courante sur les réseaux sociaux).
2. Ensemble de classification calibré : Des classifieurs de base indépendants (Régression Logistique, SVM Linéaire et Naive Bayes Polynomial) traitent ces caractéristiques. Leurs sorties subissent une calibration sigmoïde pour aligner la confiance prédite sur la justesse empirique. Un ensemble pondéré, sélectionné par un ensemble de validation, combine ces probabilités calibrées.
3. Espace d'identité médicale latente (VAE) : Pour évaluer la cohérence structurelle, le cadre utilise un auto-encodeur variationnel (VAE) avec un objectif $\beta$-VAE. Ce dernier compresse les représentations textuelles dans un espace latent probabiliste (64 dimensions) qui modélise l'incertitude et le chevauchement entre les classes, plutôt que d'imposer une séparation rigide.
4. Énergie de prototype inspirée par DBM : Au sein de l'espace latent, les prototypes de classe sont calculés comme des vecteurs moyens. Un score d'énergie « inspiré de DBM » est calculé sur la base de la distance cosinus au carré entre la représentation latente d'un échantillon et son prototype de classe prédit. Une énergie faible indique un fort accord structurel ; une énergie élevée signale une instabilité ou une ambiguïté.
5. Prédiction conforme (Conformal Prediction) : Le cadre utilise la prédiction conforme pour générer des ensembles de prédiction. Cela détermine si les preuves soutiennent une classe unique (ensemble singleton), plusieurs étiquettes plausibles (ensemble multi-classes) ou aucune prédiction fiable (ensemble vide).
6. Règle de décision finale : Un échantillon est Accepté uniquement si trois conditions convergent :
   • La fiabilité de l'ensemble calibré dépasse un seuil ($\tau = 0,84$).
   • L'ensemble de prédiction conforme est un singleton.
   • L'énergie du prototype est inférieure à un seuil ($\eta$).
     Les échantillons échouant à ces critères sont classés comme Ambigu (preuves conflictuelles) ou Différé (support insuffisant).

Principales contributions
L'article identifie quatre contributions techniques primaires :

• Décision sélective à trois états : Passer d'une classification forcée à une sortie explicite « Accepté », « Ambigu » ou « Différé », évitant ainsi les décisions à haut risque sur les textes incertains.
• Couches de sécurité intégrées : L'intégration novatrice de la calibration de probabilité, de la prédiction conforme et de l'énergie de prototype latente dans une règle de décision unique, plutôt que de les utiliser comme des métriques post-hoc isolées.
• Identité médicale interprétable : La construction d'un espace latent basé sur un VAE spécifiquement pour mesurer la stabilité de l'« identité médicale », en utilisant l'énergie inspirée de DBM pour détecter les cas structurellement incohérents avec leur classe prédite.
• Validation externe rigoureuse : Une évaluation complète à travers des divisions internes et des jeux de données externes (Reddit, Mental Health Text Classification) pour démontrer la robustesse face aux décalages de domaine et l'utilité du mécanisme de différé.

Résultats
Le cadre a été évalué sur des jeux de données internes et externes avec les conclusions suivantes :

• Performance interne : L'ensemble complet a atteint une précision de 95,18 %, un ROC-AUC de 98,84 % et une précision moyenne (Average Precision) de 99,48 %.
• Performance sélective : Après application de la couche de décision SAFER-MIND, la précision des cas Acceptés est montée à 98,42 % avec une couverture de 84,58 %. Cela démontre que le report des 15,42 % de cas les plus incertains améliore considérablement la fiabilité des décisions automatisées.
• Validation externe : Les performances varient selon le jeu de données, soulignant les défis du décalage de domaine. Sur le jeu de données « Depression Reddit Cleaned », la précision des cas acceptés a atteint 99,40 %. Sur le « Mental Health Combined Test », plus difficile, la précision totale est tombée à 84,88 %, mais la précision des cas Acceptés est restée élevée à 92,33 % après le report, confirmant la capacité du cadre à gérer les changements de distribution en s'abstenant de prédictions peu fiables.
• Robustesse et équité : Des tests contrefactuels ont montré un taux de stabilité de prédiction de 99,6 % sous de légères perturbations textuelles (ex: suppression de la ponctuation). Des audits préliminaires d'équité à travers la longueur du texte et les groupes de sources de données n'ont montré aucun effondrement majeur de performance.

Signification et revendications
L'article affirme que SAFER-MIND comble l'écart critique entre une haute performance prédictive et un déploiement clinique sûr. En déplaçant l'accent de l'évaluation de « le modèle peut-il étiqueter chaque texte ? » vers « la preuve est-elle suffisante pour une décision automatisée sûre ? », le cadre privilégie la fiabilité sur la couverture. Les auteurs soulignent que le système est conçu comme un outil d'indicateur de risque plutôt que comme un système de diagnostic. Sa principale signification réside dans sa capacité à :

1. Quantifier l'incertitude : Distinguer explicitement les cas clairs des cas nécessitant une révision humaine.
2. Atténuer le décalage de domaine : Utiliser des mécanismes de report pour maintenir une précision élevée même lorsque la distribution des données de test diffère de celle des données d'entraînement.
3. Fournir de l'interprétabilité : Offrir une explication multidimensionnelle des décisions (probabilité calibrée, ensemble conforme et énergie latente) plutôt qu'un simple score de boîte noire.

Les auteurs concluent que, bien que le cadre améliore la sécurité et l'interprétabilité, il repose sur des jeux de données secondaires présentant des biais inhérents et manque de données de l'équité démographique complète. Des travaux futurs sont suggérés pour explorer les représentations basées sur les Transformers, les modèles d'énergie plus profonds et l'analyse longitudinale des publications des utilisateurs.