When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives

Résumé Technique : Quand les échelles d'évaluation sont insuffisantes : Découverte de signaux de TDAH assistée par LLM dans les récits d'enseignants en turc

Énoncé du problème
Le diagnostic du Trouble du Déficit de l'Attention avec ou sans Hyperactivité (TDAH) chez les enfants repose généralement sur une combinaison du jugement clinique, d'échelles d'évaluation standardisées (telles que la version courte révisée de l'échelle d'évaluation des enseignants de Conners, CTRS-R:S) et de rapports de parents et d'enseignants. Bien que les instruments structurés comme le CTRS-R:S quantifient efficacement des symptômes comportementaux spécifiques, ils peuvent omettre des signaux complémentaires présents dans les récits qualitatifs et ouverts fournis par les enseignants. Ces récats contiennent des observations contextuelles concernant la performance scolaire, la personnalité, les relations avec les pairs et le contexte familial qui sont rarement analysées de manière systématique. Le problème central abordé est de déterminer dans quelle mesure les récits des enseignants encodent des signaux comportementaux qui échappent aux échelles d'évaluation structurées, particulièrement dans les cas où les évaluations structurées ne parviennent pas à distinguer clairement les élèves présentant un TDAH de ceux qui n'en présentent pas.

Méthodologie
L'étude utilise un ensemble de données de 199 formulaires d'évaluation d'enseignants turcs anonymisés, collectés dans une clinique de psychiatrie de l'enfant et de l'adolescent (166 TDAH, 33 témoins). La méthodologie implique une analyse comparative en deux étapes :

1. Pipelines de classification doubles :

   • Pipeline structuré : Un classificateur de régression logistique a été entraîné sur les 28 items comportementaux du CTRS-R:S, augmentés de variables démographiques (âge, niveau scolaire, sexe). Les caractéristiques ont été standardisées par normalisation du score z.
   • Pipeline narratif : Un classificateur de régression logistique distinct a été entraîné sur les récits ouverts des enseignants. Le texte a été prétraité (mise en minuscules, suppression des mots vides) et représenté par l'indice de fréquence de terme - fréquence inverse de document (TF-IDF) avec des caractéristiques d'unigrammes et de bigrammes.
   • Les deux modèles ont été évalués par validation croisée stratifiée à cinq plis pour garantir des conditions comparables.

2. Analyse axée sur l'erreur :

   • L'étude a spécifiquement analysé les « faux négatifs structurés » — des cas de TDAH mal classifiés par le modèle structuré mais correctement identifiés (ou présentant des profils distinctifs) par le modèle narratif.
   • Des comparaisons statistiques (tests de Mann–Whitney U) ont été menées pour évaluer la sévérité des scores et le pouvoir de discrimination des récits au sein de ce sous-ensemble.

3. Découverte de thèmes assistée par LLM :

   • Pour interpréter les modèles comportementaux dans les récits, les auteurs ont employé un grand modèle de langage (LLM) local à poids ouverts (Llama 3.3 70B Instruct) pour extraire des thèmes comportementaux.
   • À l'aide d'un prompt structuré, le LLM a extrait des thèmes concis (2 à 6 mots) décrivant des forces ou des difficultés observables à travers quatre domaines : performance scolaire, personnalité/santé mentale, relations sociales et contexte familial.
   • Ces thèmes extraits ont été cartographiés manuellement par un expert du domaine vers dix catégories comportementales de niveau supérieur (ex. : difficulté d'attention, force comportementale, soutien familial) afin de permettre une comparaison systématique entre le groupe des faux négatifs structurés et le groupe témoin.

Résultats clés

• Signaux complémentaires : Bien que les deux modèles aient atteint une haute discrimination (PR-AUC > 0,98), le classificateur narratif a démontré un rappel significativement plus élevé pour les cas de TDAH (0,958) par rapport au classificateur structuré (0,856).
• Chevauchement minimal des erreurs : Le modèle structuré a manqué 24 cas de TDAH, tandis que le modèle narratif n'en a manqué que 7. Crucialement, il n'y avait qu'un seul faux négatif commun entre les deux modèles, indiquant que les deux modalités capturent des informations comportementales largement distinctes.
• Divergence quantitative : Dans le sous-ensemble des faux négatifs structurés, le classificateur basé sur le récit a atteint un ROC-AUC de 0,84, surpassant substantiellement les scores de sévérité structurés (ROC-AUC 0,69). La corrélation entre les scores structurés et les probabilités de prédiction narratives était négligeable ($r = 0,07$).
• Modèles qualitatifs : L'analyse thématique assistée par LLM a révélé que les récits des cas de TDAH (faux négatifs structurés) contenaient significativement plus de thèmes liés aux « difficultés » (spécifiquement l'attention et les difficultés comportementales) et moins de thèmes liés aux « forces » par rapport aux récits des témoins. Inversement, les récits des témoins présentaient des fréquences plus élevées de thèmes de forces académiques, socio-émotionnelles et de soutien familial.

Principales contributions

1. Analyse conjointe : Une analyse comparative démontrant que les scores structurés du CTRS-R:S et les descriptions narratives des enseignants identifient des ensembles partiellement distincts de cas de TDAH.
2. Preuve de complémentarité : Une preuve empirique que le texte narratif capture des signaux comportementaux manqués par les échelles standardisées, particulièrement dans les cas limites où les scores structurés chevauchent ceux des témoins.
3. Cadre d'interprétabilité : L'introduction d'un pipeline assisté par LLM pour extraire et catégoriser des thèmes comportementaux à partir de récits cliniques, comblant le fossé entre le texte brut et les catégories cliniques interprétables.
4. Libération de données : La publication d'un ensemble de données anonymisé de 199 formulaires d'évaluation d'enseignants turcs, fournissant une ressource pour la recherche en TAL (Traitement du Langage Naturel) dans une langue et un domaine moins étudiés.

Signification et affirmations
L'article affirme que le traitement du langage naturel (NLP) appliqué aux récits des enseignants peut révéler des modèles comportementaux cliniquement pertinents qui ne sont pas explicitement capturés par les outils de dépistage traditionnels. L'étude ne propose pas de remplacer les évaluations structurées, mais suggère que la combinaison des évaluations structurées avec l'analyse narrative offre une vision plus complète du comportement de l'élève. Les auteurs soulignent que les récits des enseignants fournissent des preuves complémentaires pour identifier les difficultés liées au TDAH, particulièrement dans les cas où les échelles standardisées produisent des résultats ambigus. Ce travail démontre le potentiel des LLM pour servir d'outils interprétatifs afin d'extraire des informations structurées à partir de textes cliniques non structurés, améliorant ainsi l'utilité des flux de travail diagnostiques existants sans agir comme des classificateurs diagnostiques autonomes.

Limites
Les auteurs reconnaissent les limites liées à la petite taille et au déséquilibre de l'ensemble de données (166 contre 33), ce qui a nécessité l'utilisation de modèles linéaires plus simples plutôt que des architectures neuronales complexes. Ils notent également la subjectivité inhérente des récits des enseignants et le manque potentiel de généralisabilité à d'autres contextes éducatifs ou culturels en raison de la nature unique de la source des données. Enfin, la cartographie des thèmes extraits par le LLM vers des catégories de niveau supérieur implique des décisions de conception informées par des experts, introduisant un certain degré de subjectivité.