Evaluating Large Language Models for Assessment of Psychosis Risk

Cette étude démontre que les grands modèles de langage open-weight peuvent analyser efficacement les entretiens cliniques pour évaluer le risque de psychose avec une précision compétitive, offrant ainsi une solution évolutive pour le dépistage précoce.

L'essentiel

🧠 Le Problème : Le Détective Trop Occupé

Imaginez que vous essayez d'arrêter un incendie avant qu'il ne prenne de l'ampleur. Dans le monde de la santé mentale, cet "incendie", c'est la psychose (un trouble grave qui peut déconnecter une personne de la réalité).

Avant que le feu ne se déclare vraiment, il y a une phase de "fumée" appelée risque clinique élevé. C'est le moment idéal pour intervenir et éteindre le feu. Mais pour voir cette fumée, il faut un détective très spécialisé : un psychiatre formé.

Le problème ? Ces détectives sont trop occupés.

• Chaque entretien dure jusqu'à 2 heures.
• Il faut une formation de plusieurs années pour comprendre les indices subtils dans les mots du patient.
• Résultat : beaucoup de gens qui ont besoin d'aide ne sont pas repérés à temps, et le système de santé est saturé.

🤖 La Solution : Le "Copilote" Intelligent

Les chercheurs de cette étude se sont demandé : "Et si on donnait un super-cerveau numérique à nos détectives pour les aider à lire ces entretiens ?"

Ils ont testé des Grands Modèles de Langage (LLM), c'est-à-dire des intelligences artificielles (comme les versions avancées de ChatGPT) capables de lire et de comprendre des conversations humaines.

L'analogie du traducteur :
Imaginez que le psychiatre pose des questions complexes et que le patient répond avec des mots parfois confus. L'IA agit comme un traducteur ultra-rapide et précis. Elle écoute l'entretien (qui a été écrit par des humains), repère les signes de danger, et remplit un formulaire de score en quelques secondes, au lieu de quelques heures.

🔍 Ce qu'ils ont fait (L'Expérience)

Les chercheurs ont pris 678 entretiens réels (des transcripts) de personnes à risque ou en bonne santé. Ils ont demandé à 11 différentes intelligences artificielles (de la petite à la très grande) de faire le travail du psychiatre :

1. Lire l'entretien.
2. Détecter si la personne est à risque de psychose.
3. Noter la gravité et la fréquence des symptômes (comme entendre des voix ou avoir des pensées étranges).
4. Expliquer pourquoi elle a donné cette note.

Ensuite, ils ont comparé le travail de l'IA avec celui des vrais psychiatres (l'or de la référence).

🏆 Les Résultats : Qui a gagné ?

1. Les géants sont les plus forts : Les plus gros modèles (comme Llama-3.3-70B) ont été les meilleurs. Ils ont réussi à identifier les personnes à risque avec une précision de 80%. C'est impressionnant pour une machine qui n'a jamais rencontré ces patients en vrai !
2. La petite équipe est aussi utile : Les modèles plus petits (moins gourmands en énergie) ont aussi fait du bon travail, presque aussi bien que les géants, mais beaucoup plus vite et avec moins de "carburant" (puissance de calcul). C'est comme comparer une Ferrari (très rapide, très chère) à une voiture électrique compacte (efficace, abordable).
3. Pas de "hallucinations" dangereuses : L'IA a très rarement inventé des symptômes qui n'existaient pas (3% seulement). Parfois, elle était un peu trop prudente et pensait qu'un sentiment normal était un symptôme, mais c'est mieux que de rater un vrai danger.

⚖️ Est-ce juste pour tout le monde ?

C'est une question cruciale. L'IA est-elle biaisée ?

• Âge, genre, origine, langue : L'étude a montré que l'IA traitait tout le monde de manière très équitable. Elle ne discriminait pas les jeunes, les femmes, ou les personnes dont la langue maternelle n'était pas l'anglais.
• Le seul petit hic : L'IA variait un peu selon le lieu où l'entretien avait eu lieu (par exemple, à Melbourne vs à Cambridge). C'est comme si l'IA avait un accent local qu'elle comprenait mieux dans certaines villes que dans d'autres. Il faudra peut-être l'entraîner un peu plus pour qu'elle soit parfaite partout.

💡 La Conclusion : Un Outil, pas un Remplacement

Le message principal de cette étude est simple : L'IA ne remplace pas le psychiatre, elle le libère.

Imaginez un système où :

1. L'IA lit l'entretien en 30 secondes et dit : "Attention, ce patient a un risque élevé, voici les preuves dans le texte."
2. Le psychiatre humain vérifie rapidement ces notes et prend la décision finale.

Cela permettrait de sauver du temps, de détecter plus de gens et de prévenir la psychose à grande échelle, comme un filet de sécurité plus large et plus efficace.

En résumé : C'est comme donner un microscope numérique à un médecin. Il voit mieux, plus vite, et peut aider plus de patients, tout en gardant l'humain aux commandes pour les décisions importantes.

Résumé technique

1. Problématique et Contexte

La prévention de la psychose repose sur la détection précoce des individus à haut risque clinique de psychose (CHR-P). Cependant, le taux de détection actuel est faible (5 à 14 %), limitant l'impact des soins préventifs.

• Bottleneck clinique : Les évaluations actuelles (comme CAARMS, SIPS, PSYCHS) nécessitent des cliniciens hautement spécialisés pour interpréter des entretiens semi-structurés. Ces évaluations sont longues (jusqu'à 2 heures), coûteuses, sujettes à une variabilité inter-évaluateur et difficilement évolutives (scalables).
• Objectif : Déterminer si les Grands Modèles de Langage (LLM) peuvent extraire des informations cliniquement significatives des transcriptions d'entretiens pour automatiser l'évaluation du risque de psychose, la sévérité et la fréquence des symptômes, tout en réduisant la charge de travail et en standardisant les résultats.

2. Méthodologie

Données :

• Source : Jeu de données AMP-SCZ (Accelerating Medicines Partnership Schizophrenia).
• Échantillon : 678 transcriptions partielles (premières 30 minutes) d'entretiens PSYCHS réalisés en anglais auprès de 373 participants (77,7 % classés CHR-P).
• Structure : Les transcriptions ont été segmentées en 15 domaines de symptômes (ex. : pensées inhabituelles, hallucinations auditives, idées de grandeur, etc.), générant 4 691 observations « transcription-domaine ».
• Référence (Ground Truth) : Scores de sévérité et de fréquence attribués par des chercheurs humains, utilisés comme étalon pour l'évaluation.

Modèles Évalués :

• Sélection : 11 LLMs à poids ouverts (open-weight) de tailles variées (de 1 milliard à 80 milliards de paramètres).
• Modèles inclus : Llama-3.2 (1B, 3B), Gemma-3n (2B, 4B), MedGemma (1.5B, 4B, 27B), Phi-3-medium (14B), Qwen3 (30B, 80B), Llama-3.1/3.3 (8B, 70B).
• Déploiement : Tous les modèles ont été exécutés localement sur une infrastructure sécurisée (GPU NVIDIA A100 et RTX A6000) pour garantir la confidentialité des données de santé mentale.

Pipeline et Prompting :

• Stratégie : Utilisation de techniques de raisonnement structuré, notamment le Chain-of-Thought (CoT).
• Tâche : Pour chaque domaine de symptôme, le modèle devait :
  1. Inférer un score de sévérité et de fréquence (échelle 0-6).
  2. Générer un résumé justificatif basé sur des preuves textuelles.
  3. Sortir le résultat dans un format JSON structuré.
• Validation : Les sorties JSON ont été analysées, nettoyées (réparation automatique des erreurs de formatage) et comparées aux scores humains.

Évaluations Complémentaires :

• Équité algorithmique : Analyse des biais selon l'âge, l'ethnicité, la langue maternelle, le genre et le site d'étude (parité démographique et equalised odds).
• Qualité des résumés : Évaluation par des experts cliniques de la fidélité des résumés générés et du taux d'hallucinations cliniques.
• Trade-off Calcul/Performance : Analyse de la consommation mémoire GPU et de la vitesse de génération de tokens par rapport à la performance (score F1).

3. Résultats Clés

Performance de Classification (Détection CHR-P) :

• Les performances s'améliorent avec la taille du modèle.
• Meilleur modèle : Llama-3.3-70B-Instruct a atteint une précision (accuracy) de 0,80, une sensibilité de 0,93 et une spécificité de 0,58.
• Tendance générale : Les modèles montrent une sensibilité très élevée (détection de la plupart des cas positifs) au détriment d'une spécificité plus faible (taux de faux positifs plus élevé), ce qui est considéré comme acceptable dans un contexte de dépistage pour éviter les faux négatifs.

Scoring des Symptômes (Sévérité et Fréquence) :

• Corrélation : Les scores générés par les LLMs présentent de fortes corrélations avec les scores des chercheurs (ICC pour la sévérité ≈ 0,74, pour la fréquence ≈ 0,75).
• Précision : Les désaccords se situent principalement entre catégories ordinales adjacentes (ex. : différence de 1 point sur l'échelle 0-6).
• Domaines : Meilleure performance sur les anomalies perceptuelles (auditives, visuelles). Performances plus faibles sur les idées érotomaniaques ou les anomalies perceptuelles somatiques.
• Biais systématique : Tendance à surestimer légèrement la sévérité et la fréquence pour les scores faibles.

Équité et Biais :

• Les disparités sont minimes selon l'âge, l'ethnicité, la langue et le genre.
• Variabilité par site : Des différences plus marquées ont été observées entre les différents sites d'étude (ex. : Melbourne vs autres), suggérant que les variations proviennent des stratégies de recrutement ou des styles d'entretien plutôt que d'un biais intrinsèque du modèle.

Qualité des Résumés et Erreurs :

• Fidélité : 93,3 % des résumés représentaient fidèlement le contenu de la transcription.
• Hallucinations cliniques : Taux très faible (2,7 %), principalement des affirmations non étayées de détresse ou d'impact fonctionnel.
• Types d'erreurs : Les erreurs majeures provenaient souvent d'une « sur-pathologisation » d'expériences humaines normales (ex. : méfiance suite à un événement traumatique) ou de la confusion de domaines de symptômes. Aucun risque de sécurité (suicide/homicide) n'a été omis.

Compromis Calcul/Performance :

• Une corrélation positive forte existe entre la taille du modèle et la performance (ρ = 0,81).
• Cependant, des modèles de taille intermédiaire (ex. : gemma-3n-E4B-it) offrent un compromis intéressant : une performance compétitive avec une consommation mémoire GPU nettement réduite (21 GB) et un débit plus élevé, les rendant potentiellement plus adaptés à un déploiement clinique large.

4. Contributions Principales

1. Validation Empirique : Première étude systématique évaluant des LLMs à poids ouverts pour l'évaluation structurée du risque de psychose à partir de transcriptions d'entretiens psychométriques.
2. Preuve de Concept pour l'Évolutivité : Démonstration que les LLMs peuvent automatiser le scoring de la sévérité et de la fréquence des symptômes avec une précision proche de celle des évaluateurs humains, ouvrant la voie à des outils de dépistage à grande échelle.
3. Analyse de l'Équité : Fourniture de données détaillées sur les biais algorithmiques dans un contexte de santé mentale, montrant une robustesse relative mais soulignant l'importance de l'adaptation locale.
4. Analyse de Faisabilité Technique : Évaluation pratique des coûts de calcul (mémoire, latence) par rapport à la performance, identifiant des modèles « petits » viables pour des environnements aux ressources limitées.

5. Signification et Perspectives

Cette étude démontre que les LLMs ont un potentiel significatif pour transformer la détection précoce de la psychose en rendant les évaluations cliniques plus accessibles, standardisées et évolutives.

• Approche « Human-in-the-loop » : Les auteurs ne proposent pas de remplacer les cliniciens, mais d'utiliser les LLMs pour générer des scores préliminaires et des résumés structurés, permettant aux cliniciens de se concentrer sur la validation et la prise de décision complexe.
• Confidentialité : L'utilisation de modèles locaux (open-weight) résout les problèmes de confidentialité liés à l'envoi de données sensibles vers des API cloud.
• Limites : Les résultats sont basés sur des transcriptions partielles (30 min) et un échantillon de recherche, ce qui pourrait surestimer la performance par rapport à des populations cliniques plus hétérogènes. De plus, les biais potentiels des évaluateurs humains (étalon-or) sont transmis aux modèles.
• Avenir : Des travaux futurs sont nécessaires pour affiner les modèles sur des données cliniques réelles, intégrer des mécanismes de récupération d'informations (RAG) plus robustes pour éviter les hallucinations, et valider ces outils dans des essais cliniques prospectifs.

En conclusion, cette recherche établit une base solide pour l'intégration de l'IA générative dans les flux de travail de santé mentale, visant à améliorer le dépistage précoce de la psychose à l'échelle de la population.