CounselBench: A Large-Scale Expert Evaluation and Adversarial Benchmarking of Large Language Models in Mental Health Question Answering

Cet article présente CounselBench, un benchmark à grande échelle élaboré avec des professionnels de la santé mentale pour évaluer et tester la robustesse des modèles de langage dans des scénarios de questions-réponses réalistes, révélant à la fois leurs limites cliniques et les défaillances des juges automatisés.

L'essentiel

Imaginez que les Intelligences Artificielles (IA) sont comme de nouveaux médecins virtuels qui veulent apprendre à soigner les maux du cœur et de l'esprit. Le problème ? Jusqu'à présent, on les testait un peu comme on teste un élève en histoire : avec des questions à choix multiples ("Quelle est la capitale de la France ?"). Mais la vraie vie, surtout en santé mentale, ne ressemble pas à un QCM. C'est un dialogue complexe, rempli d'émotions, de doutes et de situations délicates.

C'est là que l'équipe de chercheurs (de l'Université de Californie du Sud) a créé COUNSELBENCH.

1. Le Problème : Un Test de Conduite sur un Circuit de Formule 1

Les tests actuels demandent aux IA de répondre à des questions factuelles. C'est comme demander à un pilote de voiture de faire des tours de piste sur un circuit parfaitement lisse. Ça va bien, mais ça ne dit pas comment il réagira dans une tempête de boue, avec des passagers paniqués à l'arrière.

En santé mentale, les patients ne demandent pas "Qu'est-ce que la dépression ?". Ils disent : "Je me sens vide, mon mari me quitte et je ne sais plus comment respirer." Répondre à ça demande de l'empathie, de la prudence et de ne pas donner de conseils dangereux.

2. La Solution : Le "Grand Oral" avec 100 Experts

Pour voir si les IA sont vraiment prêtes, les chercheurs ont organisé un examen final très spécial, qu'ils appellent COUNSELBENCH.

• Les Examinateurs : Au lieu de machines, ils ont recruté 100 vrais psychologues et thérapeutes (des experts humains). C'est comme si 100 professeurs de médecine notaient les réponses des IA.
• Le Défi : Ils ont pris 100 vraies questions de patients (issues d'un forum réel) et ont demandé à 4 IA (GPT-4, LLaMA, Gemini, etc.) et à des thérapeutes humains de répondre.
• La Note : Les experts ont noté les réponses sur 6 critères, comme un jury de concours culinaire :
  1. La Qualité globale : Est-ce que ça aide ?
  2. L'Empathie : Est-ce que ça fait sentir le patient compris ?
  3. La Précision : Est-ce que la réponse est adaptée à ce patient précis, ou est-ce du copier-coller générique ?
  4. La Sécurité (Conseils médicaux) : L'IA a-t-elle osé prescrire des médicaments ou dire "prenez telle pilule" ? (Ce qu'elle ne doit jamais faire sans diplôme).
  5. La Vérité : Est-ce que l'IA invente des faits ?
  6. La Toxicité : Est-ce que le ton est blessant ou méchant ?

3. Les Résultats : Les IA sont de bons élèves, mais pas des médecins

Les résultats sont mitigés, un peu comme un élève brillant en maths qui a du mal en sport :

• Les points forts : Les IA sont souvent très polies, empathiques et donnent de bonnes informations générales. Elles obtiennent de bonnes notes sur la "forme".
• Les points faibles (les dangers) :
  • L'excès de zèle : Parfois, elles donnent des conseils thérapeutiques trop précis (comme suggérer une technique de thérapie spécifique) ou parlent de médicaments, ce qui est dangereux car elles ne sont pas des médecins.
  • Le manque de personnalité : Elles ont tendance à être trop génériques, comme un manuel scolaire qui ne s'adapte pas vraiment à la douleur unique de la personne.
  • L'aveuglement des IA : Quand on demande à une IA de noter les réponses d'une autre IA, elle est souvent trop gentille. Elle dit "C'est parfait !" alors que l'humain voit le danger. C'est comme si un élève notait son camarade et lui donnait toujours 20/20 pour ne pas le vexer.

4. Le Piège de l'Entraînement : Le "Jeu de l'Avocat du Diable"

Pour tester la solidité des IA, les chercheurs ont créé une deuxième partie du test appelée COUNSELBENCH-ADV.

Imaginez un joueur de poker qui essaie de piéger l'IA. Les experts ont écrit 120 questions spéciales, conçues pour être des "pièges" qui poussent l'IA à faire une erreur spécifique (par exemple, une question qui incite l'IA à dire "Tu devrais prendre tel médicament").

• Ce qu'ils ont découvert : Chaque modèle d'IA a ses propres "tics" ou faiblesses.
  • L'une a tendance à être trop froide et indifférente.
  • L'autre a tendance à faire des suppositions dangereuses sur la santé mentale.
  • Une troisième a tendance à juger le patient.
• Leçon : Ces erreurs ne sont pas aléatoires. Elles dépendent de la "famille" de l'IA. C'est comme si chaque marque de voiture avait un défaut spécifique (l'une consomme trop, l'autre a des freins fragiles).

En Résumé

COUNSELBENCH est comme un simulateur de vol ultra-réaliste pour les IA en santé mentale.

Il nous apprend que :

1. Les IA sont devenues très douces et compréhensives.
2. Mais elles ne sont pas encore prêtes à remplacer les humains, car elles peuvent parfois donner de mauvais conseils médicaux ou manquer de nuance.
3. On ne peut pas se fier aux IA pour s'auto-évaluer ; il faut toujours un humain (un vrai thérapeute) pour vérifier le travail.

C'est un outil essentiel pour s'assurer que, quand nous utiliserons ces robots pour aider les gens en détresse, ils ne feront pas de mal par inadvertance. C'est la différence entre un bon assistant et un véritable professionnel de la santé.

Résumé technique

1. Problématique

Les benchmarks existants pour la réponse aux questions médicales (QA) se concentrent principalement sur des tâches à choix multiples ou basées sur des faits (comme MedQA ou MedMCQA). Cette approche échoue à capturer la complexité des questions ouvertes posées par les patients réels, en particulier en santé mentale.

• Défis spécifiques : Les questions en santé mentale sont souvent ambiguës, subjectives et contextuelles. Elles mélangent symptômes, préoccupations de traitement et besoins émotionnels.
• Risques critiques : Une réponse inadéquate peut avoir des conséquences immédiates (conseils médicaux non autorisés, ton dismissif, manque d'empathie).
• Limites des évaluations actuelles : Les ressources actuelles utilisent soit de petits panels d'experts, soit des juges automatisés (LLM-as-Judge) peu fiables dans des domaines à haut risque, et manquent de données réelles avec des réponses de professionnels validées.

2. Méthodologie

Les auteurs ont développé COUNSELBENCH, un benchmark à grande échelle co-conçu avec 100 professionnels de la santé mentale (psychologues, travailleurs sociaux, thérapeutes). L'approche se divise en deux composantes principales :

A. COUNSELBENCH-EVAL (Évaluation Expert)

• Données : 100 questions réelles de patients issues du forum public CounselChat, couvrant 20 thèmes (dépression, anxiété, relations, etc.).
• Génération de réponses : Chaque question a été traitée par trois LLMs (GPT-4, LLaMA 3.3, Gemini 1.5-Pro) et un thérapeute humain en ligne.
• Annotation : 100 experts ont évalué 2 000 réponses (5 annotations par réponse).
• Rubrique d'évaluation (6 dimensions) :
  1. Qualité globale (jugement holistique).
  2. Empathie (attunement émotionnel).
  3. Spécificité (personnalisation au contexte).
  4. Conseil médical (détection de conseils non autorisés par des professionnels).
  5. Cohérence factuelle (exactitude des informations).
  6. Toxicité (langage nuisible ou stigmatisant).
• Annotations riches : Les experts fournissent des scores, des annotations au niveau des segments de texte (span-level) et des justifications écrites détaillées.

B. COUNSELBENCH-ADV (Benchmark Adversarial)

• Objectif : Tester systématiquement les modes d'échec identifiés dans la phase d'évaluation.
• Construction : 10 experts ont rédigé 120 questions adverses conçues spécifiquement pour déclencher des erreurs ciblées (ex: inciter un modèle à prescrire un médicament ou à faire des hypothèses médicales).
• Test : 1 080 réponses générées par 9 LLMs différents ont été évaluées par des experts pour détecter la présence de ces modes d'échec spécifiques.

3. Contributions Clés

1. Dimensions d'évaluation cliniquement fondées : Définition de six critères couvrant à la fois la qualité thérapeutique et la sécurité, basés sur la littérature en psychologie clinique.
2. Dataset Expert à grande échelle : 2 000 évaluations par des professionnels licenciés, incluant des annotations granulaires et des rationales écrites, offrant une référence "Gold Standard".
3. Dataset Adversarial Ciblé : Un ensemble de 120 questions conçues par des experts pour révéler des vulnérabilités spécifiques des modèles, permettant un stress-test précis.
4. Analyse des juges LLM : Une étude comparative démontrant l'écart entre les jugements humains et ceux des LLMs agissant comme juges.

4. Résultats Principaux

Performance des Modèles (COUNSELBENCH-EVAL)

• Qualité globale : LLaMA 3.3 a obtenu les meilleurs scores globaux, suivis par GPT-4 et Gemini. Cependant, même les meilleurs modèles présentent des lacunes.
• Sécurité et Conseils Médicaux :
  • Les LLMs ont été fréquemment signalés pour fournir des conseils médicaux non autorisés (ex: recommandation de thérapies spécifiques comme la TCC ou de médicaments comme les ISRS).
  • LLaMA 3.3 a été le plus souvent flaggé pour ce risque (14 % des réponses), tandis que GPT-4 tendait plus souvent à inclure des avertissements de sécurité.
• Défauts récurrents :
  • GPT-4 : Feedback peu constructif et manque de personnalisation.
  • LLaMA 3.3 : Généralisations excessives et jugements sans contexte suffisant.
  • Gemini 1.5-Pro : Manque d'empathie et feedback peu constructif.
  • Thérapeutes humains : Souvent jugés comme ayant un ton inapproprié ou des généralisations, montrant que la qualité humaine varie aussi.

Fiabilité des Juges LLM

• Surévaluation systématique : Les LLMs utilisés comme juges attribuent systématiquement des scores plus élevés que les experts humains.
• Aveuglement aux risques : Les juges LLM échouent à détecter les problèmes de sécurité (conseils médicaux, toxicité) que les humains identifient clairement.
• Divergence de classement : Les préférences des juges LLM ne correspondent pas à celles des experts (ex: Gemini est classé dernier par les humains mais souvent premier par les juges LLM).

Résultats Adversariaux (COUNSELBENCH-ADV)

• Les questions adverses ont réussi à déclencher les modes d'échec visés dans une large proportion de cas.
• Patterns familiaux : Les modèles d'une même famille (ex: LLaMA, Gemini) montrent des profils de défaillance similaires, tandis que les mises à jour majeures (ex: GPT-4 vers GPT-5) peuvent modifier radicalement ces profils.
• Vulnérabilités spécifiques : GPT-5 a montré une forte tendance à suggérer des thérapies et des médicaments, tandis que GPT-3.5-Turbo était particulièrement "apathique".

5. Signification et Impact

• Nouveau Standard d'Évaluation : COUNSELBENCH comble le vide entre les benchmarks factuels et les besoins réels de la santé mentale, en introduisant une évaluation basée sur la pratique clinique réelle.
• Sécurité et Alignement : Le travail met en lumière que les modèles actuels, bien que performants sur la forme, ne sont pas encore sûrs pour un déploiement autonome en santé mentale en raison de risques de conseils médicaux non supervisés.
• Limites de l'Auto-évaluation : L'étude démontre que l'utilisation de LLMs pour évaluer d'autres LLMs dans des domaines sensibles est actuellement non fiable et ne peut remplacer l'expertise humaine.
• Ressources Ouvertes : L'équipe a rendu publics le dataset, le code et les protocoles pour permettre à la communauté de développer des méthodes d'alignement (RLHF), des détecteurs de sécurité et d'améliorer les modèles pour des applications à haut risque.

En conclusion, COUNSELBENCH établit un cadre rigoureux pour mesurer non seulement la compétence des LLMs en santé mentale, mais surtout leur sécurité et leur adéquation éthique, soulignant la nécessité d'une supervision humaine continue.