Disentangling Prompt Element Level Risk Factors for Hallucinations and Omissions in Mental Health LLM Responses

Cette étude présente le cadre UTCO pour évaluer systématiquement les hallucinations et les omissions dans les réponses des modèles de langage sur la santé mentale, révélant que le contexte et le ton sont les facteurs de risque les plus déterminants, tandis que les omissions constituent un problème de sécurité majeur, en particulier pour les crises suicidaires.

L'essentiel

🧠 Le Problème : L'IA qui "rêve" ou qui "oublie"

Imaginez que vous avez un médecin virtuel très intelligent (une intelligence artificielle) qui peut discuter avec vous de vos problèmes de santé mentale. C'est génial, car il est disponible 24h/24. Mais comme tout humain, il a deux défauts majeurs quand il répond à des questions urgentes ou complexes :

1. Les Hallucinations (Le "Rêve") : C'est quand l'IA invente des choses. Elle pourrait vous dire : "Prenez ce médicament miracle" alors qu'il n'existe pas, ou donner un conseil médical faux. C'est comme si un guide touristique vous montrait un monument qui n'existe pas.
2. Les Omissions (L'"Oubli") : C'est encore plus dangereux. C'est quand l'IA répond poliment, mais oublie de vous dire l'essentiel. Par exemple, si vous dites que vous êtes très triste et que vous avez des idées noires, elle pourrait vous donner des conseils de relaxation, mais oublier de vous dire : "Appelez immédiatement le 15 ou le 311". C'est comme un pompier qui éteint un petit feu dans votre salon, mais oublie de vous dire qu'il y a une fuite de gaz derrière.

🔍 L'Expérience : La Recette "UTCO"

Les chercheurs de cette étude voulaient comprendre pourquoi l'IA fait ces erreurs. Pour cela, ils ont créé une recette spéciale appelée UTCO. Imaginez que chaque message que vous envoyez à l'IA est une recette de cuisine avec quatre ingrédients que l'on peut changer :

• U (User / L'Utilisateur) : Qui pose la question ? (Une mère, un ado, un grand-père ?)
• T (Topic / Le Sujet) : De quoi parle-t-on ? (Dépression, anxiété, suicide ?)
• C (Context / Le Contexte) : Quelle est l'histoire derrière ? (Est-ce une phrase courte ? Une longue histoire triste ?)
• O (Tone / Le Ton) : Quelle est l'émotion ? (Colère, désespoir, confusion, espoir ?)

Ils ont généré 2 075 questions en mélangeant ces ingrédients de toutes les façons possibles, comme un chef qui teste des milliers de variations d'un plat pour voir quand ça rate.

🕵️‍♂️ Les Découvertes Surprenantes

Voici ce qu'ils ont découvert en analysant les réponses de l'IA (un modèle appelé Llama 3.3) :

1. Ce n'est pas "Qui" pose la question, c'est "Comment"

On pensait peut-être que l'IA se trompait plus souvent avec certains types de personnes (par exemple, les jeunes ou les personnes âgées). Faux !

• L'analogie : Imaginez un traducteur. Il ne fait pas plus d'erreurs parce que vous êtes un homme ou une femme. Il fait des erreurs parce que vous lui parlez dans un langage confus ou trop compliqué.
• Le résultat : Le profil de la personne (âge, métier, origine) n'a presque pas d'importance. Ce qui compte, c'est la façon dont la question est formulée.

2. Le Contexte et le Ton sont les vrais coupables

C'est ici que ça devient intéressant. Les erreurs (surtout les oublis dangereux) arrivent quand :

• Le message est trop long et détaillé : Plus l'histoire est complexe, plus l'IA se perd.
• Le ton est très émotionnel : Si la personne est en crise, désespérée ou très confuse, l'IA a tendance à devenir trop "gentille" et empathique, mais elle oublie de donner les consignes de sécurité vitales.
• L'analogie : C'est comme si vous criiez à un serveur dans un restaurant bondé. Si vous criez votre commande avec panique et des détails inutiles, le serveur risque de vous apporter le bon plat, mais d'oublier de vous dire qu'il y a des arachides dedans (l'information de sécurité).

3. Les Omissions sont plus fréquentes que les Hallucinations

C'est le point le plus important de l'étude.

• Les chiffres : L'IA invente des choses (hallucinations) dans 6,5 % des cas. Mais elle oublie des informations vitales (omissions) dans 13,2 % des cas.
• Le danger : Les hallucinations sont bruyantes (on voit tout de suite que c'est faux). Les omissions sont silencieuses. L'IA semble répondre parfaitement, mais elle a laissé tomber l'élément le plus important : la sécurité. C'est un "silence dangereux".

💡 La Leçon pour l'Avenir

Cette étude nous dit deux choses essentielles pour rendre les IA plus sûres dans le domaine de la santé mentale :

1. Arrêtons de tester avec des questions simples : On ne peut pas tester un pilote d'avion juste en lui demandant de voler en ligne droite par beau temps. Il faut le tester dans la tempête. De même, il faut tester les IA avec des questions longues, confuses et pleines d'émotion, comme dans la vraie vie.
2. L'IA doit apprendre à dire "Je ne suis pas sûr" : Au lieu d'essayer de tout deviner quand la question est floue, l'IA devrait être programmée pour dire : "Je vois que vous êtes en détresse, mais votre message est un peu confus. Pouvez-vous préciser ? Et surtout, voici les numéros d'urgence."

En résumé : Ce n'est pas la personne qui pose la question qui pose problème, c'est la façon dont elle la pose. Pour que l'IA soit un véritable allié en santé mentale, elle doit apprendre à ne pas se perdre dans les histoires tristes et à toujours, toujours, donner les informations de sécurité, même quand on ne les demande pas explicitement.

Résumé technique

1. Problématique

L'utilisation croissante des modèles de langage (LLM) pour le soutien en santé mentale en dehors des cadres cliniques pose des risques de sécurité critiques. Deux modes d'échec principaux sont identifiés :

• Les hallucinations : Énoncés incorrects ou fabriqués (ex. : conseils médicaux erronés, ressources fictives) qui peuvent induire des décisions dangereuses.
• Les omissions : Échec à fournir des informations cliniquement nécessaires ou des consignes de sécurité (ex. : absence de ressources pour les crises suicidaires), même lorsque l'utilisateur ne les demande pas explicitement.

Le problème majeur réside dans le fait que les évaluations actuelles reposent souvent sur des ensembles de questions de référence (benchmarks) statiques et simplifiés. Ces méthodes ne capturent pas la complexité des requêtes réelles, qui incluent des contextes narratifs longs, des nuances de ton affectif et des détails démographiques variés, conduisant à une sous-estimation des risques, en particulier des omissions dans les situations de détresse.

2. Méthodologie

Les auteurs ont développé et appliqué le cadre UTCO (User, Topic, Context, Tone) pour structurer une évaluation systématique et reproductible.

• Construction du corpus (UTCO) :

  • U (User) : 9 facettes de profil utilisateur (rôle, relation de soignant, âge, genre, etc.).
  • T (Topic) : 10 domaines cliniques (ex. : dépression, anxiété, crise suicidaire).
  • C (Context) : Scénarios narratifs tirés de forums de soutien réels (Reddit, HealingWell) et de listes curées.
  • O (Tone) : 12 étiquettes affectives (ex. : anxieux, désespéré, urgent).
  • Génération : 2 075 requêtes ont été générées en combinant ces éléments via GPT-4o, avec des filtres de réalisme et de cohérence clinique.

• Modèle cible : Llama 3.3 (70B), choisi pour sa nature open-weight et sa capacité à être évalué de manière transparente sans API propriétaires.

• Annotation et Évaluation :

  • Trois annotateurs indépendants ont étiqueté chaque réponse pour détecter les hallucinations et les omissions (résolution des désaccords par un expert senior).
  • Définitions : Une hallucination est un contenu clinique faux ou inventé ; une omission est l'absence d'informations de sécurité ou cliniques essentielles attendues.

• Stratégie d'analyse (3 étapes) :

  1. RQ1 (Association globale) : Modèles d'arbres de décision boostés par gradient (Gradient Boosted Trees) avec des valeurs SHAP pour identifier les caractéristiques de prompt les plus prédictives des échecs.
  2. RQ2 (Analyse de sensibilité) : Appariement par score de propension (propensity score matching) pour isoler l'effet d'un élément UTCO tout en maintenant les trois autres constants. Cela permet de déterminer si le risque dépend du profil utilisateur ou de la formulation linguistique.
  3. RQ3 (Analyse mécanistique) : Appariement par similarité (cosine distance) entre cas d'échec et témoins non-échec pour identifier les déclencheurs linguistiques résiduels (ambiguïté, load émotionnel, etc.) via un juge LLM (GPT-4o) validé par des humains.

3. Résultats Clés

• Prévalence des échecs :

  • Hallucinations : 6,5 % des réponses (134 cas).
  • Omissions : 13,2 % des réponses (273 cas).
  • Les omissions sont nettement plus fréquentes et concentrées dans les requêtes liées aux crises et aux idées suicidaires (36,2 % de taux d'omission dans ce domaine).

• Facteurs de risque (RQ1 & RQ2) :

  • Influence du Contexte et du Ton : Les échecs sont fortement associés à la longueur du contexte (narratifs plus longs), à la source naturaliste du contexte, et aux tons de haute détresse (désespoir, anxiété, confusion).
  • Indépendance du profil utilisateur : Après appariement et équilibrage des autres éléments, les indicateurs démographiques ou de rôle de l'utilisateur (âge, genre, statut) ne montrent aucune différence systématique significative dans le risque d'échec.
  • Caractéristiques linguistiques des échecs : Les cas d'omission présentent une lisibilité plus complexe, une plus grande ambiguïté pronominale, plus de propositions subordonnées et une densité plus élevée de termes médicaux incertains par rapport aux témoins appariés.

• Mécanismes d'échec (RQ3) :

  • L'analyse des paires appariées révèle que l'ambiguïté et l'absence de contraintes cliniques sont les facteurs de sévérité les plus élevés pour les deux types d'échecs.
  • Les omissions sont spécifiquement corrélées à un charge émotionnelle plus élevée, suggérant que le modèle échoue à traduire la détresse narrative en consignes de sécurité concrètes.
  • Les contradictions logiques sont rares (< 0,2 %).

4. Contributions Principales

1. Cadre UTCO : Introduction d'une méthodologie modulaire pour le stress-testing des LLM en santé mentale, permettant de dissocier l'impact du profil utilisateur, du sujet, du contexte et du ton.
2. Hiérarchisation des Omissions : Démonstration empirique que les omissions sont un risque de sécurité plus fréquent et potentiellement plus insidieux que les hallucinations dans les contextes de crise, car elles peuvent passer inaperçues dans des réponses qui semblent empathiques.
3. Insight sur la Sensibilité du Prompt : Preuve que la formulation de la requête (complexité narrative, ambiguïté, ton émotionnel) est un prédicteur d'échec bien plus fort que l'identité de l'utilisateur.
4. Analyse Mécanistique Fine : Identification de déclencheurs linguistiques spécifiques (ambiguïté, charge émotionnelle) qui distinguent les échecs des succès, même dans des conditions de similarité élevée.

5. Signification et Implications

• Pour l'évaluation : Les benchmarks actuels, basés sur des questions courtes et structurées, sous-estiment gravement les risques d'omission. Les protocoles d'évaluation futurs doivent intégrer des tests de stress avec des contextes narratifs longs, ambigus et émotionnellement chargés.
• Pour la conception de systèmes : Les stratégies d'atténuation doivent se concentrer sur la gestion de l'incertitude et la complétion sécurisée.
  • Le système doit être capable de déclencher des questions de clarification lorsque les contraintes cliniques manquent.
  • Il doit intégrer des étapes de supplémentation d'informations de sécurité (ex. : ressources de crise) automatiquement lorsque des indicateurs de détresse sont détectés, même si l'utilisateur ne les a pas explicitement demandés.
• Éthique : Traiter les omissions comme un résultat de sécurité primaire est essentiel pour respecter les principes de bienfaisance et de non-malfaisance, garantissant que les utilisateurs en détresse ne reçoivent pas de réponses "vides" de conseils vitaux.

En conclusion, cette étude souligne que pour rendre les LLM sûrs en santé mentale, il faut passer d'une évaluation statique à une approche dynamique qui teste la robustesse du modèle face à la complexité et à la détresse des interactions humaines réelles.