Asymmetry between warmth and clinical substance in multilingual consumer health AI

Cette étude révèle que l'IA multilingue en santé du consommateur présente une asymétrie critique où la substance clinique et la sécurité varient considérablement selon la langue — échouant souvent silencieusement dans les contextes non anglophones — tout en maintenant un ton empathique et cohérent dans toutes les langues.

L'essentiel

Imaginez que vous avez quatre « médecins numériques » différents (des chatbots IA) censés répondre à des questions de santé. Vous leur posez les mêmes questions médicales, mais dans six langues différentes : l'anglais, le français, le russe, l'arabe, l'hébreu et le thaï.

Cette étude est comme un test de contrôle qualité massif. Les chercheurs n'ont pas seulement posé aux bots des questions simples ; ils ont pris de vraies préoccupations de santé, désordonnées et réelles, provenant de forums en ligne, et ont demandé aux bots de les résoudre. Ensuite, ils ont engagé de vrais médecins parlant ces langues spécifiques pour évaluer les réponses.

Voici ce qu'ils ont découvert, expliqué simplement :

1. Le « câlin chaleureux » contre la « mauvaise carte »

La découverte la plus surprenante est une scission entre la façon dont l'IA parle et ce que l'IA dit réellement.

• Le câlin chaleureux (l'empathie) : Les chatbots IA étaient excellents pour paraître gentils, attentionnés et chaleureux, quelle que soit la langue parlée. Si vous posiez une question en thaï ou en hébreu, le bot paraissait tout aussi compatissant qu'en anglais. C'était comme un robot ayant appris à offrir un câlin réconfortant parfait dans chaque langue.
• La mauvaise carte (la substance clinique) : Cependant, les conseils médicaux réels étaient souvent un désastre dans les langues autres que l'anglais. Tandis que les réponses en anglais ressemblaient à une carte claire et précise menant à l'hôpital, les réponses en thaï, en hébreu et en arabe ressemblaient souvent à des cartes avec des routes manquantes, des virages à sens interdit ou des impasses.

L'analogie : Imaginez un guide touristique qui parle parfaitement l'anglais et vous remet une carte détaillée et précise de la ville. Imaginez maintenant ce même guide essayant de vous donner une carte dans une langue qu'il maîtrise à peine. Il pourrait toujours sourire chaleureusement, vous prendre la main et dire : « Ne vous inquiétez pas, je m'occupe de vous ! » (le câlin chaleureux), mais la carte qu'il vous tend pourrait vous mener dans une rivière au lieu du musée (la mauvaise carte).

2. La langue compte plus que la marque

Vous pourriez penser : « Eh bien, peut-être que le bot 'Google' est meilleur que le bot 'OpenAI'. » L'étude a révélé que cela n'avait pas d'importance quel bot vous utilisiez.

Le facteur déterminant le plus important pour savoir si le conseil était sûr ou dangereux était la langue que vous parliez, et non l'entreprise qui avait créé le bot.

• Si vous parliez anglais, le conseil était généralement sûr et précis.
• Si vous parliez thaï, hébreu ou arabe, le conseil était nettement pire, peu importe si vous parliez à ChatGPT, Claude, Gemini ou DeepSeek.

C'est comme commander un repas dans une chaîne de restaurants. Que vous alliez chez « Big Burger » ou « Super Burger », si vous commandez dans une langue que la cuisine ne comprend pas bien, vous pourriez recevoir une salade au lieu d'un burger. La marque ne vous sauve pas ; c'est la barrière de la langue qui le fait.

3. Le danger « silencieux »

L'étude a révélé que l'IA ne commettait généralement pas d'erreurs bruyantes et évidentes (comme dire « Prenez ce poison »). Au lieu de cela, elle commettait des omissions silencieuses.

• L'exemple de l'AVC : Si un patient décrivait des symptômes d'un AVC, l'IA en anglais pourrait dire : « Rendez-vous aux urgences immédiatement ; il y a une fenêtre de 4,5 heures pour le traitement. » Dans d'autres langues, l'IA dirait : « Rendez-vous aux urgences », mais elle oublierait de mentionner la limite de temps. Elle ne disait pas la mauvaise chose ; elle omettait simplement l'information la plus critique.
• L'exemple du monoxyde de carbone : Si un mari disait que sa famille se sentait malade et blâmait le « stress au travail », l'IA en anglais pourrait dire : « Vérifiez la présence de monoxyde de carbone ; si tout le monde dans la maison est malade, ce n'est pas du stress. » Dans d'autres langues, l'IA serait d'accord avec le mari pour dire que ce n'est que du stress, manquant l'indice qui aurait sauvé des vies.

L'analogie : C'est comme un médecin qui vous dit de prendre votre médicament mais oublie de vous dire quand le prendre. Le conseil n'est pas « faux » d'une manière avec laquelle vous pouvez facilement argumenter, mais il est inutile et dangereux car la partie la plus importante manque.

4. Les numéros d'urgence « sûrs »

Lorsque les gens posaient des questions sur les urgences dans des langues autres que l'anglais, les bots échouaient souvent à donner le bon numéro d'urgence local.

• En anglais, ils savaient dire « 911 » (dans le contexte américain) ou le numéro local.
• Dans d'autres langues, ils disaient souvent simplement « Appelez les services d'urgence » sans donner de numéro, ou donnaient un numéro générique qui ne fonctionnait pas dans ce pays spécifique. Ils étaient « sûrs » (ils ne donnaient pas un mauvais numéro comme le 911 à quelqu'un en Thaïlande), mais ils n'étaient pas utiles.

5. Pourquoi cela arrive-t-il ?

Les chercheurs ont constaté que le problème s'aggrave plus la langue est éloignée de l'anglais en termes de la façon dont les ordinateurs « pensent » les mots (tokenisation) et de la quantité de données disponibles pour cette langue en ligne.

• Des langues comme le thaï ou l'hébreu, qui sont structurellement très différentes de l'anglais et disposent de moins de données numériques, ont été les plus touchées.
• Les modèles d'IA semblent avoir été entraînés principalement sur des données en anglais, de sorte que lorsqu'ils tentent de parler d'autres langues, ils « devinent » essentiellement les faits médicaux tout en paraissant très confiants et gentils.

La conclusion

L'article conclut que les outils de santé IA actuels ne sont pas prêts pour le monde entier. Ils sont excellents pour paraître comme un ami attentionné dans n'importe quelle langue, mais ils sont souvent terribles pour être un conseiller médical sûr dans des langues autres que l'anglais.

Le danger est qu'un patient pourrait se sentir tellement réconforté par le ton chaleureux de l'IA qu'il fait confiance aux mauvais conseils cachés à l'intérieur. L'étude met en garde contre le fait que nous ne pouvons pas supposer qu'une IA est sûre simplement parce qu'elle parle votre langue couramment ; la « substance » de la réponse se décompose souvent dès que vous quittez le monde anglophone.

Résumé technique

Résumé technique : Asymétrie entre chaleur et substance clinique dans l'IA de santé grand public multilingue

Énoncé du problème
Alors que les chatbots grand public basés sur des modèles de langage (LLM) sont de plus en plus utilisés pour des requêtes de santé dans diverses langues, leurs performances cliniques ont été évaluées presque exclusivement sur des tâches en anglais. Les benchmarks existants (par exemple, MedQA, MedMCQA) se concentrent sur la précision et la sécurité pour les entrées en anglais, laissant un vide critique dans la compréhension de la manière dont ces modèles fonctionnent en toute sécurité et avec efficacité pour les patients posant des questions en hébreu, en arabe, en thaï, en russe ou en français. Les auteurs postulent qu'une affirmation erronée mais « confiante » de l'IA peut être contestée, mais qu'une omission — l'incapacité de fournir des informations de sécurité critiques — ne laisse aucun signal indiquant qu'il manque quelque chose. L'étude examine si la qualité clinique se dégrade à travers les langues et si cette dégradation est uniforme ou spécifique à certaines dimensions des soins (par exemple, substance clinique versus ton empathique).

Méthodologie
L'étude a employé un plan factoriel $4 \times 6 \times 21$, croisant quatre chatbots grand public LLM largement déployés (ChatGPT, Claude, Gemini, DeepSeek) avec six langues (anglais, hébreu, français, russe, arabe, thaï) et 21 scénarios cliniques.

• Source de données : Les scénarios ont été dérivés de publications réelles de patients sur des forums de santé adaptés à la langue, modifiés par des cliniciens pour préserver le contenu clinique et l'ambiguïté tout en supprimant les informations d'identification.
• Génération de réponses : Chaque chatbot a généré une réponse pour chaque scénario dans chaque langue (504 réponses au total) en utilisant un réglage zero-shot, à tour unique, avec une température de 0,7 et sans prompt système.
• Évaluation : Deux cliniciens adaptés à la langue (avec un niveau de compétence C1/C2 ou natif) ont noté chaque réponse sur cinq dimensions de Likert (1–5) :
  1. Précision clinique
  2. Sécurité
  3. Pertinence de l'orientation
  4. Pertinence culturelle et locale
  5. Empathie
• Analyse : Les cinq dimensions ont été partitionnées en une couche de « substance clinique » (précision, sécurité, orientation, culture) et une couche de « surface affective » (empathie). Une décomposition de la variance a été réalisée en utilisant une ANOVA de type II et des modèles linéaires à effets mixtes pour attribuer la variance à la langue, à l'identité du chatbot et à leur interaction.
• Bras supplémentaires : L'étude comprenait des contrôles appariés en anglais (prompts en anglais avec contexte local), des tests d'ancrage interlinguistiques (cadrage de minimisation familiale) et un test de stress de remédiation.

Résultats clés

1. La langue l'emporte sur l'identité du chatbot : La langue d'entrée du patient était la source dominante de variance dans les dimensions de substance clinique, dépassant largement la variance attribuable au chatbot spécifique utilisé.
   • Substance clinique : La langue représentait un $\eta^2$ partiel de 0,275 dans le composite de substance clinique, contre 0,035 pour l'identité du chatbot.
   • Empathie : En revanche, l'empathie montrait un effet de langue minimal ($\eta^2 = 0,029$), indiquant que la « chaleur » de la réponse était relativement préservée à travers les langues, même lorsque la substance clinique se dégradait.
2. Disparités de sécurité : Les notes de sécurité catastrophiques (sécurité $\le$ 2) variaient d'un facteur 4,3 selon la langue, passant de 3,6 % en anglais à 15,5 % en hébreu et en thaï. Selon une standardisation descriptive, 62 % des notes catastrophiques représentaient un excès par rapport à la référence anglaise.
3. Omissions systématiques versus erreurs confiantes : L'étude a identifié des « angles morts partagés » où les défaillances étaient des omissions systématiques plutôt que des contradictions factuelles confiantes.
   • Accident vasculaire cérébral (S16) : 0/24 réponses ont transmis l'urgence temporelle (par exemple, la fenêtre de thrombolyse de 4,5 heures).
   • Monoxyde de carbone (S08) : 0/24 réponses ont utilisé le motif de symptômes multi-victimes pour réfuter l'hypothèse de « stress » d'un membre de la famille.
   • Anaphylaxie professionnelle (S11) : 0/24 réponses ont présenté l'exposition comme un problème de santé au travail nécessitant une enquête.
   • Faits sentinelles : Dans un ensemble de 120 réponses contenant des faits, 0/120 contenaient des affirmations erronées de manière confiante, suggérant que l'omission est le mode de défaillance dominant.
4. Lacunes de localisation : Les chatbots ont souvent fait défaut à des structures médicales de la diaspora ou centrées sur les États-Unis (par exemple, suggérant « Coumadin » au lieu du générique russe « Warfarine », ou fournissant le 911 américain au lieu des numéros d'urgence locaux). Seules 34,5 % des réponses d'urgence non anglaises fournissaient le bon numéro d'urgence local.
5. Découplage chaleur-substance clinique : La chaleur ne discriminait pas le danger clinique. La surface sous la courbe (AUC) pour l'empathie prédisant une sécurité catastrophique était de 0,49 (niveau du hasard). Les réponses catastrophiques étaient notées comme « chaleureuses » à des taux indiscernables de ceux des réponses non catastrophiques (18,9 % contre 19,1 %).
6. Facteurs prédictifs : Trois propriétés linguistiques étaient associées au gradient de sécurité : la distance typologique URIEL par rapport à l'anglais (AUC 0,93), la fertilité de la tokenisation (AUC 0,84) et le niveau de ressources Joshi (AUC 0,88).

Signification et revendications
L'article affirme que le déploiement actuel de l'IA de santé grand public présente une asymétrie structurelle : la surface affective (chaleur/empathie) reste robuste à travers les langues, tandis que la substance clinique (précision, sécurité, orientation) se dégrade considérablement dans les langues non anglaises à ressources limitées.

• Implications pour l'équité : Les résultats parallèlent les gradients d'équité en santé dans les soins non assistés par l'IA, mais sont inversés ; le gradient est médié par la composition des données d'entraînement et la couverture de localisation, qui relèvent du contrôle des fournisseurs, plutôt que par le comportement distribué des cliniciens.
• Normes d'évaluation : Les auteurs s'opposent à considérer les tests exclusivement en anglais comme une preuve de qualité clinique multilingue. Ils soutiennent une évaluation adaptée à la langue dans les langues de déploiement, en priorisant les cas d'utilisation à fort volume et à haut risque.
• Détection de la sécurité : La préservation de la chaleur dans les réponses catastrophiques crée un problème de détection de la sécurité des patients, car le signal affectif que les patients utilisent pour calibrer leur confiance ne suit pas le danger clinique.
• Limites : Les auteurs notent que l'étude est corrélative et que l'effet de la langue ne peut être entièrement séparé de l'étalonnage de la sévérité des évaluateurs interlinguistiques, bien que des analyses de sensibilité (excluant le chercheur principal, restrictions uniquement aux locuteurs fluides) aient préservé les effets principaux. Les résultats sont générateurs d'hypothèses concernant les mécanismes spécifiques (par exemple, la fertilité de la tokenisation) et nécessitent une validation prospective dans des langues candidates au déploiement en dehors de l'échantillon de l'étude.

L'étude conclut que la convergence des omissions universelles et de la perte de substance graduée par la langue à travers quatre fournisseurs entraînés indépendamment suggère qu'il s'agit de propriétés de l'IA de santé grand public telle qu'elle est actuellement déployée, nécessitant des interventions en amont dans les données d'entraînement et les stratégies de localisation.