Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives
Bien que la prédiction sélective aide les cliniciens à récupérer l'exactitude globale des décisions face aux effets négatifs du biais d'automatisation en masquant les sorties d'IA non fiables, elle augmente par inadvertance les faux négatifs en incitant les cliniciens à sous-diagnostiquer et à sous-traiter lorsque l'IA s'abstient.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous marchez dans une forêt dense et que vous avez engagé un guide de haute technologie pour vous aider à trouver le chemin. Ce guide possède un super-pouvoir : il peut repérer les dangers et les raccourcis qui pourraient vous échapper. Mais voici le hic : le guide n'est pas parfait. Parfois, il vous dirige avec assurance vers une falaise, ou il s'embrouille tellement qu'il finit par ne plus parler du tout. Dans le monde de la science, c'est l'histoire de l'Intelligence Artificielle (IA) aidant les humains à prendre des décisions. Nous appelons le problème de faire aveuglément confiance à un mauvais guide le « biais d'automatisation ». Pour y remédier, les scientifiques ont trouvé une idée ingénieuse appelée « prédiction sélective ». C'est comme dire à votre guide : « Si tu n'es pas sûr à 100 %, tais-toi et laisse-moi faire ». L'espoir était qu'en cachant les mauvaises intuitions du guide, les humains seraient plus sûrs et plus intelligents. Mais le fait de rester silencieux aide-t-il réellement, ou cela ne fait-il que donner au humain un sentiment de perte et d'incertitude ? C'est la grande question à laquelle les chercheurs de l'Université du Michigan et de l'Université de New York voulaient répondre.
L'équipe a décidé de tester cette idée dans un environnement à enjeux élevés : un hôpital. Ils ont réuni 259 vrais médecins et professionnels de santé pour jouer à un jeu. Ils leur ont présenté 45 histoires de patients différents (appelées vignettes) concernant des personnes ayant des difficultés respiratoires. Les médecins devaient déterminer si les patients souffraient de pneumonie, d'insuffisance cardiaque ou d'une maladie pulmonaire appelée BPCO, puis décider du bon médicament. Les chercheurs ont mis en place trois scénarios différents. Premièrement, les médecins travaillaient seuls. Deuxièmement, ils travaillaient avec une IA qui donnait une réponse pour chaque question, même si l'IA se trompait. Troisièmement, ils travaillaient avec une IA utilisant la « prédiction sélective » — ce qui signifie que l'IA disait parfois : « Je ne suis pas sûr, à vous de décider », et cachait sa réponse pour certaines maladies.
Les résultats ont été un peu surprenants. Lorsque l'IA donnait simplement de mauvaises réponses, les médecins commettaient plus d'erreurs, prouvant qu'une mauvaise IA peut certainement tout gâcher. Mais quand l'IA utilisait la prédiction sélective et restait silencieuse sur les parties difficiles, cela aidait effectivement les médecins à éviter certaines erreurs. Cependant, cela ne réglait pas tout. En fait, lorsque l'IA disait : « Je m'en remets à vous », les médecins commençaient à commettre un autre type d'erreur : ils arrêtaient de traiter des patients qui avaient réellement besoin d'aide. Ils devenaient trop prudents. C'est comme si le silence du guide faisait penser aux randonneurs : « Si le guide ne signale pas de danger, c'est peut-être qu'il n'y en a pas », et ils arrêtaient donc de chercher.
L'étude a révélé que cet effet d'« IA silencieuse » était particulièrement fort chez les médecins qui n'avaient jamais utilisé d'outils d'IA auparavant. Ces médecins étaient plus susceptibles de sous-traiter les patients lorsque l'IA se retirait. Les chercheurs suggèrent que le fait d'entendre l'IA dire « Je ne sais pas » pourrait donner aux médecins l'impression que la condition n'est pas importante, ou cela pourrait simplement rendre la tâche plus difficile et plus confuse. Bien que la prédiction sélective soit un excellent filet de sécurité pour empêcher les médecins de suivre de mauvais conseils, ce document suggère qu'elle n'est pas une baguette magique. Elle change la façon dont les médecins réfléchissent, les faisant parfois passer à côté des problèmes mêmes qu'ils doivent résoudre. Les auteurs concluent que nous ne pouvons pas simplement supposer que le silence de l'IA est toujours une bonne chose ; nous devons être prudents quant à la manière dont cela modifie le comportement humain, car en médecine, manquer un diagnostic peut être tout aussi dangereux que de se tromper de diagnostic.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.