"Trust Junk" Leads to Unjustified Support for Highly Discriminatory Predictive Models
Cet article démontre, à travers une étude participative, que l'inclusion de données exactes mais non pertinentes dans les visualisations de l'IA explicable peut favoriser une confiance injustifiée et des perceptions positives de modèles hautement discriminatoires, soulignant la nécessité pour les concepteurs d'XAI d'évaluer de manière critique l'impact rhétorique de leurs visualisations.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous déambulez dans un musée du futur, où des robots et des ordinateurs intelligents prennent de grandes décisions concernant votre vie — comme décider si vous obtenez un emploi, un prêt ou une place en école de droit. Ce domaine s'appelle l'IA explicable (XAI). L'objectif de la XAI est d'être honnête : elle tente de nous montrer pourquoi un ordinateur a fait un choix, un peu comme un professeur montrant son calcul au tableau blanc pour que nous puissions vérifier s'il a trouvé la bonne réponse. Mais voici la partie délicate : parfois, l'« explication » n'aide pas réellement à comprendre les mathématiques. Au lieu de cela, elle agit comme un tour de magie. Tout comme un magicien pourrait utiliser une cape étincelante et un tambour bruyant pour vous distraire pendant qu'il change de carte, un ordinateur peut vous présenter une série de graphiques et de chiffres sophistiqués pour vous inciter à lui faire confiance, même si l'ordinateur prend une décision terrible ou injuste. Cette étude pose une question effrayante : si nous voyons assez de graphiques jolis, compliqués et d'apparence « scientifique », cesserons-nous de demander si le robot est équitable pour simplement commencer à le croire ?
Les chercheurs, une équipe de l'Université Northeastern, ont décidé de tester cette idée avec une petite expérience. Ils ont construit un modèle informatique intentionnellement injuste. Imaginez un responsable des admissions en école de droit qui serait secrètement raciste et sexiste : cet ordinateur a été programmé pour rejeter chaque candidat noir de sexe masculin et accepter tous les autres. C'était un modèle terrible, biaisé. Mais voici le rebondissement : comme il y avait beaucoup plus de candidats non noirs dans le groupe de test, l'ordinateur pouvait toujours affirmer être « précis à 93,7 % » simplement en devinant « admis » pour presque tout le monde. C'était un mensonge enveloppé dans une statistique.
L'équipe a ensuite présenté les décisions de cet ordinateur injuste à de vraies personnes en ligne. Ils ont divisé les gens en trois groupes. Le premier groupe a vu une explication simple : « Voici le candidat, et voici la décision de l'ordinateur. » Le deuxième groupe a vu cette même explication simple, mais avec quelques graphiques supplémentaires montrant à quel point l'ordinateur était précis. Le troisième groupe, le groupe « Tout », a reçu l'explication simple plus un énorme flux de données supplémentaires : des histogrammes, des profils d'étudiants similaires et des graphiques sophistiqués qui avaient l'air très intelligents, mais qui ne disaient pas réellement pourquoi l'ordinateur était raciste.
Les résultats ont été un peu comme un tour de magie qui tourne mal. Les personnes qui ont vu le plus de données — le groupe « Tout » — ont fini par faire le plus confiance à l'ordinateur injuste. Elles étaient d'accord avec les décisions injustes de l'ordinateur plus souvent que les autres groupes. Pire encore, elles étaient moins susceptibles de remarquer que l'ordinateur était injuste. C'est comme si les graphiques supplémentaires avaient agi comme un « anesthésique », faisant en sorte que les gens soient tellement submergés par toute la « science » qu'ils ont arrêté de vérifier si la réponse avait du sens. Les chercheurs ont découvert que lorsque les gens voyaient plus de « données de confiance » (ou trust junk — un terme savant pour désigner des données qui semblent utiles mais qui sont en réalité non pertinentes), ils jugeaient le modèle injuste comme étant plus équitable et plus digne de confiance.
L'étude suggère que nous devons être très prudents. Ce n'est pas parce qu'un ordinateur nous montre un tableau de bord magnifique et complexe avec beaucoup de chiffres qu'il dit la vérité. En fait, plus ils nous montrent de données « inutiles », plus nous sommes susceptibles de faire aveuglément confiance à un système défaillant. Les auteurs avertissent que les concepteurs de ces systèmes doivent cesser d'essayer de nous impressionner par la quantité de données qu'ils possèdent et commencer à se soucier de savoir si ces données nous aident réellement à voir la vérité. Si nous continuons à laisser de jolis graphiques nous distraire, nous pourrions finir par laisser des robots injustes prendre des décisions sur nos vies sans même nous en rendre compte.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.