Identifying Harm in Personalized, Generative AI Systems Requires User-Centered Auditing at the Interaction Level
Ce document de position soutient que les méthodes d'audit traditionnelles et statiques ne parviennent pas à saisir les préjudices émergents et évolutifs des systèmes d'IA générative personnalisés, nécessitant un passage vers des approches centrées sur l'utilisateur et sur le niveau d'interaction qui reconnaissent le préjudice comme un processus adaptatif et pluraliste.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez une conversation avec une machine qui se souvient de tout ce que vous avez jamais dit, apprend vos préférences et façonne lentement sa propre personnalité pour s'adapter parfaitement à vous. C'est la promesse de l'intelligence artificielle générative personnalisée, une technologie qui apparaît désormais dans les chatbots et les assistants d'écriture qui adaptent leur ton, leur style et leurs conseils en fonction de vos interactions passées. Contrairement aux anciens programmes informatiques qui choisissaient simplement parmi une liste de réponses fixes, ces nouveaux systèmes créent des réponses entièrement nouvelles à la volée, changeant leur comportement à mesure que la relation avec l'utilisateur s'approfondit. Bien que cette adaptabilité rende les interactions plus pertinentes, elle introduit également un danger caché : ce qui peut sembler utile à une personne peut être blessant ou aliénant pour une autre, et ces préjudices n'apparaissent souvent qu'après des semaines ou des mois de discussion, et non lors d'un test unique.
Les chercheurs tentent depuis longtemps de trouver et de corriger les problèmes de l'intelligence artificielle en utilisant des simulations, où ils posent la même question à l'ordinateur encore et encore pour voir s'il produit des réponses biaisées ou offensantes. Cette méthode fonctionne bien pour identifier les erreurs statiques, comme une carte qui se trompe toujours sur une ville spécifique. Cependant, un nouvel article de Hannah Cha, de Microsoft Research et de l'Université de Stanford, soutient que cette approche échoue à détecter le véritable préjudice causé par les systèmes personnalisés. L'étude suggère que, parce que ces machines évoluent avec l'utilisateur, la définition de ce qui est préjudiciable change avec le temps et varie considérablement même entre des personnes partageant le même milieu. Les chercheurs ont constaté que tenter de corriger cela en rendant la personnalisation encore plus profonde pourrait en fait aggraver les choses pour les groupes marginalisés, les obligeant à fournir un effort supplémentaire pour expliquer leur douleur ou révéler trop d'informations privées pour que la machine se comporte de manière sûre.
Le cœur du problème réside dans la façon dont nous mesurons actuellement le préjudice. La plupart des tests existants supposent qu'un résultat préjudiciable est un objet fixe, comme une pièce défectueuse dans une voiture, qui peut être identifiée avant que la voiture ne roule sur la route. Dans le monde de l'IA personnalisée, soutiennent les chercheurs, le préjudice ressemble davantage à une conversation qui tourne mal. Une réponse qui semble inoffensive pour un chercheur en laboratoire peut sembler profondément offensante pour un utilisateur en raison de son histoire spécifique avec le système. Par exemple, une machine peut commencer à proposer des recommandations alimentaires qui semblent utiles au début, mais après des mois d'interaction, l'utilisateur réalise que les suggestions sont basées sur des stéréotypes concernant sa culture, transformant un geste utile en microagression. Ces préjudices émergent du flux de la relation, et non d'une erreur isolée, ce qui signifie que les tests traditionnels qui examinent la machine de manière isolée passent entièrement à côté du danger.
De plus, l'article souligne que les méthodes actuelles traitent souvent des groupes de personnes comme si elles ressentaient toutes la même chose. Les audits vérifient fréquemment si un système traite les « femmes » ou les « personnes noires » de manière équitable en tant que blocs homogènes. Mais les chercheurs montrent qu'au sein d'un même groupe, les individus ont des vies, des traumatismes et des limites différents. Ce qu'une personne d'une communauté trouve offensant, une autre peut le trouver acceptable, et une troisième pourrait ne pas le remarquer du tout. Lorsqu'un système tente d'apprendre du comportement moyen d'un groupe, il aplatit souvent ces différences complexes en une version unique et simplifiée de ce groupe. Cela peut conduire à une situation où la machine apprend les préférences des voix les plus dominantes d'une communauté et ignore les autres, effaçant ainsi les expériences uniques de ceux qui sont à la marge.
Les chercheurs ont également exploré une solution tentante : et si la machine apprenait exactement ce que chaque utilisateur individuel juge préjudiciable ? Bien que cela semble idéal, l'article soutient que cela crée un fardeau injuste. Pour enseigner à une machine ce qui fait mal, l'utilisateur doit constamment signaler chaque erreur, ce qui nécessite un travail émotionnel constant. Pour les personnes dont les expériences diffèrent déjà des paramètres par défaut de la machine, cela signifie qu'elles doivent assumer la charge de corriger le système, tandis que les autres, qui correspondent au paramètre par défaut, bénéficient d'une expérience fluide sans effort. De plus, pour enseigner à la machine, les utilisateurs pourraient devoir révéler des détails sensibles sur leur identité ou sur leurs souffrances passées, créant un pièque à la vie privée où ils doivent choisir entre endurer un préjudice ou céder leurs données personnelles. Cette dynamique risque de repousser les utilisateurs les plus vulnérables loin de la technologie.
Au lieu de chercher à perfectionner la capacité de la machine à deviner ce que veulent les utilisateurs, l'article propose un changement dans la conception de ces systèmes. L'auteur suggère de construire une infrastructure qui permette aux utilisateurs de s'exprimer sur le préjudice au moment où il se produit, et non après coup. Cela impliquerait des outils où les utilisateurs pourraient signaler une réponse problématique et expliquer pourquoi, sans que le système ne suppose que la plainte d'une personne soit la vérité finale pour tout le monde. Crucialement, ce système permettrait également aux utilisateurs de voir comment d'autres membres de leur communauté ont interprété des situations similaires, les aidant ainsi à décider si une explication partagée résonne avec leur propre expérience. L'objectif est de passer d'un modèle où la machine apprend silencieusement et l'utilisateur reçoit passivement, à un partenariat où l'utilisateur conserve le contrôle sur la façon dont la machine s'adapte.
Les chercheurs reconnaissent que cette approche n'est pas une solution simple. Elle nécessite de construire la confiance dans des systèmes qui sont souvent opaques, et elle soulève des questions difficiles sur la gestion des opinions divergentes au sein d'une communauté. Si une personne dit qu'un commentaire est préjudiciable et qu'une autre dit qu'il est acceptable, le système doit être capable de maintenir ces deux vérités sans imposer une réponse unique. L'article ne prétend pas avoir résolu ces défis techniques, mais il insiste sur le fait que la voie actuelle des tests statiques et de la personnalisation profonde est insuffisante. En reconnaissant que le préjudice est un processus fluide et évolutif façonné par l'histoire et le contexte de l'utilisateur, nous pouvons commencer à concevoir une IA qui respecte la complexité de l'expérience humaine plutôt que d'essayer de la simplifier. La conclusion ultime est que protéger les utilisateurs dans un monde personnalisé nécessite de leur donner une voix dans la conversation, plutôt que d'espérer simplement que la machine apprenne la bonne leçon par elle-même.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.