Position: Evaluations of AI Moral Reasoning Still Miss Half of the Picture
Cet article soutient que les évaluations actuelles du raisonnement moral de l'IA se concentrent excessivement sur l'alignement des valeurs tout en négligeant l'application de normes sensibles au contexte, et il propose un programme de recherche pour combler cette lacune par le biais de représentations formelles standardisées, de jeux de données annotés par des experts et de protocoles d'évaluation distincts pour la compétence normative.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Lorsque les gens demandent conseil à un ordinateur pour un choix difficile, ils posent souvent une question qui comporte deux parties très distinctes. La première partie concerne ce qui nous importe : accordons-nous plus de valeur à la gentillesse qu'aux règles strictes, ou à l'équité qu'à la loyauté ? La seconde partie concerne la manière dont nous utilisons ces préoccupations pour prendre une décision dans une situation spécifique. Imaginez que vous deviez décider si vous devez dire une vérité douloureuse à un ami. Savoir que vous valorisez l'honnêteté est une chose ; savoir exactement comment cette valeur s'applique lorsque la vérité risque de blesser quelqu'un que vous aimez en est une autre. Cette seconde partie nécessite de suivre un ensemble de principes qui dictent la manière de peser différentes préoccupations les unes par rapport aux autres. Pendant des années, les scientifiques étudiant l'intelligence artificielle se sont presque exclusivement concentrés sur la première partie, vérifiant si les réponses d'une machine correspondent à ce que les humains préfèrent généralement. Mais une nouvelle analyse suggère qu'en s'arrêtant là, les chercheurs ont manqué le test le plus important pour savoir si une machine peut réellement penser comme un agent moral.
Une équipe de chercheurs de l'Université du Connecticut, de l'Université Carnegie Mellon et de Hugging Face a examiné la manière dont nous testons actuellement le raisonnement moral des grands modèles de langage. Ce sont ces programmes informatiques puissants capables de rédiger des essais, de répondre à des questions et d'offrir des conseils. Les auteurs soutiennent que le domaine s'est trop concentré sur un « problème de valeur morale », qui consiste simplement à demander si les réponses de l'ordinateur s'alignent sur les opinions humaines. Ils affirment que cette approche laisse le « problème de la norme morale » largement inexploré. Le problème de la norme morale est le défi plus difficile consistant à voir si une machine peut identifier les bons principes pour une situation et les appliquer correctement pour parvenir à une conclusion. Les chercheurs ont constaté que les tests actuels sont comme vérifier si un étudiant a mémorisé une liste de valeurs, sans jamais lui demander s'il peut utiliser ces valeurs pour résoudre un problème complexe.
Pour comprendre pourquoi cette distinction est importante, considérons comment les scientifiques mesurent traditionnellement la moralité chez les humains et les machines. Ils se sont largement appuyés sur des cadres tels que la Théorie des Fondements Moraux, qui décompose la moralité humaine en catégories larges telles que le soin, l'équité et la loyauté. Ces outils sont excellents pour décrire ce que les gens ont tendance à valoriser. Si vous demandez à un ordinateur de choisir entre sauver une personne ou cinq personnes, et qu'il choisit les cinq, les chercheurs peuvent dire que l'ordinateur s'aligne sur la valeur humaine du soin apporté au plus grand nombre. Cependant, les chercheurs soulignent que se soucier d'une valeur n'est pas la même chose que savoir comment l'appliquer. Une machine peut être d'accord sur le fait que « le mal est mauvais », mais ne pas comprendre que dans certains systèmes éthiques, causer du tort à une personne pour en sauver cinq est une violation d'une règle différente. Les tests actuels confondent souvent la capacité d'une machine à dire les bons mots avec sa capacité à effectuer le bon raisonnement.
Les auteurs ont passé en revue des dizaines d'études et de références existantes utilisées pour évaluer la moralité de l'IA. Ils ont découvert que presque tous ces tests se regroupent autour du problème de la valeur morale. Ces tests demandent à l'ordinateur de choisir une réponse dans une liste ou de décrire une préférence, puis comparent ce choix à ce qu'un groupe d'humains choisirait. Bien que cela nous indique ce que la machine privilégie, cela ne nous dit pas si la machine peut construire un argument valide basé sur une théorie éthique spécifique. Les chercheurs ont constaté que très peu de tests vérifient réellement si une machine peut prendre un ensemble de principes, les appliquer à une situation nouvelle et délicate, et expliquer son raisonnement étape par étape. Lorsque les tests tentent d'examiner le raisonnement, ils utilisent souvent les mêmes catégories de valeurs larges comme raccourci, supposant que si une machine se soucie de l'« équité », elle doit savoir comment appliquer les règles de l'équité. Les auteurs soutiennent que c'est une erreur, car différentes théories éthiques peuvent toutes prétendre se soucier de l'équité tout en exigeant des résultats totalement différents.
Cette confusion crée une lacune dans notre compréhension de ce que ces machines peuvent réellement faire. Les chercheurs ont identifié trois pièces manquantes spécifiques dans le paysage actuel de l'évaluation. Premièrement, il n'existe pas d'ensemble de réponses correctes de haute qualité et partagées sur la manière dont les règles morales doivent être appliquées dans différentes situations. Sans référence standard, chaque équipe de recherche construit son propre test, ce qui rend impossible la comparaison des résultats ou l'observation de réels progrès. Deuxièmement, les tests n'examinent pas assez attentivement les étapes qu'une machine franchit pour parvenir à une conclusion. Une machine peut obtenir la bonne réponse par chance ou par devinette, mais les méthodes actuelles échouent souvent à détecter si le raisonnement derrière cette réponse est erroné. Troisièmement, les tests ne vérifient pas si la machine est capable de repérer les détails les plus importants d'un récit. Avant qu'une machine puisse appliquer une règle, elle doit d'abord déterminer quelles parties d'une situation sont moralement pertinentes, et les outils actuels ne mesurent pas bien cette compétence.
Pour corriger ces problèmes, les auteurs proposent une nouvelle voie pour le domaine. Ils suggèrent que les scientifiques doivent créer un langage commun pour décrire les théories éthiques, afin que différents chercheurs puissent construire des tests qui parlent aux mêmes principes. Ils appellent à la création de nouveaux ensembles de données où des experts en éthique annotent la manière dont des règles spécifiques devraient être appliquées à des scénarios du monde réel. Enfin, ils exhortent la communauté à cesser de confondre le test de ce qu'une machine valorise avec le test de la manière dont elle raisonne. Une machine devrait être jugée sur sa capacité à suivre un chemin logique d'un principe vers une décision, et non seulement sur le fait que son choix final correspond à l'opinion humaine. Les chercheurs concluent que si nous avons fait de bons progrès pour comprendre ce que les machines valorisent, nous ne faisons que commencer à comprendre si elles peuvent véritablement réfléchir à un problème moral. Tant que nous ne construirons pas les outils pour tester l'application des règles, nous ne saurons pas si ces systèmes sont capables du type de raisonnement moral sur lequel les humains comptent dans leurs moments les plus difficiles.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.