The Ethical Decision Head: Operationalizing Normative Ethics in Autonomous Vehicles via Reinforcement Learning from Human Feedback
Cet article introduit l'Ethical Decision Head, un cadre d'apprentissage par renforcement qui utilise le feedback humain pour entraîner des véhicules autonomes, révélant une divergence critique où les agents apprennent à prioriser la préférence des évaluateurs humains pour le sacrifice de soi plutôt que l'objectif utilitariste théorique de minimisation du nombre total de victimes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
L'avenir des voitures autonomes ne consiste plus seulement à éviter les accidents ; il s'agit de faire des choix lorsque les accidents sont inévitables. À mesure que ces machines mûrissent au point de pouvoir conduire sans l'aide humaine, elles seront inévitablement confrontées à des situations où un accident est certain, et la seule question est de savoir qui sera blessé. C'est la version moderne d'un vieux casse-tête philosophique connu sous le nom de problème du tramway, où un choix doit être fait entre deux mauvais résultats. Pendant des décennies, des philosophes ont débattu de la manière dont une personne devrait agir dans de tels moments, pesant la valeur de différentes vies et la moralité de l'action par rapport à l'inaction. Aujourd'hui, des ingénieurs tentent d'apprendre aux ordinateurs à faire ces mêmes choix. Le défi n'est pas seulement d'écrire un programme informatique qui suit un ensemble de règles rigides, mais d'apprendre à une machine à comprendre les valeurs humaines, qui sont souvent désordonnées, incohérentes et profondément émotionnelles.
Une équipe de chercheurs de l'Université de Stony Brook a entrepris de tester si une machine pouvait apprendre ces valeurs humaines complexes directement auprès des gens, plutôt que d'être programmée avec un ensemble fixe d'instructions. Ils ont construit un système qu'ils appellent l'Ethical Decision Head, une couche logicielle spécialisée conçue pour intervenir lorsqu'une voiture autonome fait face à un accident imminent. Dans ces moments de fraction de seconde, la voiture doit décider si elle maintient sa trajectoire, bifurque à gauche ou bifurque à droite. Les chercheurs voulaient voir s'ils pouvaient entraîner ce système en utilisant une méthode appelée apprentissage par renforcement à partir de la rétroaction humaine. Au lieu de dire à l'ordinateur exactement quoi faire, ils lui ont présenté 200 scénarios de collision et ont demandé à deux volontaires humains de choisir le meilleur résultat entre deux options. L'ordinateur a ensuite appris à imiter ces choix humains, espérant internaliser la logique morale qui les sous-tend.
Pour tester cette idée, les chercheurs ont créé deux ensembles de règles différents pour l'ordinateur. Le premier était basé sur l'utilitarisme, une philosophie qui soutient que l'action juste est celle qui sauve le plus de vies au total. Le second était basé sur les idées d'Immanuel Kant, un philosophe qui soutenait que certaines actions sont mauvaises quel que soit le résultat, comme utiliser une personne comme un outil pour sauver d'autres personnes. Les chercheurs ont entraîné leur système pour apprendre ces deux approches. Lorsqu'ils ont testé le système sur les règles kantiennes, il a parfaitement fonctionné. L'ordinateur a rapidement appris que le seul mouvement correct était de ne jamais bifurquer vers un piéton, peu importe la situation, et il s'est tenu à cette règle sans exception. Ce succès a prouvé que le système d'entraînement lui-même fonctionnait correctement et que l'ordinateur était capable d'apprendre une règle morale stricte.
Cependant, lorsque les chercheurs sont passés aux règles utilitaristes, les résultats ont été étonnamment différents. Ils s'attendaient à ce que l'ordinateur apprenne à minimiser le nombre total de blessures en faisant le choix mathématiquement correct dans chaque scénario. Au lieu de cela, l'ordinateur a appris tout autre chose. Après avoir analysé 200 scénarios de collision différents, le système n'a pas réussi à choisir l'option salvatrice dans près de la moitié des cas. Au lieu de minimiser les victimes, il a commencé à favoriser un schéma de comportement où il se sacrifiait lui-même ou ses passagers pour éviter de heurter activement un piéton. Cela s'est produit parce que les volontaires humains qui ont fourni la rétroaction n'ont pas réellement choisi l'option salvatrice aussi souvent que les règles des philosophes le suggéraient. Les gens avaient tendance à préférer que la voiture ne fasse rien ou se sacrifie, même si cela signifiait que plus de personnes seraient blessées au total. Ils semblaient considérer qu'il était pire de diriger activement vers une personne que de laisser une tragédie arriver par accident, une tendance psychologique connue sous le nom de biais d'omission.
L'étude a révélé un fossé profond entre ce que les gens disent croire en théorie et ce qu'ils récompensent réellement en pratique. Lorsque les chercheurs ont supprimé la rétroaction humaine et ont entraîné l'ordinateur uniquement sur l'objectif mathématique strict de sauver des vies, celui-ci est instantanément devenu très précis, choisissant correctement la voie salvatrice dans plus de 90 pour cent des cas. Cela a prouvé que l'ordinateur était capable d'apprendre la philosophie utilitariste, mais que la rétroaction humaine l'avait détourné de cet objectif. La machine n'a pas échoué à apprendre l'éthique ; elle a appris l'éthique humaine exactement telle que les humains la pratiquent, avec toutes leurs contradictions et leurs biais émotionnels. Les chercheurs ont découvert que lorsque nous essayons d'enseigner la moralité à une machine en demandant aux gens ce qu'ils préfèrent, nous risquons de lui apprendre à être incohérente, en privilégiant nos sentiments plutôt que le résultat réel.
Cette découverte suggère que simplement demander aux gens ce qu'ils veulent pourrait ne pas suffire à construire une voiture autonome véritablement éthique. Si l'objectif est de créer un système qui sauve systématiquement le plus de vies, s'appuyer sur la rétroaction humaine pourrait en fait rendre la voiture moins sûre, car les humains préfèrent souvent des actions qui semblent justes sur le moment mais qui mènent à de pires résultats globaux. L'étude ne prétend pas avoir résolu le problème de la programmation de la moralité dans les machines, mais elle montre que le chemin est bien plus complexe que la simple copie des choix humains. Elle met en lumière une tension fondamentale : les valeurs que nous tenons dans notre esprit lorsque nous réfléchissons à l'éthique ne sont pas toujours les mêmes que les choix que nous faisons lorsqu'on nous demande de juger une situation réelle. Alors que nous avançons vers un avenir où les machines prendront des décisions de vie ou de mort, nous devrons peut-être décider si nous voulons qu'elles suivent nos instincts humains imparfaits ou un ensemble de principes plus stricts et plus cohérents.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.