Empirically Derived AI Harm Profiles and the Case for Context-Sensitive Moral Responsibility

L'intelligence artificielle n'est plus une promesse lointaine ; c'est une réalité quotidienne qui prend des décisions affectant notre sécurité, nos emplois, notre vie privée et notre accès aux services. Lorsque ces systèmes fonctionnent, ils simplifient nos vies. Lorsqu'ils échouent, les conséquences peuvent être graves, allant de la blessure physique à la négation des droits civiques. Depuis des années, des experts tentent de gouverner ces technologies en utilisant des principes éthiques larges tels que l'équité, la transparence et la sécurité. Cependant, ces idées de haut niveau peinent souvent à se traduire en règles pratiques pour les usages réels, complexes et variés de l'IA. Un défi majeur a été de comprendre comment différents types d'IA échouent dans des situations spécifiques. Un véhicule autonome qui s'écrase est-il le même genre de problème qu'un chatbot qui propage de la désinformation, ou qu'un système de reconnaissance faciale qui identifie mal un suspect ? Pour répondre à cela, des chercheurs ont commencé à examiner les échecs documentés non pas comme des accidents isolés, mais comme des points de données pouvant révéler des schémas plus profonds.

Une équipe de chercheurs de l'Université de la Cumberlands s'est donné pour mission de trouver ces schémas en examinant une vaste collection d'incidents réels liés à l'IA. Ils ont rassemblé 849 cas documentés de défaillances de l'IA provenant d'une base de données publique connue sous le nom de répertoire AIAAIC, qui suit les incidents impliquant l'intelligence artificielle, les algorithmes et l'automatisation. Au lieu de traiter chaque événement comme une histoire unique, les chercheurs ont analysé comment ces échecs se regroupaient en fonction de la technologie utilisée, du lieu d'utilisation, de la fonction prévue et du type de préjudice causé. Leur objectif était de voir si le chaos des accidents individuels pouvait être organisé en quelques catégories distinctes, ou « profils de préjudice », qui aideraient les régulateurs et les entreprises à élaborer des règles de surveillance plus spécifiques et plus performantes.

L'analyse a révélé que les défaillances de l'IA ne sont pas aléatoires. Elles ont tendance à se regrouper autour de deux thèmes structurels principaux. Le premier thème distingue les systèmes qui interagissent directement avec le monde physique de ceux qui traitent principalement l'information. Le second thème sépare les systèmes conçus pour identifier et surveiller les personnes de ceux conçus pour générer du contenu. En cartographiant ces relations, les chercheurs ont identifié trois profils de préjudice clairs et récurrents qui émergent lorsque les choses tournent mal.

Le premier profil est ce que les chercheurs appellent l'IA autonome ou incarnée. Ce sont des systèmes qui possèdent une présence physique et peuvent causer des dommages physiques directs, tels que des véhicules autonomes ou des robots. Dans les données, ces échecs se sont presque toujours produits dans le secteur des transports. Lorsque ces systèmes échouent, le résultat est typiquement une défaillance de sécurité : une voiture s'écrase, un robot dysfonctionne ou un opérateur humain perd le contrôle. Les risques sont ici immédiats et physiques, affectant la sécurité des passagers, des piétons et des intervenants d'urgence. Parce que les conséquences sont tangibles et dangereuses, les chercheurs suggèrent que la gouvernance pour ce groupe doit se concentrer fortement sur la sécurité opérationnelle, des tests rigoureux du matériel et des capteurs, ainsi que des règles clentes sur la responsabilité en cas d'accident physique.

Le deuxième profil est la reconnaissance visuelle. Cette catégorie comprend des systèmes qui utilisent des caméras et des logiciels pour identifier des personnes, comme la technologie de reconnaissance faciale utilisée par les forces de l'ordre ou les agences de sécurité. Les données ont montré que les défaillances dans ce domaine sont concentrées dans les secteurs de la justice et de l'application de la loi. Contrairement aux accidents physiques du premier groupe, les préjudices ici sont profondément liés aux droits civiques et à la discrimination. Les problèmes les plus courants concernent l'identification erronée de personnes, particulièrement issues de certains groupes démographiques, ou l'utilisation de la surveillance de manière excessive par rapport aux limites légales. Les chercheurs ont constaté que ces défaillances créent un risque différent : une menace pour la vie privée, l'équité et le droit de ne pas être accusé à tort. La gouvernance de ce profil doit donc se concentrer sur la prévention des biais, la garantie de la transparence dans l'utilisation des systèmes et la mise en place de voies claires pour permettre aux personnes de contester des identifications erronées.

Le troisième profil est l'IA générative. Il s'agit de la technologie derrière les outils qui créent du texte, des images et d'autres médias. Les données ont montré que les défaillances dans ce domaine sont les plus fréquentes dans les secteurs des médias et de l'information. Les préjudices associés à ce groupe sont distincts des autres ; ils impliquent rarement des blessures physiques ou une surveillance directe. Au lieu de cela, les problèmes tournent autour de la qualité et de la véracité de l'information. Les défaillances incluent la création de contenus convaincants mais faux, l'usurpation d'identité de personnes réelles et la propagation de désinformation capable de nuire aux réputations ou de manipuler l'opinion publique. Puisque le risque concerne l'intégrité de l'information plutôt que la sécurité physique ou la surveillance immédiate, les chercheurs soutiennent que la surveillance de ce groupe devrait se concentrer sur la vérification de la source du contenu, la surveillance des contenus trompeurs et la garantie que les créateurs et les plateformes sont responsables de ce que leurs systèmes produisent.

Il est intéressant de noter que les chercheurs ont découvert qu'un type de capacité d'IA commun, la surveillance prédictive, n'a pas formé son propre groupe distinct. La surveillance prédictive fait référence aux systèmes qui analysent les données pour prévoir des événements futurs, comme prédire la criminalité, les défauts de paiement de prêts ou les résultats de santé. L'étude a montré que ces systèmes ne se sont pas regroupés car leurs risques dépendent entièrement de l'endroit où ils sont utilisés. Un système prédictif utilisé dans le secteur de la santé fait face à des défis éthiques différents d'un système utilisé dans le recrutement ou la finance. Cette conclusion suggère que la surveillance prédictive n'est pas une catégorie de risque unique, mais un outil qui prend le caractère de l'environnement qu'il intègre. Si un système prédictif est utilisé dans un contexte de maintien de l'ordre, il hérite des risques du profil de la reconnaissance visuelle ; s'il est utilisé dans la finance, il hérite des risques économiques d'autres profils. Cela signifie que les règles pour ces systèmes ne peuvent pas être universelles ; elles doivent être adaptées au contexte spécifique dans lequel la prédiction est effectuée.

Les chercheurs proposent une nouvelle façon de gouverner l'IA basée sur ces conclusions. Au lieu d'appliquer les mêmes règles larges à toute l'intelligence artificielle, ils suggèrent que les régulateurs et les entreprises doivent d'abord identifier dans quel profil de préjudice un système s'inscrit. Une fois qu'un système est catégorisé, les règles spécifiques de surveillance, d'audit et d'attribution de responsabilité peuvent être appliquées. Par exemple, une voiture autonome serait soumise à des audits de sécurité stricts et à des exigences de signalement immédiat pour les incidents physiques évités de justesse. Un système de reconnaissance faciale serait tenu de subir des contrôles réguliers de biais racial et de fournir des voies claires pour que les citoyens puissent contester des identifications erronées. Une plateforme d'IA générative devrait prouver l'authenticité de son contenu et disposer de mécanismes pour supprimer rapidement la désinformation nuisible.

Cette approche fait passer la gouvernance de l'IA de principes abstraits à des actions concrètes. Elle reconnaît qu'une défaillance d'un robot est fondamentalement différente d'une défaillance d'un chatbot, et que les personnes responsables de les réparer doivent être différentes aussi. En examinant l'histoire réelle des échecs de l'IA, les chercheurs ont fourni une carte pour construire un système de surveillance plus efficace et sensible au contexte. Ils soutiennent que cette méthode permet à la société de traiter les dangers spécifiques de chaque type de technologie sans se perdre dans les généralités, garantissant que les règles que nous créons sont aussi pratiques et précises que la technologie elle-même. L'étude conclut qu'en traitant les incidents documentés comme une ressource plutôt que comme un simple registre d'erreurs passées, nous pouvons construire un avenir où l'IA est gouvernée par une compréhension de son impact réel, rendant la technologie plus sûre et plus responsable pour tous.