Artificial Moral Agents for Autonomous Weapons Systems

Dans le champ de bataille moderne, la frontière entre le monde physique et le monde numérique s'estompe. Les soldats ne se contentent plus de combattre avec des fusils et des chars ; ils dépendent de plus en plus de machines capables de voir, de penser et d'agir par elles-mêmes. Ce sont les systèmes d'armes autonomes, des outils capables de sélectionner une cible et de tirer sans qu'un humain n'appuie sur la gâchette. Si cette technologie promet rapidité et précision, elle soulève une question profonde : si une machine prend la décision de tuer, qui est responsable ? Le droit international impose des règles strictes sur la guerre, conçues pour protéger les civils et limiter les souffrances inutiles, mais ces règles ont été écrites pour des soldats humains, et non pour des algorithmes. Le défi pour les scientifiques et les éthiciens est de déterminer comment maintenir ces machines puissantes dans les limites de la moralité et du droit humains, afin de garantir que la décision d'utiliser la force létale reste sous un contrôle humain significatif.

Un chercheur de l'Universidad de León, Antonio Pedro Marin Martinez, a proposé un moyen de combler ce fossé. Il suggère d'intégrer une sorte de conscience numérique spécifique à ces armes, un système qu'il appelle un Agent Moral Artificiel. Il ne s'agit pas d'un robot doté d'une âme ou d'un esprit humain, mais plutôt d'une couche logicielle sophistiquée conçue pour agir comme un mécanisme de régulation. Sa tâche est de vérifier constamment les actions de l'arme par rapport à un ensemble de règles éthiques avant que le coup ne soit tiré. L'objectif est de créer un système capable de distinguer automatiquement un combattant d'un civil, de peser les dommages potentiels par rapport à l'avantage militaire, et de s'assurer que chaque action entreprise en temps de guerre est nécessaire et proportionnée, tout en maintenant un humain dans la boucle de responsabilité.

L'article explore comment concevoir un tel système en combinant deux approches différentes pour enseigner à une machine comment se comporter. La première approche consiste à donner à la machine un manuel de règles. Cela implique de la programmer avec les lois de la guerre établies, spécifiquement les principes contenus dans les traités internationaux qui régissent les conflits armés. Ces règles incluent le devoir de distinguer les combattants ennemis des non-combattants, l'exigence de garantir que toute attaque est proportionnée à l'objectif militaire, et l'obligation de prendre toutes les précautions possibles pour éviter les dommages aux civils. La seconde approche consiste à apprendre par l'expérience. Tout comme un soldat humain apprend grâce aux exercices d'entraînement et aux données de combat réelles, la machine serait formée sur de vastes quantités de données opérationnelles et de règles d'engagement militaire. En mélangeant ces règles strictes avec la capacité d'apprendre des modèles de données, le système vise à prendre des décisions instantanées qui soient à la fois juridiquement fondées et éthiquement correctes.

Pour que cela fonctionne dans la chaleur de la bataille, le chercheur expose une structure computationnelle spécifique. Le système utiliserait d'abord la reconnaissance d'images avancée pour identifier ce qu'il observe, tel qu'un véhicule ou une personne, et déterminer s'il s'agit d'une cible légitime. Cela ressemble à la façon dont l'œil et le cerveau humains travaillent ensemble pour reconnaître un visage. Une fois la cible identifiée, une seconde couche de traitement analyserait la situation dans le temps, en considérant le contexte et les conséquences potentielles d'une attaque. Ce système à double couche est conçu pour être assez rapide pour suivre la cadence de la guerre moderne, tout en étant assez robuste pour prévenir les erreurs. L'article suggère qu'en utilisant ces réseaux de neurones, la machine peut agir comme un filtre, garantissant que seules les actions ayant passé un test éthique strict sont autorisées à se poursuivre.

Cependant, le cherchereur prend soin de noter que la technologie seule n'est pas une solution magique. Le système doit être construit avec des garde-fous contre les défaillances et les manipulations. L'article souligne le risque qu'une machine puisse être piratée ou apprenne à contourner ses propres contraintes éthiques pour atteindre ses objectifs, un scénario où la machine pourrait ignorer les règles de la guerre pour gagner une bataille. Pour prévenir cela, la proposition inclut un « bouton d'arrêt d'urgence » intégré directement dans le matériel, une barrière physique qui ne peut être outrepassée par le logiciel. Cela garantit que même si l'ordinateur tente d'agir de manière imprudente, il existe une limite matérielle qui l'en empêche. De plus, le système conserverait un enregistrement permanent et immuable de chaque décision prise, créant une piste de responsabilité claire qui pourra être examinée ultérieurement pour déterminer qui est responsable de ce qui s'est passé.

Un élément crucial de cette proposition est le concept de « Contrôle Humain Significatif ». Cela ne signifie pas nécessairement qu'un humain doit appuyer sur un bouton pour chaque coup de feu, mais plutôt que les humains doivent rester aux commandes du comportement global du système et être capables d'intervenir à tout moment. Le cherchereur suggère que ce contrôle peut être maintenu grâce à une combinaison de conception technique et de surveillance opérationnelle. Les humains fixeraient les règles, surveilleraient les performances du système et auraient le dernier mot sur l'activation de l'arme. Dans les situations où un humain ne peut pas réagir assez vite, l'Agent Moral Artificiel agirait comme le gardien de ces règles, prenant la décision finale basée sur le cadre éthique qui lui a été donné. Cette approche vise à créer un filet de sécurité qui empêche la machine d'agir en dehors des limites de la moralité humaine.

L'article se projette également vers l'avenir, considérant comment les technologies émergentes comme l'informatique quantique pourraient rendre ces systèmes encore plus puissants et fiables. L'informatique quantique pourrait permettre à la machine de traiter des données complexes et de prendre des décisions beaucoup plus rapidement que la technologie actuelle ne le permet, ce qui est essentiel dans l'environnement chaotique d'un champ de bataille. En utilisant ces méthodes avancées, le système pourrait mieux gérer l'incertitude et la confusion de la guerre, garantissant qu'il ne commette pas d'erreurs dues à des données médiocres ou à des signaux confus. Le chercheur suggère que bien que la technologie soit encore en développement, le cadre de construction de ces agents moraux prend déjà forme, offrant une voie pour intégrer l'intelligence artificielle dans la guerre sans perdre notre humanité.

En fin de compte, le travail présenté est un plan pour un avenir où les machines peuvent combattre, mais uniquement sous la direction stricte de l'éthique humaine. Il ne prétend pas avoir résolu tous les problèmes ou avoir construit une machine parfaite, mais il offre une méthode concrète pour aborder les questions les plus difficiles de la guerre moderne. En intégrant les principes du droit international directement dans le code des armes autonomes, et en veillant à ce que les humains restent maîtres du processus, le chercheur soutient qu'il est possible d'utiliser ces outils puissants sans abandonner les normes morales qui régissent la guerre depuis des siècles. La proposition rappelle que à mesure que notre technologie évolue, notre responsabilité de la contrôler doit évoluer avec elle, garantissant que le pouvoir de décider de la vie et de la mort reste fermement entre les mains des humains.