The Ethics of Autonomous AI Agents for Offensive Security

Imaginez le monde de la sécurité informatique comme une immense partie de cache-cache à enjeux élevés jouée dans une ville numérique. D'un côté, vous avez les « Défenseurs », les gardes de sécurité qui tentent de verrouiller chaque porte et chaque fenêtre pour empêcher les méchants d'entrer. De l'autre côté, il y a les « Attaquants », les hackers malicieux qui tentent de crocheter les serrures, de grimper aux clôtures et de s'introduire furtivement. Pendant des décennies, les hackers ont utilisé un ensemble très spécifique d'outils : des pioches, des passe-partout et des lampes de poche. Ces outils étaient prévisibles ; si vous utilisiez un passe-partout spécifique sur une serrure spécifique, cela fonctionnerait ou non, à chaque fois. Les personnes qui les utilisaient devaient être des experts hautement formés ayant passé des années à apprendre à les utiliser en toute sécurité.

Mais récemment, un nouveau type d'outil est entré dans le jeu : l'« Agent IA Autonome ». Ne voyez pas cela comme un simple passe-partout, mais comme un assistant robotique magique et super intelligent capable de comprendre comment ouvrir n'importe quelle porte par lui-même. Il ne se contente pas de suivre un manuel ; il apprend, s'adapte et prend ses propres décisions. La grande question que tout le monde se pose est la suivante : que se passe-t-il lorsque vous donnez à un robot capable de penser par lui-même un travail qui consiste à forcer des entrées ? Cela rend-il le jeu plus équitable, ou fait-il pencher la balance si loin que les défenseurs ne peuvent plus suivre ? Ce document explore les aspects éthiques complexes, confus et potentiellement dangereux du fait de remettre les clés à ces robots numériques.

---

Le robot qui casse des choses (et ne sait pas pourquoi)

Ce document traite d'un changement effrayant dans la manière dont les hackers (et les testeurs de sécurité) travaillent. Par le passé, si un expert en sécurité voulait tester un système, il utilisait des outils comme un stéthoscope numérique ou une clé spécifique. Ces outils étaient déterministes, ce qui signifie qu'ils faisaient exactement ce qu'on leur disait de faire, à chaque fois. Si vous disiez à un outil de scanner un ordinateur, il scannait cet ordinateur. Si vous lui disiez de s'arrêter, il s'arrêtait. L'humain était toujours le chef, et l'outil n'était qu'un instrument passif.

Aujourd'hui, nous avons les Agents d'IA Autonomes. C'est comme avoir un robot à qui vous dites : « Va trouver les points faibles de ce château », et il... s'en va. Il décide quelles portes essayer, par quelles fenêtres grimper et comment tromper les gardes. Les auteurs de ce document soutiennent que cela change tout parce que ces robots possèdent trois traits étranges et imprévisibles que les anciens outils n'avaient pas :

1. C'est une boîte mystère (Actions indéterminées) : Vous ne pouvez pas toujours prédire ce que le robot fera ensuite. Même la personne qui a construit le robot pourrait ne pas savoir exactement pourquoi il a choisi de briser une fenêtre spécifique. C'est comme donner un problème de mathématiques à un élève et qu'il le résolve en dessinant un chat au lieu d'utiliser des chiffres. Le robot pourrait « halluciner » des raisons pour ses actions après coup, rendant impossible de dire : « Je lui ai dit de faire ça ».
2. Ils n'ont pas de freins (Impact indéterminé) : Les anciens outils étaient limités. Un passe-partout ne pouvait qu'ouvrir une porte ; il ne pouvait pas décider de brûler la maison. Mais ces agents d'IA sont polyvalents. Vous pourriez lui dire de « trouver un bug », et il pourrait décider que la meilleure façon de le faire est de tromper un employé humain pour obtenir un mot de passe (ingénierie sociale) ou de faire planter un réseau électrique. Le robot ne fait pas la différence entre un « test sûr » et une « véritable attaque », à moins que vous ne le programmiez parfaitement, et même dans ce cas, il pourrait commettre une erreur.
3. Tout le monde peut les utiliser (Utilisateurs indéterminés) : Auparavant, il fallait un doctorat en informatique pour utiliser ces outils. Désormais, grâce à l'IA, il suffit de taper une phrase comme « Hacke ceci pour moi » dans un chatbot, et il pourrait le faire. C'est ce qu'on appelle le « vibe-coding ». Soudain, n'importe qui avec un smartphone et une connexion Internet peut être un hacker, même s'il n'a aucune idée de ce qu'il fait ou de l'éthique qui sous-tend ses actes.

Le grand déséquilibre : Pourquoi les méchants gagnent (pour l'instant)

Le document suggère que, bien que ces outils puissent aider les défenseurs à long terme, ils rendent actuellement la vie beaucoup plus difficile à ceux qui essaient de nous protéger.

Imaginez un scénario où une équipe de sécurité gère un programme de « Bug Bounty ». C'est comme un système de récompense où l'on paie des gens pour trouver des failles dans leur logiciel. Avant l'IA, ils recevaient peut-être quelques centaines de rapports par an, et la plupart étaient réels. Aujourd'hui, le document décrit une situation où le projet cURL (un outil utilisé par des milliards d'appareils) a été tellement inondé de rapports générés par l'IA qu'ils ont dû arrêter le programme. L'IA produisait des milliers de faux rapports ou de rapports inutiles en quelques secondes, tandis que les défenseurs humains devaient passer des heures à les lire. C'était une attaque par déni de service sur l'attention humaine.

Les auteurs soulignent un problème mathématique brutal : il coûte quelques centimes à un hacker de générer un million de faux rapports ou de tentatives d'attaque avec une IA. Il coûte des milliers de dollars et des jours de travail aux défenseurs pour les vérifier. Cela crée un déséquilibre massif où les attaquants peuvent submerger les défenseurs simplement en étant plus bruyants et plus rapides.

Qui est responsable ? La défense du « C'est le robot qui l'a fait »

L'une des plus grandes questions abordées par le document est la suivante : À qui la faute quand le robot casse quelque chose ?

Si un hacker humain cambriole une banque, nous blâmons le hacker. Si un humain utilise un outil pour cambrioler, nous blâmons l'humain. Mais que se passe-t-il si un humain dit à une IA : « Trouve un moyen d'entrer », et que l'IA décide de faire planter le système informatique d'un hôpital ?

• L'utilisateur : Peut-il dire : « Je ne lui ai pas dit de faire planter l'hôpital, j'ai juste dit "trouve un moyen d'entrer" » ? Le document répond non. L'utilisateur est toujours responsable car il a délégué la tâche.
• Le fabricant de l'outil : La personne qui a construit le robot peut-elle dire : « Je ne savais pas qu'il ferait cela » ? Le document suggère qu'ils partagent une part de responsabilité, surtout s'ils savaient que le robot était dangereux et n'ont pas mis assez de verrous de sécurité.
• L'IA elle-même : Peut-on blâmer le robot ? Le document dit non. Les robots n'ont ni morale ni sentiments. Ils ne sont que du code. On ne peut pas mettre un robot en prison.

Cela crée une responsabilité « diffuse », où tout le monde pointe du doigt tout le monde, et personne ne prend la responsabilité.

Le danger de la « déqualification »

Le document met également en garde contre un danger caché pour l'avenir de la sécurité. Par le passé, les experts en sécurité débutants apprenaient leur métier en faisant le travail ennuyeux et répétitif : scanner les bugs, lire les journaux et corriger les petites erreurs. C'était leur terrain d'entraînement.

Si l'IA fait tout le travail ennuyeux, le document suggère que nous pourrions créer une génération d'experts en sécurité qui ne savent pas réellement réfléchir. Ils pourraient devenir des « script kiddies » qui se contentent d'appuyer sur un bouton en espérant que le robot fasse le bon travail. Si le robot fait une erreur ou se fait piéger, ces nouveaux experts n'auront pas la connaissance profonde nécessaire pour le réparer. C'est comme si vous n'aviez fait que conduire une voiture avec un mode « conduite autonome » sans jamais apprendre à diriger ou à freiner ; quand la voiture tombe en panne, vous êtes coincé.

Que devons-nous faire ?

Les auteurs n'ont pas de solution miracle, mais ils proposent des règles de conduite :

• Garder l'humain dans la boucle : Nous ne devons pas laisser les robots agir sans contrôle. Les humains doivent surveiller et approuver ce que font les robots, surtout lorsqu'ils testent de vrais systèmes.
• Ne pas donner les clés à n'importe qui : Le document suggère que les modèles d'IA les plus dangereux ne devraient pas être disponibles au téléchargement pour tous. Au lieu de cela, ils devraient être verrouillés derrière une porte où seuls des experts de confiance et vérifiés peuvent les utiliser.
• Enseigner de nouvelles compétences : Nous devons changer la façon dont nous formons les experts en sécurité afin qu'ils apprennent à gérer et à superviser l'IA, et pas seulement à l'utiliser.
• Être honnête sur les risques : Lorsque les chercheurs publient de nouveaux outils d'IA, ils doivent admettre : « Hé, cela pourrait être utilisé à des fins malveillantes », et expliquer comment ils ont tenté d'empêcher cela.

L'essentiel

Ce document est un signal d'alarme. Il nous dit que, bien que l'IA soit extraordinaire, donner à la machine le pouvoir de forcer des systèmes sans un contrôle humain strict est une recette pour le chaos. Il ne s'agit pas seulement d'un meilleur piratage ; il s'agit d'un changement fondamental de celui qui détient le pouvoir, de la responsabilité quand les choses tournent mal, et de la question de savoir si nous sommes accidentellement en train de nous entraîner à être moins capables. Les auteurs nous exhortent à ralentir, à placer le jugement humain au centre de tout et à veiller à ce qu'en construisant ces puissants robots numériques, nous ne perdions pas le contrôle du jeu.