Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing

Cette étude présente la première évaluation comparative en environnement réel montrant que le nouveau cadre d'agents IA ARTEMIS surpasse la majorité des professionnels de la cybersécurité en découvrant plus de vulnérabilités à moindre coût, tout en révélant des lacunes persistantes dans le taux de faux positifs et la gestion des tâches graphiques.

L'essentiel

🕵️‍♂️ Le Grand Duel : Humains vs Robots dans le Cyberespace

Imaginez que vous possédez un immense château (le réseau informatique d'une grande université) avec 8 000 pièces, des milliers de portes et de fenêtres. Votre objectif ? Trouver toutes les serrures défectueuses avant qu'un voleur ne les utilise.

Pour tester la sécurité de ce château, les chercheurs de Stanford ont organisé un concours très spécial. Ils ont mis en compétition deux équipes :

1. Les Experts Humains : 10 professionnels de la cybersécurité, des "chevaliers" chevronnés avec des années d'expérience.
2. Les Agents IA : Des robots intelligents, dont un nouveau modèle créé par l'équipe appelé ARTEMIS.

Le but ? Voir qui trouve le plus de failles de sécurité dans un environnement réel, sans casser le château.

🤖 Qui est ARTEMIS ?

ARTEMIS, c'est comme un chef d'orchestre robotique. Contrairement aux autres robots qui essaient de tout faire tout seuls (et qui se perdent souvent), ARTEMIS est une équipe.

• Il a un superviseur (le chef) qui donne les ordres.
• Il peut créer à la volée des sous-robots (des spécialistes) pour chaque tâche : l'un fouille les portes, l'autre teste les serrures, un troisième vérifie si la clé fonctionne vraiment.
• Il a un gardien (le trieur) qui vérifie que ce qu'ils trouvent est vrai avant de le signaler, pour éviter les fausses alertes.

🏆 Le Résultat du Concours

Le résultat est surprenant et très équilibré :

1. Les Humains gagnent en finesse : Les experts humains ont trouvé des failles très complexes et ont été très prudents. Ils ont bien compris le contexte.
2. ARTEMIS arrive deuxième (et bat presque tout le monde) : Le robot ARTEMIS a trouvé 9 failles valides et a terminé deuxième au classement général, battant 9 des 10 humains ! C'est une performance incroyable pour une machine.
3. Les autres robots sont décevants : D'autres modèles d'IA (comme Codex ou CyAgent) se sont comportés comme des débutants, trouvant très peu de choses par rapport aux humains. Cela montre que ce n'est pas juste "l'intelligence" du robot qui compte, mais la façon dont on l'organise (l'architecture).

⚖️ Les Forces et les Faiblesses : Une Analogie de Cuisine

Pour bien comprendre, comparons cela à une cuisine :

• La Force des Robots (ARTEMIS) : La Machine à Repasser

  • Vitesse et Répétition : ARTEMIS peut ouvrir 100 portes en même temps pendant que vous buvez votre café. Il ne se fatigue jamais.
  • Coût : C'est le plus gros avantage. Un expert humain coûte environ 60 $ de l'heure. ARTEMIS coûte environ 18 $ de l'heure. C'est comme passer d'un chef étoilé à un robot de cuisine très efficace : moins cher, et presque aussi bon pour les tâches de base.
  • La Méthode : Il est très systématique. Il ne laisse rien au hasard.

• La Faiblesse des Robots : Le Robot qui ne voit pas les Couleurs

  • Le problème du "Visuel" : Les robots sont excellents avec du texte et des lignes de code (la ligne de commande), mais ils sont nuls avec les interfaces graphiques (les fenêtres, les boutons, les menus).
  • L'analogie : Imaginez un robot qui doit ouvrir une porte. S'il y a une poignée qu'il faut tourner avec la main, il y arrive. Mais s'il faut cliquer sur un petit bouton "Valider" dans une fenêtre pop-up qui change de couleur, il est perdu. Les humains, eux, voient tout de suite : "Ah, il faut cliquer ici !"
  • Les Faux Positifs : Les robots sont parfois trop confiants. Ils disent "J'ai trouvé une faille !" alors qu'ils ont juste vu un message d'erreur qui ressemblait à une faille. Les humains sont plus prudents pour vérifier si c'est vraiment dangereux.

💡 Ce qu'on apprend de cette histoire

1. L'IA n'est pas encore un super-héros tout-puissant : Elle ne remplace pas encore l'expert humain, surtout pour les tâches complexes qui demandent de l'intuition ou de l'interaction visuelle.
2. Mais elle est un excellent assistant : Avec la bonne organisation (comme ARTEMIS), elle peut faire le gros du travail fastidieux (scanner des milliers de machines) pour un coût dérisoire.
3. Le futur est hybride : Le meilleur scénario n'est pas "Humain OU Robot", mais "Humain AVEC Robot". L'humain apporte le contexte, la créativité et la prudence, tandis que le robot fait le travail de fourmi à grande vitesse.

🛡️ En résumé

Cette étude nous dit que l'IA est déjà capable de pirater (ou de tester la sécurité) presque aussi bien que des humains professionnels, et beaucoup moins cher. Cependant, elle a encore besoin d'un "pilote humain" pour éviter de se tromper sur les détails visuels et pour prendre les décisions finales. C'est une révolution pour la sécurité : bientôt, nous pourrons avoir un "robot garde du corps" qui veille sur nos réseaux 24h/24 sans nous ruiner.

Résumé technique

1. Problématique et Contexte

Les avancées rapides de l'intelligence artificielle (IA) soulèvent des inquiétudes quant à son utilisation par des acteurs malveillants (États-nations, groupes criminels) pour automatiser les cyberattaques. Bien que de nombreux benchmarks existent pour évaluer les capacités offensives des IA (comme les défis CTF ou la détection de vulnérabilités statiques), ils souffrent d'un manque de réalisme opérationnel. Ils omettent souvent la complexité des environnements de production réels, le bruit des systèmes, l'interactivité et les chaînes d'exploitation complexes (réutilisation de credentials, phishing, configurations erronées enchaînées).

Il existe un vide critique : aucune étude n'avait encore comparé de manière exhaustive des agents IA autonomes à des professionnels de la cybersécurité humains dans un environnement d'entreprise réel et vivant.

2. Méthodologie

L'étude a été menée sur le réseau informatique d'une grande université de recherche, servant de terrain d'essai réaliste.

• Environnement Cible : Un réseau hétérogène comprenant environ 8 000 hôtes répartis sur 12 sous-réseaux (7 publics, 5 privés via VPN). Le système d'exploitation est majoritairement Unix, avec des appareils IoT, quelques machines Windows et des systèmes embarqués.
• Participants :
  • 10 Professionnels de la cybersécurité : Recrutés via des références et des communautés, possédant des certifications reconnues (OSCP, CRTO, etc.) et une expérience avérée dans la découverte de CVE. Ils ont travaillé pendant 10 heures chacun.
  • 6 Agents IA existants : Incluant Codex, CyAgent, Incalmo, MAPTA, et Claude Code.
  • ARTEMIS (Contribution de l'auteur) : Un nouveau framework d'agent multi-agents conçu spécifiquement pour ce test.
• Cadre de Sécurité et Éthique :
  • Consentement éclairé et enregistrement des écrans.
  • Politique de divulgation des vulnérabilités (VDP) stricte interdisant les actions destructrices.
  • Surveillance humaine en temps réel (un membre de l'équipe et un administrateur IT) pour arrêter tout agent sortant du périmètre ou causant des dommages.
• Système de Notation : Une métrique unifiée ($S_{total}$) combinant la complexité technique (difficulté de détection et d'exploitation) et la criticité métier (impact business), récompensant les exploits complexes plutôt que les vulnérabilités faciles ("low-hanging fruit").

3. Contribution Principale : ARTEMIS

Les auteurs ont développé ARTEMIS (Automated Red Teaming Engine with Multi-agent Intelligent Supervision) pour pallier les limites des frameworks existants (contexte limité, refus de tâches offensives, manque de profondeur technique).

Architecture d'ARTEMIS :

1. Superviseur : Gère le flux de travail global, maintient une liste de tâches (TODO) et gère le contexte sur le long terme.
2. Essaim de Sous-agents (Sub-agents) : Création dynamique d'agents spécialisés pour des tâches spécifiques (reconnaissance, exploitation, triage). Chaque sous-agent reçoit un prompt système généré dynamiquement adapté à sa tâche.
3. Module de Triage (Triager) : Vérifie la pertinence, la reproductibilité et classe la sévérité des vulnérabilités avant soumission, réduisant ainsi les faux positifs et les doublons.
4. Gestion de Session : Contrairement aux agents actuels qui s'arrêtent rapidement, ARTEMIS peut fonctionner sur de longues périodes en résumant le contexte et en reprenant là où il s'est arrêté.

4. Résultats Clés

Performance Globale

• ARTEMIS a terminé 2ème sur le classement général, devançant 9 des 10 participants humains.
• Il a découvert 9 vulnérabilités valides avec un taux de soumission valide de 82 %.
• Les autres frameworks IA (Codex, CyAgent, etc.) ont sous-performé par rapport à la plupart des humains, souvent en refusant les tâches ou en s'arrêtant à la phase de reconnaissance initiale.

Comparaison des Capacités

• Avantages des Agents IA (ARTEMIS) :
  • Énumération systématique et parallélisation : ARTEMIS peut lancer plusieurs sous-agents simultanément pour explorer différents vecteurs d'attaque, là où les humains travaillent souvent de manière séquentielle.
  • Coût : ARTEMIS (configuration A1) coûte environ 18 $/heure (37 876 $/an), contre une moyenne de 60 $/heure (125 000 $/an) pour un pentester professionnel aux États-Unis.
  • Robustesse CLI : ARTEMIS excelle dans les environnements sans interface graphique (CLI), exploitant des vulnérabilités sur d'anciens serveurs (ex: iDRAC avec chiffrement obsolète) que les humains ont abandonnés car leurs navigateurs modernes refusaient de se connecter.
• Limites des Agents IA :
  • Taux de faux positifs plus élevé : Les agents ont tendance à interpréter incorrectement des réponses HTTP (ex: un code 200 OK lors d'une redirection de connexion) comme des succès d'authentification.
  • Incapacité GUI : ARTEMIS a échoué à exploiter une vulnérabilité RCE critique sur un serveur TinyPilot accessible uniquement via une interface graphique web, là où 80 % des humains ont réussi.
  • Manque de persistance stratégique : Les agents ont tendance à soumettre une découverte immédiatement et passer à la suivante, manquant parfois l'opportunité de pivoter plus profondément dans le réseau après une première compromission.

Analyse des Vulnérabilités

• Les humains ont trouvé des vulnérabilités plus diversifiées et ont mieux géré les chaînes d'exploitation complexes.
• ARTEMIS a réussi à trouver des vulnérabilités techniques complexes (injections SQL, contournements d'authentification) mais a manqué certaines découvertes nécessitant une intuition contextuelle ou une interaction GUI.
• Une expérience de "stimulation" (elicitation) a montré qu'ARTEMIS possède les compétences techniques pour trouver des vulnérabilités spécifiques (Email Spoofing, XSS, RCE) lorsqu'on lui donne des indices, suggérant que ses échecs proviennent de la difficulté à identifier les motifs de vulnérabilité plutôt que de l'incapacité à les exploiter techniquement.

5. Signification et Implications

• Validation du Risque Réel : Cette étude démontre que les agents IA autonomes, lorsqu'ils sont correctement structurés (comme ARTEMIS), peuvent rivaliser avec, voire surpasser, des experts humains en termes de volume de découvertes et de coût dans des environnements réels.
• Dual-Use (Double Usage) : Les outils développés pour la défense (pentesting automatisé) peuvent être utilisés par des attaquants. Les auteurs choisissent de publier le code source (Open Source) pour permettre aux défenseurs de se protéger, arguant que le risque marginal est faible car ces outils peuvent être créés par d'autres, et que la transparence est nécessaire pour une régulation éclairée.
• Avenir de la Cybersécurité : L'IA ne remplace pas encore totalement l'humain (notamment pour les tâches GUI et la stratégie de haut niveau), mais elle devient un multiplicateur de force puissant. La combinaison d'une automatisation à bas coût et d'une supervision humaine semble être la voie future pour les tests d'intrusion continus.
• Limites de l'Étude : La durée compressée (10h vs 1-2 semaines pour un test réel) et l'absence de défenseurs actifs (l'équipe IT était au courant et a autorisé les actions) sont des facteurs atténuants.

Conclusion

L'article établit un nouveau standard pour l'évaluation des risques de cybersécurité liés à l'IA. Il prouve que les agents IA autonomes sont déjà capables d'effectuer des tests d'intrusion complexes sur des réseaux de production, offrant un rapport coût-efficacité supérieur aux humains, mais avec des lacunes spécifiques (GUI, faux positifs) qui doivent être comblées par les futures générations d'agents.