Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

Cette étude évalue les capacités d'attaque cybernétique autonome de sept modèles d'IA de pointe sur des scénarios multi-étapes, révélant une amélioration log-linéaire des performances avec l'augmentation des ressources de calcul et une progression générationnelle significative, bien que les systèmes de contrôle industriel restent un défi majeur.

L'essentiel

Voici une explication simple de cette recherche, imagée comme si nous racontions l'histoire d'une course de robots dans un labyrinthe géant.

🕵️‍♂️ Le Grand Test : Des Robots Espions contre des Labyrinthes Numériques

Imaginez que vous avez construit deux immenses labyrinthes virtuels. L'objectif ? Voir si des "robots intelligents" (des modèles d'IA) peuvent s'y faufiler tout seuls, sans aide humaine, pour voler un trésor ou faire tomber une centrale électrique.

Les chercheurs ont pris sept de ces robots, les plus avancés du monde, et les ont envoyés dans ces labyrinthes entre août 2024 et février 2026. Voici ce qu'ils ont découvert, traduit en langage courant.

---

🏢 Le Premier Labyrinthe : "Les Derniers" (Le Bureau)

C'est un scénario de 32 étapes dans une entreprise virtuelle. Le robot doit :

1. Entrer dans le réseau.
2. Trouver des mots de passe cachés.
3. Pirater des serveurs.
4. Voler des données sensibles.

Ce qui s'est passé :

• La force de la persévérance (Plus on réfléchit, mieux ça marche) :
  Imaginez que chaque fois que le robot réfléchit, il dépense un peu de "carburant" (des tokens). Les chercheurs ont vu quelque chose de fascinant : plus on donne de carburant au robot, plus il avance. Il n'y a pas de limite visible ! Si on lui donne 10 fois plus de temps de réflexion, il réussit beaucoup plus d'étapes. C'est comme si on disait à un étudiant : "Tu as le droit de réfléchir 10 fois plus longtemps que d'habitude", et soudainement, il résout des problèmes qu'il ne pouvait pas faire avant.
• L'évolution rapide (Les nouveaux modèles sont des super-héros) :
  Les robots les plus récents (sortis en 2026) sont nettement meilleurs que leurs frères aînés de 2024.
  • L'analogie : C'est comme comparer un vélo de 2024 à une Ferrari de 2026. À la même vitesse (même budget de temps), la Ferrari va beaucoup plus loin.
  • Le record : Le meilleur robot (Opus 4.6) a réussi 22 étapes sur 32. Un humain expert aurait mis environ 14 heures pour faire tout le chemin. Ce robot a fait l'équivalent de 6 heures de travail humain en seulement 10 heures de temps réel. C'est impressionnant, mais il s'est arrêté avant la fin.

🏭 Le Deuxième Labyrinthe : "La Tour de Refroidissement" (L'Usine)

Ce scénario est plus court (7 étapes) mais beaucoup plus dur. Il s'agit de faire planter une centrale électrique en manipulant des machines physiques.

Ce qui s'est passé :

• C'est encore très difficile : Même les robots les plus intelligents peinent énormément ici. Ils réussissent à peine 1 ou 2 étapes sur 7.
• Le détournement inattendu : Là où un humain suivrait un plan précis (pirater un site web, puis casser un code), les robots ont fait quelque chose de bizarre : ils ont "tâté" les machines directement, comme un aveugle qui tâtonne un mur, et ont trouvé des failles que les humains n'avaient pas prévues. Ils ont même trouvé un bug magique pour contourner la sécurité sans comprendre comment ça marchait ! C'est comme si un enfant trouvait un passage secret dans un château en tirant au hasard sur des boutons, sans savoir pourquoi ça marche.

---

🔑 Les 3 Leçons Principales

1. L'argent (ou le temps) fait la différence :
   Vous n'avez pas besoin d'être un génie de l'informatique pour rendre ces robots plus dangereux. Il suffit de leur donner plus de "temps de réflexion" (plus de budget). C'est une porte ouverte très facile à franchir pour n'importe qui.

2. Les robots apprennent vite, mais ils butent sur des murs :
   Les nouveaux modèles sont de plus en plus forts. Cependant, dès qu'il faut faire des choses très techniques et complexes (comme décoder un message secret ou réparer un virus), ils s'arrêtent souvent. Ils sont de bons explorateurs, mais pas encore de vrais ingénieurs en cybersécurité.

3. Le danger réel n'est peut-être pas le robot seul :
   Le plus grand risque n'est peut-être pas un robot qui fait tout tout seul (ce qui est encore difficile). Le vrai danger, c'est un humain un peu bête qui utilise un robot pour faire 80% du travail, et qui intervient juste pour les 20% les plus difficiles. C'est comme si un voleur utilisait un drone pour ouvrir toutes les portes, et qu'il n'avait plus qu'à entrer et voler.

⚠️ Les Limites de l'Expérience

Il faut garder en tête que ces labyrinthes sont des simulations.

• Il n'y avait pas de "police" (défenseurs) pour arrêter les robots. Dans la vraie vie, les systèmes de sécurité bloqueraient probablement ces attaques beaucoup plus tôt.
• Les robots ont été très bruyants et ont laissé beaucoup de traces, ce qui les rendrait faciles à attraper dans la réalité.

🎯 En Résumé

Cette étude nous dit : "Les robots deviennent de plus en plus dangereux, et ils s'améliorent très vite." Ils ne sont pas encore capables de détruire le monde seuls, mais ils peuvent déjà faire beaucoup de dégâts si on leur donne un peu de temps et de ressources. C'est un signal d'alarme pour dire qu'il faut surveiller de très près ces technologies avant qu'elles ne deviennent trop puissantes.

Résumé technique

1. Problématique et Contexte

L'émergence de modèles d'intelligence artificielle (IA) de plus en plus performants soulève des inquiétudes critiques concernant leur capacité à mener des cyberattaques autonomes. Bien que des évaluations existantes (comme les défis CTF ou les benchmarks de questions-réponses) mesurent des compétences spécifiques, elles échouent à capturer la complexité des opérations offensives réelles : le raisonnement multi-étapes, le suivi d'état sur de longues séquences, la récupération d'erreurs et la navigation dans des environnements réseau complexes sans supervision humaine constante.

L'objectif de cette étude est de combler ce vide en évaluant la capacité des modèles d'IA de pointe (frontier models) à exécuter des chaînes d'attaque autonomes et étendues, et de mesurer la vitesse à laquelle ces capacités évoluent.

2. Méthodologie

Les auteurs ont conçu et utilisé deux « cyber-ranges » (environnements de simulation) pour évaluer sept modèles d'IA différents, publiés entre août 2024 et février 2026.

A. Les Environnements de Test (Cyber Ranges)

Deux scénarios distincts ont été utilisés, conçus par SpecterOps et Hack The Box :

1. « The Last Ones » (Réseau d'entreprise) : Une attaque en 32 étapes visant à exfiltrer des données sensibles d'une base de données interne protégée. L'attaque implique une reconnaissance, un mouvement latéral, l'exploitation de vulnérabilités web, et l'utilisation de techniques avancées (ingénierie inverse, cryptographie).
   • Estimation humaine : ~14 heures pour un expert.
2. « Cooling Tower » (Système de contrôle industriel - ICS) : Une attaque en 7 étapes visant à perturber le processus physique d'une centrale électrique simulée. Cette tâche est plus complexe par étape, nécessitant de comprendre des protocoles propriétaires et de manipuler des systèmes de contrôle (PLC).
   • Estimation humaine : ~15 heures pour un expert.

Contraintes de l'environnement : Les simulations ne comportent pas de défenseurs actifs (pas de blocage des attaques), mais les alertes de sécurité sont enregistrées pour mesurer l'opérabilité (stealth).

B. Configuration Expérimentale

• Modèles évalués : Sept modèles (GPT-4o, Claude Sonnet 3.7/4.5, Opus 4.5/4.6, GPT 5.1/5.3 Codex).
• Budget de calcul (Tokens) : Les modèles ont été testés avec des budgets d'inférence variables, allant de 10 millions à 100 millions de tokens.
• Architecture de l'Agent : Utilisation d'un agent standard basé sur le paradigme ReAct (Reason + Act) sous Kali Linux. L'agent utilise des outils de test d'intrusion (Bash, Python, framework Mythic C2).
• Gestion du contexte : Pour permettre des séquences longues dépassant la fenêtre de contexte unique, une technique de compaction de contexte a été employée. Le modèle résume l'historique de la conversation pour conserver les informations pertinentes (identifiants, topologie, progrès) dans une nouvelle fenêtre.

3. Résultats Clés

L'étude révèle deux tendances majeures dans l'évolution des capacités cybernétiques autonomes :

A. Échelle Log-Linéaire avec le Calcul d'Inférence

La performance des modèles augmente de manière log-linéaire avec le nombre de tokens dépensés, sans signe de plateau jusqu'à 100 millions de tokens.

• Augmenter le budget de 10M à 100M tokens peut améliorer les résultats de jusqu'à 59 %.
• Cette amélioration ne nécessite aucune sophistication technique de la part de l'opérateur ; il suffit d'augmenter le budget de tokens.
• Les modèles continuent d'avancer activement (recherche de solutions, récupération d'erreurs) jusqu'à épuisement du budget, plutôt que de stagner.

B. Amélioration par Génération de Modèle

À budget de tokens fixe, chaque nouvelle génération de modèle surpasse systématiquement ses prédécesseurs.

• Sur « The Last Ones » (Réseau d'entreprise) :
  • En août 2024 (GPT-4o), la moyenne était de 1,7 étape (sur 32) avec 10M tokens.
  • En février 2026 (Opus 4.6), la moyenne est passée à 9,8 étapes avec le même budget.
  • Meilleure performance : Un seul run d'Opus 4.6 (100M tokens) a complété 22 étapes sur 32, correspondant à environ 6 heures de travail d'un expert humain (sur les 14 estimées).
  • Le coût estimé pour une telle tentative (100M tokens) est d'environ 80 USD.
• Sur « Cooling Tower » (ICS) :
  • Les progrès restent limités. Même les modèles les plus récents (Opus 4.6) ne complètent en moyenne que 1,4 étape sur 7 à 100M tokens.
  • Cependant, certains modèles ont réussi à contourner la conception prévue de l'attaque en utilisant des méthodes non anticipées (analyse de trafic et fuzzing de protocoles) pour accéder directement aux contrôleurs, démontrant une capacité d'adaptation imprévue.

C. Goulots d'Étranglement

Les modèles échouent principalement après le « Milestone 4 », marquant la transition vers des tâches nécessitant des connaissances spécialisées (ingénierie inverse de binaires Windows, manipulation de jetons, cryptographie). Opus 4.6 est le premier modèle à franchir de manière fiable ce seuil.

4. Contributions Principales

1. Nouveau Standard d'Évaluation : Introduction de cyber-ranges multi-étapes complexes, offrant une mesure plus réaliste de l'autonomie offensive que les benchmarks CTF isolés.
2. Preuve de l'Échelle de Calcul : Démonstration que l'augmentation brute du budget de tokens (sans ingénierie de prompt complexe) améliore significativement les capacités d'attaque, rendant ces attaques accessibles à des acteurs moins qualifiés.
3. Analyse Longitudinale : Une vue d'ensemble sur 18 mois montrant une accélération rapide des capacités, avec des gains substantiels entre les versions de modèles publiés à quelques mois d'intervalle.
4. Distinction des Domaines : Mise en évidence que les capacités varient fortement selon le domaine (réseaux d'entreprise vs systèmes industriels), les modèles étant encore largement incapables d'attaquer autonomement des environnements ICS complexes.

5. Signification et Implications

• Réduction de la barrière à l'entrée : La capacité des modèles à réussir des attaques complexes en augmentant simplement le budget de calcul suggère que des acteurs non experts pourraient bientôt mener des opérations sophistiquées.
• Accélération des menaces : Le passage de 1,7 à 9,8 étapes en seulement 18 mois indique une courbe de progression rapide. Si cette tendance se poursuit, l'atteinte d'une autonomie complète (fin de chaîne d'attaque) pourrait être plus proche que prévu.
• Limites actuelles : Malgré les progrès, les modèles échouent encore sur des tâches nécessitant une expertise humaine profonde (ingénierie inverse complexe, cryptographie) et sur des environnements industriels (ICS). De plus, l'absence de défenseurs actifs dans les tests signifie que les performances réelles face à une sécurité active pourraient être inférieures.
• Recommandations : Les auteurs soulignent la nécessité de développer des évaluations incluant des défenses actives, d'élargir la diversité des scénarios (ICS, cloud, etc.) et de mesurer l'opérabilité (détection/évasion) en plus de la réussite de la tâche.

En conclusion, ce papier établit que les agents IA autonomes ont atteint un niveau de maturité où ils peuvent exécuter des phases significatives d'attaques cybernétiques complexes, et que cette capacité s'améliore rapidement avec le temps et le calcul, posant un défi majeur pour la cybersécurité et la gouvernance de l'IA.