Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
Cet article soutient que les évaluations futures des agents de tests d'intrusion autonomes doivent établir des bases de référence d'agents simples, contrôlées et appariées au modèle, afin de distinguer avec précision les gains de performance découlant des innovations architecturales de ceux attribuables aux améliorations du modèle sous-jacent.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une immense ville numérique en perpétuelle mutation, composée de bâtiments digitaux. Certains de ces bâtiments possèdent des pièges cachés et des serrures défectueuses — des failles de sécurité que des acteurs malveillants pourraient utiliser pour s'introduire. Depuis des décennies, le travail consistant à trouver ces failles appartenait à des experts humains, tels des serruriers numériques qui parcourent chaque pièce, testant les portes et les fenêtres. Mais la ville grandit trop vite ; de nouveaux bâtiments apparaissent chaque seconde, et les serruriers ne peuvent plus suivre. C'est pourquoi des scientifiques ont commencé à construire des « robots serruriers » grâce à l'intelligence artificielle. Ces robots sont propulsés par des modèles de langage étendus (LLM), qui sont comme des cerveaux surdoués ayant lu presque tout ce qui existe sur internet et capables d'écrire du code, de raisonner et de suivre des instructions.
La grande question dans ce domaine n'est pas seulement de savoir « si le robot trouve la serrure », mais plutôt « quelle part du succès du robot provient de son cerveau, et quelle part provient des outils sophistiqués que nous lui avons donnés ? ». Imaginez que vous avez un étudiant de génie. Si vous lui donnez un simple carnet et un stylo, il peut résoudre un problème de mathématiques. Si vous lui donnez une calculatrice de haute technologie, une équipe de tuteurs et une carte spéciale, il pourrait résoudre le problème plus rapidement. Mais est-ce la calculatrice qui l'a rendu plus intelligent, ou l'a-t-elle simplement aidé ? Dans le monde de la sécurité de l'IA, les chercheurs construisent des « harnais » complexes — des équipes d'agents d'IA, des systèmes de mémoire spéciaux et des outils de recherche — pour aider l'IA à pirater des sites web. Mais comme ils changent à la fois le cerveau de l'IA et les outils en même même temps, personne ne savait si les outils sophistiqués faisaient réellement le plus gros du travail, ou si l'IA devenait simplement meilleure par elle-même.
Ce document, intitulé « Baselines Before Architecture », intervient pour trancher la question grâce à une expérience très rigoureuse. Les chercheurs ont mis en place un test contrôlé utilisant un ensemble standard de 104 défis numériques appelés le benchmark XBOW. Au lieu de construire un nouveau robot sophistiqué, ils ont pris trois assistants de codage existants et « simples », nommés Codex, OpenCode et Pi, et leur ont demandé de résoudre les défis en utilisant un seul cerveau d'IA puissant (GPT-5) et sans outils de sécurité particuliers. Ils voulaient voir ce qu'une IA « nue » pouvait accomplir avant d'ajouter tout gadget supplémentaire.
Les résultats étaient un mélange de surprises et de vérités pragmatiques. Premièrement, les agents de codage simples étaient étonnamment performants. L'agent « Codex », fonctionnant sur le modèle GPT-5, a résolu environ 67 % des défis dès sa première tentative. Lorsque les chercheurs l'ont laissé réessayer (en effectuant le même test deux fois et en combinant les résultats), il a résolu 77,9 % des défis. C'est un événement majeur car cela signifie qu'un robot de codage simple et polyvalent peut déjà gérer une immense partie du travail sans avoir besoin d'une équipe de sécurité complexe.
L'étude a également testé deux idées spécifiques que beaucoup considéraient comme essentielles. L'une était le « prompt de sécurité », où l'on donne à l'IA une feuille d'instructions spéciale lui disant de penser comme un hacker. L'autre était l'idée que les architectures multi-agents complexes (où différents rôles d'IA communiquent entre eux) sont nécessaires pour une performance de haut niveau. Le document a révélé que les « instructions de hacker » spéciales rendaient en fait l'IA moins performante, résolvant moins de défis et coûtant plus cher. Quant aux architectures complexes, le document compare les résultats de Codex pur contre deux systèmes technologiques célèbres appelés MAPTA et PentestGPT V2.
Voici la nuance : les systèmes sophistiqués conservaient tout de même un léger avantage. Lorsqu'ils étaient appariés au même cerveau d'IA, le système spécialisé MAPTA résolvait environ 9,6 points de pourcentage de défis de plus que le Codex pur. Cependant, le document montre que cet écart n'était pas aussi énorme qu'il n'y paraissait. Lorsque les chercheurs ont mis à jour l'agent Codex pur avec un cerveau plus récent et plus intelligent (GPT-5.5), celui-ci a résolu 92,3 % des défis dès sa première tentative et 95,2 % en combinant deux passages. Ce nouvel agent pur a en réalité battu les scores phares des anciens systèmes complexes, même sans aucun de leurs outils sophistiqués.
La principale conclusion est un avertissement adressé à la communauté scientifique : ne supposez pas qu'une nouvelle architecture complexe est l'héroïne simplement parce qu'elle obtient un score élevé. Souvent, le score provient du fait que le modèle d'IA devient plus intelligent, et non des outils qui deviennent plus sophistiqués. Le document suggère qu'avant de prétendre qu'un nouveau « harnais de sécurité » est une avancée majeure, les chercheurs doivent d'abord démontrer à quel point il est meilleur qu'un agent de codage simple et pur utilisant exactement le même cerveau d'IA. Bien que les outils spécialisés puissent encore aider à économiser de l'argent et du temps, l'IA « simple » fait déjà le plus gros du travail, et attendre simplement la prochaine génération de modèles d'IA pourrait être tout aussi efficace que de construire un robot plus compliqué.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.