Dans le vaste paysage invisible des logiciels qui font fonctionner notre monde moderne, les failles cachées sont une réalité constante. Ces failles, connues sous le nom de vulnérabilités, sont comme de minuscules fissures dans un barrage ; si elles ne sont pas corrigées, elles peuvent permettre à des attaquants de pénétrer dans les systèmes, de voler des données ou de paralyser des services critiques. Pendant des décennies, la recherche de ces fissures a été un processus manuel et laborieux où des experts humains inspectaient méticuleusement le code, cherchant des motifs suggérant une faiblesse. Cependant, à mesure que le volume de logiciels augmente, le nombre de failles signalées a atteint des sommets records, dépassant la capacité humaine à suivre le rythme. Cela a conduit les chercheurs à poser une nouvelle question : l'intelligence artificielle, spécifiquement les grands modèles de langage capables d'écrire et de comprendre du code, peut-elle être enseignée pour trouver ces bugs plus rapidement et plus efficacement qu'auparavant ? Le défi n'est pas seulement de repérer une faille sur papier, mais de prouver qu'elle existe en créant une entrée spécifique qui force le logiciel à échouer, un processus qui nécessite une compréhension profonde de la manière dont le code se comporte sous la contrainte.

Une équipe de chercheurs de l'Université Texas A&M a franchi une étape significative vers la réponse à cette question en créant un nouveau terrain d'essai appelé FuzzingBrain-Bench. Contrairement aux tests précédents qui demandaient aux modèles d'intelligence artificielle de simplement identifier une faiblesse connue ou de reproduire une erreur spécifique et pré-annoncée, ce nouveau benchmark demande aux modèles d'agir comme des explorateurs indépendants. Les chercheurs ont fourni aux modèles le code source de véritables projets logiciels open-source connus pour contenir des bugs, ainsi qu'un outil de test spécialisé appelé « harness » (harnais). Ce harnais est un environnement contrôlé conçu pour exécuter le logiciel et surveiller attentivement tout signe de défaillance. Les modèles n'ont pas été informés de l'emplacement des bugs ni de leur apparence. Au lieu de cela, leur tâche consistait à générer des milliers d'entrées différentes, à les injecter dans le logiciel et à voir s'ils pouvaient provoquer un plantage. Un plantage, dans ce contexte, est un moment où le logiciel cesse de fonctionner de manière inattendue, révélant souvent une vulnérabilité cachée. Les modèles n'étaient pas récompensés pour avoir trouvé un bug spécifique et pré-choisi, mais pour avoir découvert autant de types de défaillances distincts que possible, qu'ils correspondent ou non aux problèmes initiaux connus.

Le benchmark se composait de soixante-dix-sept défis tirés de quarante-trois projets logiciels différents, allant de bibliothèques de traitement d'images et de codecs vidéo à des outils de bases de données et des serveurs web. Ces projets ont été écrits dans trois langages de programmation majeurs : C, C++ et Java. Pour garantir l'équité et empêcher les modèles d'accéder à des informations externes, chaque défi a été emballé dans un conteneur sécurisé et isolé. À l'intérieur de ce conteneur, le modèle ne pouvait voir que le code et l'outil de test ; il n'avait aucun accès à Internet, aucun historique des rapports de bugs, et aucune information sur la manière dont le logiciel a été corrigé. Le modèle devait s'appuyer entièrement sur son propre raisonnement pour concevoir des entrées capables de briser le système. Les chercheurs ont ensuite mesuré le succès en comptant de combien de manières uniques les modèles pouvaient faire planter le logiciel. Ils ont utilisé un système qui regroupait les plantages similaires, garantissant qu'un modèle soit crédité pour avoir trouvé un nouveau type de défaillance plutôt que de simplement répéter la même erreur encore et encore.

Lorsque les chercheurs ont testé trois versions différentes d'un système d'intelligence artificielle avancé, les résultats ont révélé à la fois le potentiel et les limites actuelles de cette technologie. La version la plus capable, connue sous le nom d'Opus, a réussi à déclencher un plantage dans soixante des soixante-dix-sept défis, trouvant avec succès de nouvelles façons de briser le logiciel dans la majorité des cas. Une version légèrement moins puissante, Sonnet, a réussi dans cinquante défis, tandis que la version la plus rapide et la plus économique, Haiku, a trouvé des plantages dans trente-cinq cas. Les chercheurs ont attribué un score de difficulté à chaque défi basé sur la difficulté pour les modèles de trouver un bug. Les défis les plus difficiles, où aucun modèle n'a pu trouver de plantage, étaient ceux qui nécessitaient un raisonnement le plus sophistiqué. Même le modèle le plus performant a échoué à trouver un seul bug dans treize des défis, suggérant que bien que ces modèles soient des outils puissants, ils ne sont pas encore parfaits et peinent encore face aux types de défauts logiciels les plus complexes ou les plus obscurs.

L'étude a également mis en lumière des différences intéressantes dans la manière dont les modèles abordaient la tâche. Le modèle le plus puissant avait tendance à arrêter sa recherche plus tôt que les autres, trouvant souvent un bug rapidement avant de passer à autre chose, tandis que les autres modèles avaient tendance à utiliser l'intégralité de leur temps imparti, effectuant plus de tests avant d'abandonner. Ce comportement signifiait que le modèle le plus puissant était parfois moins minutieux sur les problèmes les plus difficiles, même s'il était meilleur pour résoudre les problèmes plus faciles. Les chercheurs ont noté que le coût de fonctionnement de ces tests variait considérablement ; le modèle le plus puissant était plus coûteux à exécuter, surtout sur les défis difficiles où il passait plus de temps et générait plus de données. Cependant, les modèles moins coûteux étaient également moins efficaces pour trouver les bugs les plus profonds. Les conclusions suggèrent que, bien que l'intelligence artificielle devienne un partenaire viable dans la traque des bugs logiciels, elle n'est pas encore un remplacement pour l'expertise humaine. Les modèles sont excellents pour trouver des failles communes ou accessibles, mais ils manquent encore les plus évasives, indiquant que l'avenir de la sécurité logicielle impliquera probablement une collaboration entre les experts humains et ces assistants numériques de plus en plus capables.

En fin de compte, ce travail fournit un moyen clair et mesurable de juger la capacité de l'intelligence artificielle à trouver des bugs logiciels dans le monde réel. En s'éloignant des tests simples qui demandent aux modèles de correspondre à une réponse connue, les chercheurs ont créé une simulation plus réaliste de la façon dont les experts en sécurité travaillent réellement. Les résultats montrent que les modèles actuels peuvent découvrir une grande variété de défaillances logicielles, mais qu'ils ne sont pas encore capables de trouver toutes les failles. À mesure que le benchmark s'étendra pour inclure plus de défis et plus de types de logiciels, il servira d'outil vital pour suivre les progrès de l'intelligence artificielle en cybersécurité. L'objectif n'est pas seulement de construire des modèles capables de réussir un test, mais de développer des systèmes qui peuvent protéger de manière fiable l'infrastructure numérique sur laquelle nous comptons tous, en trouvant les fissures avant qu'elles ne puissent être exploitées par d'autres.