The Dual-Use Nature of Large Language Models in Cybersecurity: A Bibliometric Analysis and Critical Review
Cet article combine une analyse bibliométrique de 7 369 documents avec une revue critique pour révéler que la recherche sur les grands modèles de langage en cybersécurité est fragmentée entre des rôles offensifs et défensifs isolés, incitant les auteurs à proposer un cadre de double usage couplé et huit directions de recherche prioritaires afin de remédier au manque d'évaluation adaptative et de stratégies de sécurité intégrées.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Au cours des dernières années, un nouveau type de programme informatique a émergé, capable de lire, d'écrire et de raisonner en langage humain. Ces programmes, connus sous le nom de grands modèles de langage, ne sont pas de simples agents conversationnels ; ce sont des outils puissants que les organisations commencent à utiliser pour gérer leur sécurité numérique. Ils peuvent scanner des milliers d'alertes de sécurité pour identifier de réelles menaces, écrire du code pour colmater des failles logicielles, ou même aider les équipes de sécurité à planifier leurs défenses. Mais ces mêmes outils ont un côté sombre. Parce qu'ils sont très doués pour suivre des instructions et générer du texte, des acteurs malveillants peuvent les tromper pour les pousser à écrire des logiciels malveillants, à créer des e-mails de plus en plus convaincants ou à contourner les règles de sécurité. Cela crée une situation unique où une seule technologie sert de bouclier, d'arme et de cible à la fois. Elle est le bouclier lorsqu'elle protège un réseau, l'arme lorsqu'elle aide un attaquant, et la cible lorsque quelqu'un tente de tromper le programme lui-même. Comprendre comment ces trois rôles interagissent est crucial, car si nous n'étudions l'outil qu'en tant que défenseur, nous risquons de manquer le fait que l'outil lui-même est vulnérable aux attaques qu'il tente de stopper.
Une équipe de chercheurs s'est donné pour mission de cartographier ce paysage complexe, non pas en lisant quelques articles, mais en analysant des milliers d'entre eux pour voir comment la communauté scientifique réfléchit réellement à ces problèmes. Ils ont rassemblé près de 13 000 documents publiés entre 2023 et la fin de 2026, les filtrant pour n'en garder que 7 369 qui traitaient directement de l'intersection entre ces modèles de langage et la cybersécurité. En utilisant une méthode qui traite la recherche comme une carte, ils ont examiné la fréquence à laquelle différents sujets apparaissaient ensemble et quels articles étaient les plus cités. Ils voulaient savoir si les scientifiques étudiaient les trois rôles de ces modèles de manière conjointe, ou s'ils travaillaient dans des silos séparés. Ils voulaient également voir si les preuves soutenant la sécurité de ces outils étaient aussi solides qu'elles le paraissaient.
Les chercheurs ont constaté que le domaine progresse incroyablement vite, le nombre de documents pertinents doublant ou triplant presque chaque année. Cependant, la recherche est profondément divisée. La grande majorité des études se concentre sur un seul des trois rôles de manière isolée. Seulement environ huit pour cent des documents examinés abordaient plus d'un rôle simultanément. Cela signifie que les personnes étudiant comment attaquer ces modèles discutent rarement avec celles qui étudient comment les utiliser pour la défense. Plus inquiétant encore, lorsque les chercheurs construisent un système défensif à l'aide de ces modèles, ils ne testent presque jamais si ce système peut être trompé par les attaques mêmes qu'il est censé arrêter. Dans les études défensives qu'ils ont examinées, seulement environ onze pour cent mentionnaient le risque que le modèle lui-même soit compromis. Les chercheurs ont conclu que, bien que la technologie soit naturellement connectée — où un outil défensif est aussi une cible potentielle — la communauté de recherche n'a pas encore rattrapé cette réalité.
Lorsque l'équipe a examiné de plus près les preuves de l'efficacité de ces modèles en tant qu'armes ou boucliers, elle a constaté que les chiffres rapportés dans les différentes études étaient extrêmement incohérents. Par exemple, lorsque des chercheurs ont testé la capacité d'une intelligence artificielle à pirater un système informatique, les taux de réussite rapportés variaient de zéro pour cent à quatre-vingt-dix pour cent. Cet écart énorme n'était pas dû au fait que les modèles changeaient, mais parce que la conception des tests différait. Certaines études donnaient un avantage énorme au modèle en lui indiquant précisément quelle était la faiblesse, tandis que d'autres le testaient dans un environnement réaliste où il devait trouver la faiblesse par lui-même. Les chercheurs ont noté que de nombreuses études ne testaient pas leurs défenses contre des attaquants essayant activement de comprendre comment les briser. Au lieu de cela, elles testaient contre des attaques statiques et prévisibles. C'est comme tester une serrure contre une clé qui ne change jamais, plutôt que contre un serrurier qui essaie de la crocheter.
L'étude a également révélé que les menaces les plus dangereuses montent en puissance. Les premières recherches se concentraient sur des astuces simples pour faire dire quelque chose que le modèle ne devrait pas dire. Désormais, l'attention se déplace vers des systèmes plus complexes où le modèle peut mémoriser les conversations passées, utiliser des outils et prendre des décisions au fil du temps. Ces systèmes « agentiques » sont beaucoup plus difficiles à protéger car une seule erreur peut entraîner une chaîne d'actions néfastes qui se propage à travers un réseau. Les chercheurs ont constaté que, bien qu'il existe de nouvelles façons d'attaquer ces systèmes, les défenses sont souvent fragiles. Une défense qui fonctionne aujourd'hui peut échouer demain si l'attaquant modifie légèrement son approche. De plus, les outils utilisés pour mesurer le succès sont souvent obsolètes ou uniquement disponibles en anglais, ce qui signifie qu'ils pourraient ne pas fonctionner pour le reste du monde.
En fin de compte, l'article soutient que nous ne pouvons pas traiter ces modèles comme de simples outils qui sont soit bons, soit mauvais. Ce sont des technologies à double usage où la frontière entre l'offensive et la défense est floue. Les chercheurs suggèrent que le travail le plus important pour l'avenir ne consiste pas seulement à inventer de nouvelles attaques ou de nouvelles défenses, mais à construire de meilleures manières de les tester. Nous devons cesser de supposer qu'une défense fonctionne simplement parce qu'elle a réussi un test élémentaire. Au contraire, nous devons tester chaque système défensif comme s'il était aussi une cible, en vérifiant constamment s'il peut être trompé par le contenu qu'il est censé analyser. Tant que la communauté de recherche ne commencera pas à étudier ces trois rôles ensemble, nous resterons aveugles face à l'image complète de la façon dont ces outils puissants peuvent être utilisés, détournés et protégés.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.