💻 computer science

Adversarial SQL Injection Generation with LLM-Based Architectures

Ce papier présente deux nouveaux systèmes basés sur les LLM, RADAGAS et RefleXQLi, pour générer des charges utiles d'injection SQL adverses et évalue leur efficacité face à divers pare-feu d'applications web, révélant que si ces modèles surpassent nettement les bases de référence pour contourner les défenses basées sur l'IA/ML, ils peinent face aux systèmes basés sur des règles et démontrent que la diversité des charges utiles ne correspond pas toujours à un taux de contournement plus élevé.

Auteurs originaux : Ali Karakoc, H. Birkan Yilmaz

Publié 2026-05-13

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ali Karakoc, H. Birkan Yilmaz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Serrurier Numérique et la Clé Maître

Imaginez que l'internet est une immense ville de bâtiments (des sites web). Pour protéger ces bâtiments contre les voleurs, des gardes de sécurité (appelés Pare-feux d'Applications Web ou WAF) se tiennent devant les portes d'entrée. Leur travail consiste à empêcher les méchants de s'infiltrer par la porte de derrière en utilisant une astuce spécifique appelée Injection SQL (une méthode pour tromper la base de données du bâtiment afin qu'elle révèle des secrets).

Pendant longtemps, les experts en sécurité ont essayé de tester ces serrures en engageant des serruriers humains ou en utilisant des outils robotisés qui tentent toutes les formes de clés connues. Mais les serrures deviennent plus intelligentes, et les vieilles clés ne fonctionnent plus aussi bien.

Ce document pose une nouvelle question : Et si nous utilisions une IA ultra-intelligente (un Modèle de Langage ou LLM) pour inventer de nouvelles clés que les gardes de sécurité n'ont jamais vues auparavant ?

Les chercheurs ont construit deux nouveaux « Fabricants de Clés par IA » pour évaluer leur capacité à tromper ces gardes.

Les Deux Nouveaux Fabricants de Clés par IA

Les chercheurs ont créé deux méthodes différentes pour aider l'IA à générer ces clés trompeuses :

1. RADAGAS : Le « Chercheur de Bibliothèque »

Imaginez cette IA comme un étudiant brillant qui a lu tous les livres de la plus grande bibliothèque du monde consacrée aux anciens cambriolages.

Comment ça marche : Avant d'essayer de crocheter une serrure, cette IA va dans sa « bibliothèque » (une base de données d'attaques réussies connues provenant d'OWASP, GitHub, etc.). Elle récupère les meilleures et plus éprouvées des astuces du passé.
La Surprise : Elle utilise une technique spéciale appelée RAG (Génération Augmentée par Récupération). Au lieu de simplement deviner, elle consulte les « codes de triche » les plus pertinents, puis demande à l'IA de les remixer pour créer quelque chose de nouveau.
Le Résultat : C'est comme un voleur qui étudie les plans de tous les cambriolages réussis avant d'en tenter un nouveau.

2. RefleXQLi : Le « Penseur Critique »

Cette IA fonctionne comme une équipe de deux personnes : un Créateur et un Critique.

Comment ça marche :
1. Le Créateur essaie de concevoir une nouvelle clé.
2. Le Critique (une autre IA) examine la clé et dit : « Non, cela semble trop suspect. Réessaie. »
3. Le Créateur écoute, réfléchit plus profondément (en utilisant un processus de « Chaîne de Pensée »), et tente de fabriquer une clé meilleure et plus furtive.
La Surprise : Ils continuent de débattre jusqu'à ce que le Créateur fabrique une clé que le Critique ne peut pas repérer. C'est comme un écrivain et un éditeur travaillant ensemble jusqu'à ce que l'histoire soit parfaite.

Le Grand Test : 2,2 Millions de Tentatives

Pour voir qui était le meilleur, les chercheurs ont mis en place une simulation massive :

Les Attaquants : Ils ont utilisé 7 systèmes différents (incluant les deux nouveaux, plus des outils classiques et une IA standard).
Les Défenseurs : Ils ont testé contre 10 gardes de sécurité différents (WAF). Certains étaient de vieux gardes suivant des règles (comme un garde avec une liste de contrôle), d'autres étaient basés sur l'IA (des gardes qui apprennent en observant), et certains étaient des gardes commerciaux célèbres (comme Cloudflare et AWS).
L'Échelle : Ils ont généré 240 000 clés et les ont essayées sur les gardes 2,2 millions de fois.

Que Ont-ils Découvert ?

1. Le « Chercheur de Bibliothèque » (RADAGAS) a Gagné la Course

Le système RADAGAS, en particulier lorsqu'il est propulsé par l'IA GPT-4o, a été le plus réussi dans l'ensemble. Il a réussi à passer inaperçu devant les gardes environ 22,7 % du temps.

Pourquoi ? Parce qu'il ne se contentait pas de deviner ; il apprenait d'une liste sélectionnée de choses qui ont réellement fonctionné dans le passé.

2. Le « Penseur Critique » (RefleXQLi) était Très Stable

Le système RefleXQLi a été légèrement moins réussi dans l'ensemble (environ 21,2 %), mais il était très constant. Il faisait rarement des erreurs et produisait toujours des clés uniques.

3. Le « Mythe de la Diversité » a été Démoli

Une croyance courante en sécurité est : « Plus vos clés sont différentes les unes des autres, meilleures sont vos chances. »

La Découverte du Document : Ce n'était pas vrai ! Les chercheurs n'ont trouvé aucun lien fort entre la création de milliers de clés totalement différentes et le succès de l'intrusion.
L'Analogie : Peu importe si vous essayez 1 000 clés de formes différentes si aucune ne correspond à la serrure. Il vaut mieux essayer 100 clés qui sont très similaires à celle que vous savez fonctionner, plutôt que 1 000 formes aléatoires.
Surprise : Parfois, essayer de rendre les clés trop différentes les rendait en fait pires.

4. Différents Gardes Ont Besoin de Différentes Clés

Il n'existait pas de « clé magique » qui ouvrait toutes les portes.

Gardes IA (WAF basés sur l'apprentissage automatique) : Le système RADAGAS était un monstre contre eux, réussissant à entrer plus de 90 % du temps. Il semble que ces gardes IA n'avaient pas été suffisamment entraînés pour repérer les « vieux trucs remixés ».
Gardes Basés sur des Règles (WAF à liste de contrôle) : Ceux-ci étaient très difficiles. Les nouveaux systèmes d'IA avaient du mal ici, étant bloqués presque tout le temps. Les outils classiques (comme SQLmap) ont en fait légèrement mieux réussi contre ces gardes spécifiques.
Gardes Commerciaux (Cloudflare/AWS) : Les résultats étaient mitigés. Différents systèmes d'IA ont trouvé différentes « failles » dans leurs défenses.

5. Le Réglage « Température » Compte

Les modèles d'IA ont un « cadran de créativité » appelé Température.

GPT-4o fonctionnait mieux lorsqu'il était réglé pour être moins créatif (température basse, plus logique).
DeepSeek fonctionnait mieux lorsqu'il était réglé pour être très créatif (température élevée).
Claude était le plus heureux au milieu.
Leçon : Vous ne pouvez pas utiliser les mêmes réglages pour chaque IA ; vous devez les accorder comme une radio pour obtenir le meilleur signal.

La Conclusion

Le document conclut que si vous voulez tester si un site web est sécurisé, vous ne devriez pas vous fier à un seul outil.

Utilisez RADAGAS pour tester contre les systèmes de sécurité basés sur l'IA.
Utilisez RefleXQLi (ou des versions basées sur des graines) pour des tests stables et de haute qualité.
Ne vous obsédez pas à rendre vos clés d'attaque « diverses » ; concentrez-vous sur le fait de les rendre intelligentes et pertinentes pour la serrure spécifique que vous essayez d'ouvrir.

Les chercheurs soulignent qu'ils ont fait cela dans un laboratoire sûr et isolé pour aider à améliorer la sécurité, et non pour aider les criminels. Ils ont gardé les « clés » privées afin que personne ne puisse les utiliser à mauvais escient.

Résumé technique : Génération d'injections SQL adversariales avec des architectures basées sur les modèles de langage

Énoncé du problème

L'injection SQL (SQLi) reste une vulnérabilité critique au sein du Top 10 de l'OWASP, pourtant les mécanismes de défense traditionnels et les méthodologies de test font face à des limitations significatives. Les approches conventionnelles reposent sur des tests d'intrusion manuels ou des outils automatisés basés sur des règles comme SQLmap. Ces méthodes peinent à faire face aux défenses modernes, en particulier aux pare-feux d'applications web (WAF) basés sur l'IA/ML et aux solutions commerciales, en raison de leur nature déterministe et de leur incapacité à générer des attaques novatrices et conscientes du contexte. De plus, les recherches existantes sur les modèles de langage (LLM) dans le domaine du test de sécurité souffrent souvent d'un focus sur un seul modèle, d'une exploration limitée des paramètres et de mécanismes de diversité insuffisants, conduisant à des charges utiles répétitives facilement détectées par les systèmes de défense avancés.

Méthodologie

Les auteurs introduisent un cadre complet de benchmarking pour évaluer la génération d'injections SQLi par LLM face à un ensemble diversifié de défenses. L'étude utilise un banc d'essai comprenant sept systèmes de génération, dix WAF et un validateur d'exécution MySQL.

Architectures des systèmes

L'étude propose deux architectures novatrices et les compare à trois lignes de base :

RADAGAS (Retrieval Augmented Generation for Adversarial SQLi) : Ce système intègre la génération augmentée par récupération (RAG) avec la génération par LLM. Il récupère des motifs d'attaque avérés depuis une base de connaissances curatée (OWASP, PortSwigger, GitHub) en utilisant FAISS et la pertinence marginale maximale (MMR) pour équilibrer pertinence et diversité. Le système emploie un filtrage de diversité multi-étapes (sémantique, lexicale et fonctionnelle) ainsi qu'une validation d'exécution. Trois variantes ont été testées avec différents modèles de base : GPT-4o, DeepSeek-R1 et Claude 3.7 Sonnet.
RefleXQLi (Reflective Chain-of-Thought SQLi) : Cette architecture emploie un processus de raisonnement en chaîne de pensée (CoT) en quatre étapes (Analyse du WAF, Formulation de la stratégie, Conception de la charge utile, Raffinement) suivi d'une boucle adversariale dual-LLM. Un LLM générateur crée des charges utiles, tandis qu'un LLM discriminateur les évalue et les rejette en fonction de l'intention malveillante, forçant le générateur à raffiner la charge utile de manière itérative jusqu'à ce qu'elle contourne le discriminateur.
Lignes de base :
- Traditionnelle : Un moteur SQLMap simulé utilisant des charges utiles déterministes basées sur des règles.
- GPT-4o Vanilla : Un LLM en zéro-shot sans fine-tuning ni prompting spécialisé.
- GenSQLi : Une approche basée sur des modèles utilisant l'apprentissage en contexte.

Configuration expérimentale

Échelle : 240 configurations expérimentales distinctes ont généré 240 000 charges utiles, résultant en environ 2,2 millions de tests.
Défenses : Les tests ont été réalisés contre 10 WAF :
- Basés sur l'IA/ML : WAF-Brain (LSTM) et CNN-WAF.
- Basés sur des règles (Open Source) : ModSecurity (PL1–3) et Coraza (PL1–3).
- Commerciaux : AWS WAF et Cloudflare WAF.
Validation : Une application web vulnérable soutenue par MySQL 8.0 a servi de vérité terrain pour la validité de l'exécution.
Métriques : La performance a été mesurée via les taux de contournement, le succès d'exécution et six métriques de diversité (diversité sémantique, lexicale, contextuelle, n-gramme, AST et fonctionnelle).

Résultats clés

Performance globale

Supériorité de RADAGAS : Les variantes RADAGAS ont surpassé toutes les lignes de base, avec RADAGAS-GPT4o atteignant le taux de contournement moyen le plus élevé de 22,73 %.
RefleXQLi : A atteint un taux de contournement de 21,21 % avec la variance la plus faible ( $\sigma = 0,37$ ), indiquant une sortie stable.
Lignes de base : L'injection SQLi traditionnelle (15,01 %) et GPT-4o Vanilla (12,90 %) ont performed significativement moins bien. GenSQLi a atteint 20,35 %.

Optimisation spécifique au modèle

L'étude a révélé que les paramètres optimaux sont spécifiques au modèle et contre-intuitifs :

GPT-4o : A performé au mieux à basse température ( $T=0,1$ ) avec un seuil de diversité élevé ( $\theta=90$ ).
DeepSeek-R1 : A performé au mieux à haute température ( $T=0,9$ ) avec un seuil de diversité élevé ( $\theta=90$ ).
Claude 3.7 : Optimal à température moyenne ( $T=0,6$ ) avec un seuil de diversité plus bas ( $\theta=75$ ).

Efficacité spécifique à la défense

WAF basés sur l'IA/ML : Les variantes RADAGAS ont été hautement efficaces, contournant WAF-Brain à 92,49 % (DeepSeek) et CNN-WAF à 80,48 % (Claude).
WAF basés sur des règles : Tous les systèmes basés sur LLM ont eu du mal face aux défenses basées sur des règles (ModSecurity/Coraza), avec des taux de contournement généralement entre 0 % et 5,70 %. GenSQLi a obtenu le contournement basé sur des règles le plus élevé (16,26 % sur ModSecurity PL1), bien que beaucoup aient été identifiés comme des faux positifs ou des expressions tautologiques.
WAF commerciaux : RADAGAS-GPT4o a obtenu le contournement le plus élevé sur Cloudflare (49,50 %), tandis que RefleXQLi a performé le mieux sur AWS WAF (33,00 %).

Analyse de la diversité et des graines

Corrélation de la diversité : Contrairement à l'hypothèse selon laquelle la diversité favorise le succès, l'étude n'a trouvé aucune corrélation statistiquement significative entre les métriques de diversité des charges utiles et les taux de contournement à travers les sept systèmes. En fait, des charges utiles moins diverses ont parfois atteint des taux de contournement plus élevés.
Effet des graines : Une étude d'ablation utilisant des graines « V2 » a révélé que RefleXQLi V2 (CoT + Graines) a atteint un taux de contournement de 35,78 %, surpassant significativement les graines brutes (28,93 %) et GenSQLi V2 (29,84 %). Cela suggère que des graines de haute qualité combinées à un raisonnement CoT produisent des résultats supérieurs à la simple mutation de modèles.
Validité de l'exécution : Les systèmes RADAGAS ont atteint un succès d'exécution MySQL de 60–64 %, tandis que RefleXQLi (sans graines) n'a atteint que 27,80 %, soulignant un compromis entre la génération adversariale créative et la correction sémantique.

Importance et revendications

L'article revendique fournir l'une des plus grandes études de benchmarking sur la génération d'injections SQLi adversariales par LLM, offrant une vue holistique de l'interaction entre les architectures LLM et les défenses modernes.

Insights architecturaux : L'étude démontre que les approches basées sur RAG sont hautement efficaces contre les WAF basés sur l'IA/ML en exploitant des connaissances curatées, tandis que le raisonnement basé sur CoT apporte stabilité et correction sémantique. Aucun système unique ne surpasse universellement les autres ; une combinaison d'approches est nécessaire pour une couverture complète.
Sensibilité aux paramètres : Les résultats remettent en question la notion de paramètres universels, montrant que la température et les seuils de diversité doivent être ajustés empiriquement pour chaque modèle de base spécifique.
Mythe de la diversité : La recherche remet en question l'hypothèse prédominante selon laquelle la diversité des charges utiles est le principal moteur du succès du contournement des WAF, suggérant que la qualité du contexte initial (graines) et le mécanisme de raisonnement (CoT/RAG) sont des facteurs plus critiques.
Lignes directrices pratiques : Les auteurs fournissent des lignes directrices actionnables pour le test de sécurité, recommandant l'utilisation de RAG pour les WAF basés sur l'IA/ML et de CoT piloté par des graines pour des taux de contournement maximaux, tout en reconnaissant les limites des LLM actuels face aux systèmes stricts basés sur des règles.

Les auteurs soulignent que ces résultats sont spécifiques aux configurations testées et à la période (début 2026) et appellent à de nouvelles recherches sur d'autres types d'attaques et dialectes de bases de données. Toutes les expériences ont été menées dans des environnements isolés et autorisés pour garantir une divulgation responsable.