Technische Samenvatting: Adversariale SQL-injectiegeneratie met LLM-gebaseerde architecturen

Probleemstelling

SQL-injectie (SQLi) blijft een kritieke kwetsbaarheid binnen de OWASP Top 10, maar traditionele verdedigingsmechanismen en testmethodieken staan voor aanzienlijke beperkingen. Conventionele benaderingen vertrouwen op handmatige penetratietests of geautomatiseerde regelgebaseerde tools zoals SQLmap. Deze methoden hebben moeite met moderne verdedigingen, met name AI/ML-gebaseerde Web Application Firewalls (WAF's) en commerciële oplossingen, vanwege hun deterministische aard en het onvermogen om nieuwe, contextbewuste aanvallen te genereren. Bovendien lijdt bestaand onderzoek naar Large Language Models (LLM's) in beveiligingstests vaak aan een focus op één enkel model, beperkte parameterexploratie en ontoereikende diversiteitsmechanismen, wat leidt tot repetitieve payloads die eenvoudig worden gedetecteerd door geavanceerde verdedigingssystemen.

Methodologie

De auteurs introduceren een uitgebreid benchmarkkader om LLM-gebaseerde SQLi-generatie te evalueren tegen een diverse reeks verdedigingen. De studie maakt gebruik van een testomgeving bestaande uit zeven generatiesystemen, tien WAF's en een MySQL-uitvoeringsvalidatie.

Systeemarchitecturen

De studie stelt twee nieuwe architecturen voor en vergelijkt deze met drie baselines:

1. RADAGAS (Retrieval Augmented Generation for Adversarial SQLi): Dit systeem integreert RAG met LLM-generatie. Het haalt bewezen aanvalspatronen op uit een gecureerde kennisbank (OWASP, PortSwigger, GitHub) met behulp van FAISS en Maximum Marginal Relevance (MMR) om relevantie en diversiteit in evenwicht te brengen. Het systeem maakt gebruik van multi-stadia diversiteitsfiltering (semantisch, lexicaal en functioneel) en uitvoeringsvalidatie. Drie varianten werden getest met verschillende foundationmodellen: GPT-4o, DeepSeek-R1 en Claude 3.7 Sonnet.
2. RefleXQLi (Reflective Chain-of-Thought SQLi): Deze architectuur hanteert een vierstaps Chain-of-Thought (CoT) redeneerproces (WAF-analyse, strategieformulering, payloadontwerp, verfijning) gevolgd door een dual-LLM adversariale lus. Een generator-LLM creëert payloads, terwijl een discriminator-LLM deze evalueert en verwerpt op basis van kwaadaardige intentie, waardoor de generator de payload iteratief moet verfijnen totdat deze de discriminator omzeilt.
3. Baselines:
   • Traditioneel: Een gesimuleerde SQLMap-engine die gebruikmaakt van regelgebaseerde deterministische payloads.
   • Vanilla GPT-4o: Een zero-shot LLM zonder fine-tuning of gespecialiseerde prompting.
   • GenSQLi: Een op sjablonen gebaseerde aanpak die gebruikmaakt van in-context learning.

Experimentele Opzet

• Schaal: 240 verschillende experimentele configuraties genereerden 240.000 payloads, wat resulteerde in ongeveer 2,2 miljoen tests.
• Verdedigingen: Tests werden uitgevoerd tegen 10 WAF's:
  • AI/ML-gebaseerd: WAF-Brain (LSTM) en CNN-WAF.
  • Regelgebaseerd (Open Source): ModSecurity (PL1–3) en Coraza (PL1–3).
  • Commercieel: AWS WAF en Cloudflare WAF.
• Validatie: Een kwetsbare webapplicatie ondersteund door MySQL 8.0 diende als ground truth voor uitvoeringsvaliditeit.
• Metrieken: Prestaties werden gemeten via omzeilingspercentages, uitvoeringssucces en zes diversiteitsmetrieken (semantische, lexicaal, contextuele, n-gram, AST en functionele diversiteit).

Belangrijkste Resultaten

Algemene Prestaties

• RADAGAS Superioriteit: De RADAGAS-varianten presteerden beter dan alle baselines, waarbij RADAGAS-GPT4o het hoogste gemiddelde omzeilingspercentage behaalde van 22,73%.
• RefleXQLi: Behaalde een omzeilingspercentage van 21,21% met de laagste variantie ($\sigma = 0,37$), wat wijst op een stabiele output.
• Baselines: Traditionele SQLi (15,01%) en Vanilla GPT-4o (12,90%) presteerden aanzienlijk slechter. GenSQLi behaalde 20,35%.

Model-specifieke Optimalisatie

De studie vond dat optimale parameters model-specifiek en contra-intuïtief zijn:

• GPT-4o: Presteerde het beste bij lage temperatuur ($T=0,1$) met een hoge diversiteitsdrempel ($\theta=90$).
• DeepSeek-R1: Presteerde het beste bij hoge temperatuur ($T=0,9$) met een hoge diversiteitsdrempel ($\theta=90$).
• Claude 3.7: Optimaal bij gemiddelde temperatuur ($T=0,6$) met een lagere diversiteitsdrempel ($\theta=75$).

Verdediging-specifieke Effectiviteit

• AI/ML WAF's: RADAGAS-varianten waren zeer effectief en omzeilden WAF-Brain in 92,49% van de gevallen (DeepSeek) en CNN-WAF in 80,48% van de gevallen (Claude).
• Regelgebaseerde WAF's: Alle LLM-gebaseerde systemen hadden moeite met regelgebaseerde verdedigingen (ModSecurity/Coraza), met omzeilingspercentages over het algemeen tussen 0% en 5,70%. GenSQLi behaalde het hoogste regelgebaseerde omzeilingspercentage (16,26% op ModSecurity PL1), hoewel veel hiervan werden geïdentificeerd als vals-positieven of tautologische expressies.
• Commerciële WAF's: RADAGAS-GPT4o behaalde de hoogste omzeiling bij Cloudflare (49,50%), terwijl RefleXQLi het beste presteerde bij AWS WAF (33,00%).

Diversiteit en Seed-analyse

• Diversiteitscorrelatie: In tegenstelling tot de aanname dat diversiteit succes drijft, vond de studie geen statistisch significante correlatie tussen payloaddiversiteitsmetrieken en omzeilingspercentages over de zeven systemen. Sterker nog, minder diverse payloads bereikten soms hogere omzeilingspercentages.
• Seed-effect: Een ablatiestudie met "V2"-seeds onthulde dat RefleXQLi V2 (CoT + Seeds) een omzeilingspercentage van 35,78% behaalde, aanzienlijk beter dan de ruwe seeds (28,93%) en GenSQLi V2 (29,84%). Dit suggereert dat hoogwaardige seeds in combinatie met CoT-redenering superieure resultaten opleveren dan sjabloonmutatie alleen.
• Uitvoeringsvaliditeit: RADAGAS-systemen behaalden 60–64% MySQL-uitvoeringssucces, terwijl RefleXQLi (zonder seeds) slechts 27,80% behaalde, wat een afweging benadrukt tussen creatieve adversariale generatie en semantische correctheid.

Betekenis en Claims

Het paper claimt een van de grootste benchmarkstudies te bieden van LLM-gebaseerde adversariale SQLi-generatie, en biedt een holistisch beeld van de interactie tussen LLM-architecturen en moderne verdedigingen.

1. Architecturale inzichten: De studie toont aan dat RAG-gebaseerde benaderingen zeer effectief zijn tegen AI/ML-gebaseerde WAF's door gebruik te maken van gecureerde kennis, terwijl CoT-gebaseerde redenering stabiliteit en semantische correctheid biedt. Geen enkel systeem presteert universeel beter dan andere; een combinatie van benaderingen is noodzakelijk voor een uitgebreide dekking.
2. Parametergevoeligheid: De bevindingen daagden het idee van universele parameterinstellingen uit, en tonen aan dat temperatuur en diversiteitsdrempels empirisch moeten worden afgestemd voor elk specifiek foundationmodel.
3. Diversiteitsmythe: Het onderzoek daagt de heersende aanname uit dat payloaddiversiteit de primaire drijvende kracht is voor WAF-omzeilingsucces, en suggereert dat de kwaliteit van de initiële context (seeds) en het redeneermechanisme (CoT/RAG) kritiekere factoren zijn.
4. Praktische richtlijnen: De auteurs bieden actieabele richtlijnen voor beveiligingstests, en raden het gebruik van RAG aan voor AI/ML WAF's en seed-gedreven CoT voor maximale omzeilingspercentages, terwijl ze de beperkingen van huidige LLM's tegen strikte regelgebaseerde systemen erkennen.

De auteurs benadrukken dat deze bevindingen specifiek zijn voor de geteste configuraties en tijd (begin 2026) en roepen op tot verder onderzoek naar andere aanvalstypen en database-dialecten. Alle experimenten werden uitgevoerd in geïsoleerde, geautoriseerde omgevingen om verantwoordelijke openbaarmaking te waarborgen.