💻 computer science

Adversarial SQL Injection Generation with LLM-Based Architectures

Questo articolo introduce due nuovi sistemi basati su LLM, RADAGAS e RefleXQLi, per generare payload di iniezione SQL avversari e ne valuta l'efficacia contro diversi Web Application Firewall, rivelando che, sebbene tali modelli superino significativamente le linee di base nel bypassare difese basate su AI/ML, incontrano difficoltà con sistemi basati su regole e dimostrano che la diversità dei payload non sempre si correla con un maggior successo nel bypass.

Autori originali: Ali Karakoc, H. Birkan Yilmaz

Pubblicato 2026-05-13

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ali Karakoc, H. Birkan Yilmaz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Il Fabbro Digitale e la Chiave Maestra

Immaginate internet come una gigantesca città di edifici (siti web). Per tenere questi edifici al sicuro dai ladri, delle guardie di sicurezza (chiamate Web Application Firewall o WAF) sorvegliano le porte d'ingresso. Il loro compito è impedire ai malintenzionati di infiltrarsi dalla porta posteriore utilizzando un trucco specifico chiamato SQL Injection (un modo per ingannare il database dell'edificio e farlo rivelare segreti).

Per molto tempo, gli esperti di sicurezza hanno cercato di testare queste serrature assumendo fabbri umani o utilizzando strumenti robotici che provavano ogni forma di chiave conosciuta. Ma le serrature stanno diventando più intelligenti, e le vecchie chiavi non funzionano più bene come una volta.

Questo documento si pone una nuova domanda: Cosa succederebbe se utilizzassimo un'intelligenza artificiale super-intelligente (un Large Language Model o LLM) per inventare nuove chiavi che le guardie di sicurezza non hanno mai visto prima?

I ricercatori hanno costruito due nuovi "Fabbricatori di Chiavi AI" per vedere quanto sono bravi a ingannare queste guardie di sicurezza.

I Due Nuovi Fabbricatori di Chiavi AI

I ricercatori hanno creato due metodi diversi per aiutare l'IA a generare queste chiavi ingannevoli:

1. RADAGAS: Il "Ricercatore di Biblioteca"

Pensate a questa IA come a uno studente brillante che ha letto ogni libro nella biblioteca più grande del mondo, dedicata ai furti passati.

Come funziona: Prima di provare a scassinare una serratura, questa IA va nella sua "biblioteca" (un database di attacchi riusciti noti provenienti da OWASP, GitHub, ecc.). Prende i trucchi migliori e più collaudati del passato.
La Svolta: Utilizza una tecnica speciale chiamata RAG (Retrieval Augmented Generation). Invece di indovinare a caso, cerca i "codici trucco" più pertinenti e poi chiede all'IA di rielaborarli in qualcosa di nuovo.
Il Risultato: È come un ladro che studia i progetti di ogni rapina riuscita prima di tentarne una nuova.

2. RefleXQLi: Il "Pensatore Critico"

Questa IA funziona come una squadra di due persone: un Creatore e un Critico.

Come funziona:
1. Il Creatore cerca di progettare una nuova chiave.
2. Il Critico (un'altra IA) osserva la chiave e dice: "No, sembra troppo sospetta. Riprova."
3. Il Creatore ascolta, riflette più a fondo (utilizzando un processo chiamato "Catena di Pensiero") e cerca di creare una chiave migliore e più furtiva.
La Svolta: Continuano a discutere avanti e indietro finché il Creatore non produce una chiave che il Critico non riesce a individuare. È come uno scrittore e un editor che lavorano insieme finché la storia non è perfetta.

La Grande Prova: 2,2 Milioni di Tentativi

Per vedere chi fosse il migliore, i ricercatori hanno allestito una massiccia simulazione:

Gli Attaccanti: Hanno utilizzato 7 sistemi diversi (inclusi i due nuovi, più strumenti classici e IA standard).
I Difensori: Hanno testato contro 10 diverse guardie di sicurezza (WAF). Alcune erano vecchie scuole seguaci di regole (come una guardia con una lista di controllo), altre basate su IA (guardie che imparano osservando) e altre ancora erano famose guardie commerciali (come Cloudflare e AWS).
La Scala: Hanno generato 240.000 chiavi e le hanno provate sulle guardie 2,2 milioni di volte.

Cosa Hanno Scoperto?

1. Il "Ricercatore di Biblioteca" (RADAGAS) Ha Vinto la Gara

Il sistema RADAGAS, in particolare quando alimentato dall'IA GPT-4o, è stato il più riuscito in assoluto. È riuscito a passare inosservato dalle guardie circa il 22,7% delle volte.

Perché? Perché non ha solo indovinato; ha imparato da un elenco curato di cose che hanno funzionato davvero in passato.

2. Il "Pensatore Critico" (RefleXQLi) È Stato Molto Stabile

Il sistema RefleXQLi è stato leggermente meno riuscito in generale (circa il 21,2%), ma è stato molto coerente. Ha raramente commesso errori e ha sempre prodotto chiavi uniche.

3. Il "Mito della Diversità" È Smentito

Una credenza comune nella sicurezza è: "Più le tue chiavi sono diverse tra loro, migliori sono le tue possibilità".

La Scoperta del Documento: Non è vero! I ricercatori hanno trovato nessun forte legame tra la creazione di migliaia di chiavi totalmente diverse e l'effettiva capacità di entrare.
L'Analogia: Non importa se provi 1.000 chiavi di forme diverse se nessuna di esse si adatta alla serratura. È meglio provare 100 chiavi che sono molto simili a quella che sai funzionare, piuttosto che 1.000 forme casuali.
Sorpresa: A volte, cercare di rendere le chiavi troppo diverse le ha rese effettivamente peggiori.

4. Guardie Diverse Richiedono Chiavi Diverse

Non esisteva una "chiave magica" che apriva ogni porta.

Guardie AI (WAF basati su Machine Learning): Il sistema RADAGAS è stato un mostro contro queste, entrando oltre il 90% delle volte. Sembra che queste guardie AI non fossero addestrate abbastanza bene per individuare i trucchi "rielaborati" del passato.
Guardie Basate su Regole (WAF a Lista di Controllo): Queste erano molto difficili. I nuovi sistemi AI hanno faticato qui, venendo bloccati quasi sempre. Gli strumenti classici (come SQLmap) hanno effettivamente funzionato leggermente meglio contro queste specifiche guardie.
Guardie Commerciali (Cloudflare/AWS): I risultati sono stati misti. Diversi sistemi AI hanno trovato diverse "falle" nelle loro difese.

5. La Impostazione "Temperatura" Conta

I modelli AI hanno una "manopola della creatività" chiamata Temperatura.

GPT-4o ha funzionato meglio quando impostato per essere meno creativo (bassa temperatura, più logico).
DeepSeek ha funzionato meglio quando impostato per essere molto creativo (alta temperatura).
Claude era più felice nel mezzo.
Lezione: Non puoi usare le stesse impostazioni per ogni IA; devi sintonizzarle come una radio per ottenere il segnale migliore.

Il Punto Fondamentale

Il documento conclude che se vuoi testare se un sito web è sicuro, non dovresti affidarti a un solo strumento.

Usa RADAGAS per testare i sistemi di sicurezza basati su IA.
Usa RefleXQLi (o versioni guidate da seed) per test stabili e di alta qualità.
Non ossessionarti nel rendere le tue chiavi di attacco "diverse"; concentrati nel renderle intelligenti e pertinenti alla specifica serratura che stai cercando di aprire.

I ricercatori sottolineano di aver fatto tutto questo in un laboratorio sicuro e isolato per migliorare la sicurezza, non per aiutare i criminali. Hanno mantenuto le "chiavi" private in modo che nessuno potesse abusarne.

Riepilogo Tecnico: Generazione di Iniezioni SQL Adversarial con Architetture Basate su LLM

Enunciato del Problema

L'Iniezione SQL (SQLi) rimane una vulnerabilità critica all'interno delle OWASP Top 10, tuttavia i meccanismi di difesa tradizionali e le metodologie di test affrontano limitazioni significative. Gli approcci convenzionali si basano su test di penetrazione manuali o su strumenti automatizzati basati su regole come SQLmap. Questi metodi faticano a contrastare le difese moderne, in particolare i Web Application Firewall (WAF) basati su AI/ML e le soluzioni commerciali, a causa della loro natura deterministica e dell'incapacità di generare attacchi nuovi e consapevoli del contesto. Inoltre, la ricerca esistente sui Modelli Linguistici di Grande Dimensione (LLM) nel campo dei test di sicurezza soffre spesso di un focus su un singolo modello, di una esplorazione limitata dei parametri e di meccanismi di diversità insufficienti, portando a payload ripetitivi che vengono facilmente rilevati da sistemi di difesa avanzati.

Metodologia

Gli autori introducono un quadro completo di benchmarking per valutare la generazione di SQLi basata su LLM contro un insieme diversificato di difese. Lo studio utilizza un banco di prova composto da sette sistemi di generazione, dieci WAF e un validatore di esecuzione MySQL.

Architetture di Sistema

Lo studio propone due nuove architetture e le confronta con tre baseline:

RADAGAS (Retrieval Augmented Generation for Adversarial SQLi): Questo sistema integra RAG con la generazione LLM. Recupera pattern di attacco collaudati da una base di conoscenze curata (OWASP, PortSwigger, GitHub) utilizzando FAISS e la Rilevanza Marginale Massima (MMR) per bilanciare pertinenza e diversità. Il sistema impiega un filtraggio della diversità multistadio (semantico, lessicale e funzionale) e la validazione dell'esecuzione. Sono state testate tre varianti utilizzando diversi modelli fondazionali: GPT-4o, DeepSeek-R1 e Claude 3.7 Sonnet.
RefleXQLi (Reflective Chain-of-Thought SQLi): Questa architettura impiega un processo di ragionamento a quattro passaggi (Chain-of-Thought o CoT) (Analisi del WAF, Formulazione della Strategia, Progettazione del Payload, Raffinamento) seguito da un ciclo avversario dual-LLM. Un LLM generatore crea i payload, mentre un LLM discriminatore li valuta e li respinge in base all'intento malevolo, costringendo il generatore a raffinare il payload iterativamente fino a quando non aggira il discriminatore.
Baseline:
- Tradizionale: Un motore SQLMap simulato che utilizza payload deterministici basati su regole.
- Vanilla GPT-4o: Un LLM zero-shot senza fine-tuning o prompt specializzati.
- GenSQLi: Un approccio basato su template che utilizza l'apprendimento in contesto.

Configurazione Sperimentale

Scala: 240 configurazioni sperimentali distinte hanno generato 240.000 payload, risultando in circa 2,2 milioni di test.
Difese: I test sono stati condotti contro 10 WAF:
- Basati su AI/ML: WAF-Brain (LSTM) e CNN-WAF.
- Basati su regole (Open Source): ModSecurity (PL1–3) e Coraza (PL1–3).
- Commerciali: AWS WAF e Cloudflare WAF.
Validazione: Un'applicazione web vulnerabile supportata da MySQL 8.0 ha servito come verità fondamentale per la validità dell'esecuzione.
Metriche: Le prestazioni sono state misurate tramite tassi di aggiramento, successo dell'esecuzione e sei metriche di diversità (diversità semantica, lessicale, contestuale, n-gram, AST e funzionale).

Risultati Chiave

Prestazioni Complessive

Superiorità di RADAGAS: Le varianti RADAGAS hanno superato tutte le baseline, con RADAGAS-GPT4o che ha raggiunto il tasso medio di aggiramento più alto del 22,73%.
RefleXQLi: Ha raggiunto un tasso di aggiramento del 21,21% con la varianza più bassa ( $\sigma = 0,37$ ), indicando un output stabile.
Baseline: L'SQLi tradizionale (15,01%) e il Vanilla GPT-4o (12,90%) hanno performato significativamente peggio. GenSQLi ha raggiunto il 20,35%.

Ottimizzazione Specifica del Modello

Lo studio ha rilevato che i parametri ottimali sono specifici del modello e controintuitivi:

GPT-4o: Ha performato meglio a bassa temperatura ( $T=0,1$ ) con una soglia di diversità alta ( $\theta=90$ ).
DeepSeek-R1: Ha performato meglio ad alta temperatura ( $T=0,9$ ) con una soglia di diversità alta ( $\theta=90$ ).
Claude 3.7: Ottimale a temperatura media ( $T=0,6$ ) con una soglia di diversità più bassa ( $\theta=75$ ).

Efficacia Specifica della Difesa

WAF basati su AI/ML: Le varianti RADAGAS sono state altamente efficaci, aggirando WAF-Brain al 92,49% (DeepSeek) e CNN-WAF all'80,48% (Claude).
WAF basati su regole: Tutti i sistemi basati su LLM hanno faticato contro le difese basate su regole (ModSecurity/Coraza), con tassi di aggiramento generalmente compresi tra 0% e 5,70%. GenSQLi ha raggiunto il più alto aggiramento basato su regole (16,26% su ModSecurity PL1), sebbene molti siano stati identificati come falsi positivi o espressioni tautologiche.
WAF Commerciali: RADAGAS-GPT4o ha raggiunto il più alto aggiramento su Cloudflare (49,50%), mentre RefleXQLi ha performato meglio su AWS WAF (33,00%).

Analisi della Diversità e dei Semi

Correlazione della Diversità: Contrariamente all'ipotesi che la diversità guidi il successo, lo studio ha rilevato nessuna correlazione statisticamente significativa tra le metriche di diversità dei payload e i tassi di aggiramento tra i sette sistemi. In effetti, payload meno diversificati hanno talvolta raggiunto tassi di aggiramento più elevati.
Effetto del Seed: Uno studio di ablazione che utilizzava "semi" (seeds) "V2" ha rivelato che RefleXQLi V2 (CoT + Semi) ha raggiunto un tasso di aggiramento del 35,78%, superando significativamente i semi grezzi (28,93%) e GenSQLi V2 (29,84%). Ciò suggerisce che semi di alta qualità combinati con il ragionamento CoT producono risultati superiori rispetto alla sola mutazione dei template.
Validità dell'Esecuzione: I sistemi RADAGAS hanno raggiunto un successo di esecuzione MySQL del 60–64%, mentre RefleXQLi (senza semi) ha raggiunto solo il 27,80%, evidenziando un compromesso tra la generazione avversaria creativa e la correttezza semantica.

Significato e Affermazioni

Il documento afferma di fornire uno degli studi di benchmarking più ampi sulla generazione avversaria di SQLi basata su LLM, offrendo una visione olistica dell'interazione tra architetture LLM e difese moderne.

Insight Architettonici: Lo studio dimostra che gli approcci basati su RAG sono altamente efficaci contro i WAF basati su AI/ML sfruttando conoscenze curate, mentre il ragionamento basato su CoT fornisce stabilità e correttezza semantica. Nessun sistema singolo supera universalmente gli altri; è necessaria una combinazione di approcci per una copertura completa.
Sensibilità dei Parametri: I risultati mettono in discussione la nozione di impostazioni di parametri universali, mostrando che temperatura e soglie di diversità devono essere sintonizzati empiricamente per ogni specifico modello fondazionale.
Mito della Diversità: La ricerca sfida l'assunto prevalente secondo cui la diversità dei payload è il principale motore del successo nell'aggiramento dei WAF, suggerendo che la qualità del contesto iniziale (semi) e il meccanismo di ragionamento (CoT/RAG) sono fattori più critici.
Linee Guida Pratiche: Gli autori forniscono linee guida attuabili per i test di sicurezza, raccomandando l'uso di RAG per i WAF basati su AI/ML e CoT guidato da semi per i massimi tassi di aggiramento, riconoscendo al contempo i limiti degli attuali LLM contro sistemi basati su regole rigide.

Gli autori sottolineano che questi risultati sono specifici alle configurazioni testate e al periodo (inizio 2026) e invitano a ulteriori ricerche su altri tipi di attacco e dialetti di database. Tutti gli esperimenti sono stati condotti in ambienti isolati e autorizzati per garantire una divulgazione responsabile.