Fine-Tuned CodeBERT for Web Threat Classification using Agentic Reasoning

Internet è un vasto e aperto mercato dove l'informazione scorre liberamente, ma questa apertura invita anche ai problemi. Ogni giorno, le applicazioni web — siti che permettono di fare acquisti, gestire conti bancari o leggere le notizie — affrontano tentativi di intrusione. Due dei trucchi più comuni utilizzati dagli attaccanti sono noti come SQL injection e cross-site scripting. In termini semplici, la SQL injection è come infilare una nota contraffatta in una query al database, ingannando il sistema per rivelare informazioni segrete o modificare record che non dovrebbe. Il cross-site scripting è più simile a nascondere uno script malevolo all'interno di un commento o di un campo di un modulo, che viene poi eseguito sul computer di chiunque visualizzi la pagina, spesso rubando i dettagli di accesso o prendendo il controllo della sessione. Per fermare questi attacchi, i siti web utilizzano dei guardiani digitali chiamati web application firewall. Per anni, questi guardiani si sono affidati a una lista di modelli malvagi noti, come un bouncer che controlla i documenti contro una lista di soggetti problematici noti. Tuttavia, gli attaccanti accorti possono facilmente aggirare queste liste cambiando leggermente il loro codice malevolo — aggiungendo uno spazio, cambiando il caso di una lettera o nascondendolo in un commento — proprio come una persona che cambia abiti per evitare di essere riconosciuta.

Per risolvere questo problema, i ricercatori si sono rivolti all'intelligenza artificiale, specificamente a un tipo di programma per computer chiamato transformer. Pensate a un transformer come a una macchina che legge il testo e apprende la struttura sottostante del linguaggio, molto simile a uno studente che legge miglia di libri per comprendere la grammatica e il contesto piuttosto che limitarsi a memorizzare parole specifiche. Alcune di queste macchine sono addestrate su testi generici, mentre altre, come quella al centro di questo studio, sono addestrate sia sul linguaggio naturale che sul codice informatico. I ricercatori volevano sapere se una macchina addestrata sul codice potesse individuare meglio questi attacchi web rispetto alle macchine addestrate sul testo generico, e se potesse farlo con una velocità sufficiente per essere utile in tempo reale. Volevano anche vedere se l'utilizzo di una versione più corta ed efficiente della macchina avrebbe sacrificato l'accuratezza in favore della velocità, un compromesso cruciale per i sistemi che devono prendere decisioni in millisecondi.

In uno studio recente, ricercatori dell'Università Internazionale di Westminster a Tashkent hanno intrapreso il compito di testare queste domande con un approccio fresco e rigoroso. Hanno raccolto una massiccia collezione di dati sul traffico web, mescolando insieme migliaia di esempi di richieste innocue e attacchi malevoli. Per garantire che i loro risultati fossero affidabili, hanno pulito meticolosamente i dati, rimuovendo le voci duplicate e aggiungendo un piccolo set di frasi trabocchetto innocue che sembravano attacchi, per vedere se le macchine si sarebbero confuse. Hanno poi preso quattro diverse versioni di questi modelli di IA e le hanno istruite a distinguere tra traffico buono e cattivo usando esattamente le stesse regole e dati. Uno di questi modelli era CodeBERT, un sistema pre-addestrato sul codice sorgente, mentre gli altri erano modelli a scopo generale come BERT e RoBERTa. L'obiettivo era vedere se il modello addestrato sul codice avesse un vantaggio naturale nel individuare l'insolita miscela di comandi per database e script web presenti in questi attacchi.

I risultati sono stati sorprendentemente coerenti in tutti i casi. Tutti e quattro i modelli hanno operato con un'accuratezza straordinaria, identificando correttamente la natura del traffico in più del 99 percento dei casi. Quando i ricercatori hanno esaminato da vicino i pochi errori commessi, hanno scoperto che le differenze tra i modelli erano così piccole da poter essere facilmente attribuite al caso piuttosto che a un modello realmente superiore. Il modello addestrato sul codice, CodeBERT, ha commesso sette errori su oltre 6.000 campioni di test, una prestazione statisticamente indistinguibile da quella degli altri modelli, che hanno commesso tra gli otto e i dodici errori. Questa scoperta mette in discussione l'assunto che un modello specializzato addestrato sul codice sia intrinsecamente migliore in questo specifico compito rispetto a un modello generico, almeno quando entrambi ricevono la stessa quantità di dati e tempo di addestramento. Lo studio suggerisce che per il compito di decidere semplicemente se una richiesta è malevola o meno, la scelta del modello conta meno della qualità dei dati e del metodo di test.

Tuttavia, lo studio ha scoperto importanti differenze nel modo in cui questi modelli si comportano sotto pressione. Sebbene i punteggi di accuratezza fossero quasi identici, i tipi di errori commessi variavano. Un modello era più propenso a far passare un attacco malevolo, mentre un altro era più propenso a bloccare erroneamente una richiesta innocua. Questa distinzione è vitale per la sicurezza nel mondo reale, poiché il costo di un falso allarme è diverso dal costo di una violazione. Inoltre, i ricercatori hanno testato quanto velocemente potessero lavorare questi modelli. Hanno scoperto che, accorciando la quantità di testo che i modelli dovevano elaborare contemporaneamente, potevano ridurre il tempo necessario per addestrare il sistema di quasi la metà e ridurre il tempo necessario per prendere una decisione di quasi il 50 percento, senza perdere alcuna accuratezza significativa. Ciò suggerisce che per i sistemi di sicurezza leggeri, che devono essere veloci ed efficienti, esiste una chiara via per l'ottimizzazione che non richiede il sacrificio della sicurezza.

I ricercatori hanno anche sottoposto i loro modelli a un test di stress utilizzando un piccolo set di attacchi offuscati e appositamente creati per ingannare il sistema. In questo scenario, le prestazioni dei modelli sono calate sensibilmente, con l'accuratezza scesa intorno all'86 percento. Questo calo evidenzia una realtà critica: un sistema che appare perfetto sui dati di test standard può comunque essere vulnerabile ad attacchi astutamente camuffati. Lo studio nota esplicitamente che gli alti punteggi osservati nei test standard non garantiscono la robustezza contro le tecniche di evasione. I ricercatori sono stati attenti a dichiarare che il loro lavoro è un primo passo, concentrandosi solo sulla decisione binaria se il traffico sia cattivo o buono, piuttosto che sull'identificazione del tipo specifico di attacco. Riconoscono che il loro dataset, pur essendo ampio, è limitato a fonti pubbliche e che il loro test di stress era piccolo.

In definitiva, questa ricerca fornisce un quadro chiaro e fondato dello stato attuale dell'IA nella sicurezza web. Dimostra che, sebbene i modelli avanzati possano raggiungere un'accuratezza quasi perfetta nel rilevare comuni attacchi web, le differenze tra modelli specializzati e generici sono spesso trascurabili nella pratica. Il vero valore non risiede nel trovare un singolo modello "migliore", ma nel comprendere i compromessi tra velocità, costi e i tipi specifici di errori che un sistema può commettere. Mostrando che l'efficienza può essere guadagnata senza sacrificare l'accuratezza, lo studio offre una tabella di marcia pratica per costruire strumenti di sicurezza più veloci e leggeri. Ci ricorda che nella continua battaglia per la sicurezza del web, l'obiettivo non è solo costruire una macchina più intelligente, ma costruirne una più affidabile ed efficiente che possa tenere il passo con le tattiche in evoluzione di chi cerca di violare i sistemi.