Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection

Titolo

Valutazione di Payload XSS Offuscati Generati da LLM per la Rilevazione Basata su Machine Learning

1. Il Problema

Il Cross-Site Scripting (XSS) rimane una delle vulnerabilità web più persistenti. La sfida principale per i sistemi di rilevamento, sia tradizionali che basati su Machine Learning (ML), è l'offuscamento. Gli attaccanti trasformano i payload malevoli modificando la loro forma sintattica (es. codifica esadecimale, inserimento di commenti, manipolazione delle stringhe) pur mantenendo inalterato il comportamento esecutivo nel browser.

I sistemi di rilevamento attuali spesso falliscono perché:

• Si basano su corrispondenze di stringhe o pattern superficiali che non riconoscono le varianti offuscate.
• I modelli ML addestrati su dati "closed-world" non generalizzano bene su comportamenti avversari evoluti.
• L'uso di tecniche di augmentation dei dati (aggiunta di esempi sintetici) tramite modelli generativi presenta un rischio critico: se i payload generati sembrano malevoli ma non sono esecutivamente validi (non eseguono l'attacco reale), introducono rumore e degradano le prestazioni del rilevatore.

2. Metodologia

Gli autori propongono una pipeline strutturata per generare, validare e valutare payload XSS offuscati utilizzando Large Language Models (LLM). Il processo si articola in quattro fasi principali:

1. Catene di Offuscamento Deterministico:

   • Partendo da un dataset di payload XSS originali, vengono applicate trasformazioni deterministiche (es. escape esadecimale, codifica Base64, divisione stringhe, inserimento commenti, cambio maiuscole/minuscole).
   • Vengono costruite catene di trasformazione a due passaggi (es. hex_escape → split_strings) per simulare strategie avversarie complesse.

2. Filtraggio Basato sul Comportamento (Runtime Validation):

   • Le catene generate vengono eseguite in un ambiente browser controllato.
   • Un "runtime checker" registra il comportamento osservabile (trigger di alert, output console, richieste di rete, errori).
   • Solo le catene in cui il payload finale (P2) riproduce esattamente il comportamento del payload originale (P0) vengono conservate come coppie "sorgente-target" valide. Questo crea un dataset di addestramento filtrato per validità comportamentale.

3. Generazione con LLM:

   • Viene valutato un modello linguistico in due configurazioni:
     • Baseline: Modello non addestrato (untuned).
     • Fine-tuned: Modello addestrato sulle coppie sorgente-target validate (comportamento preservato).
   • L'obiettivo è generare nuovi payload offuscati che mantengano la validità esecutiva.

4. Valutazione a Monte (Downstream Detection):

   • I payload generati vengono utilizzati per addestrare un classificatore (Random Forest) in tre scenari: solo dati originali, dati originali + tutti i generati, dati originali + solo generati validi.
   • Le prestazioni sono misurate tramite accuratezza, precisione, recall e F1-score.

3. Contributi Chiave

Il paper apporta tre contributi principali alla letteratura sulla sicurezza informatica e l'IA:

• Pipeline Strutturata: Un framework che combina trasformazioni deterministiche, generazione tramite LLM e validazione runtime per la creazione di dati di attacco sintetici.
• Validazione Runtime: Introduzione di una procedura di valutazione basata sull'esecuzione nel browser, che supera i limiti della semplice similarità sintattica, verificando se il payload genera lo stesso comportamento osservabile.
• Valutazione Empirica: Un'analisi quantitativa dell'impatto del fine-tuning sulla capacità degli LLM di preservare il comportamento e sull'efficacia di questi dati generati nel migliorare i rilevatori ML.

4. Risultati

I risultati sperimentali evidenziano sia i progressi che i limiti attuali:

• Tasso di Corrispondenza del Comportamento (Match Rate):

  • Il modello Baseline (non addestrato) ha raggiunto un tasso di corrispondenza comportamentale del 0,15 (15%).
  • Il modello Fine-tuned ha migliorato il tasso al 0,22 (22%), rappresentando un miglioramento relativo del 46,7%.
  • Interpretazione: Sebbene il fine-tuning aiuti, la maggior parte dei payload generati (78%) fallisce nel preservare il comportamento esecutivo, indicando che la plausibilità sintattica non garantisce la correttezza esecutiva.

• Analisi delle Trasformazioni:

  • Le combinazioni che coinvolgono manipolazione delle stringhe (es. split_strings → comment_insertion) hanno tassi di validità più alti (~0,75).
  • Le combinazioni basate su codifiche (es. hex_escape) hanno tassi di validità molto bassi (<0,06), suggerendo che gli LLM faticano a gestire la ricostruzione corretta del codice durante l'esecuzione.

• Prestazioni del Rilevatore (Downstream):

  • L'aggiunta di payload generati (sia tutti che solo quelli validi) non ha migliorato le prestazioni del rilevatore (F1-score ~0,998 per tutti i casi).
  • Motivo: I campioni generati costituiscono una frazione troppo piccola del dataset totale per influenzare la distribuzione di addestramento.
  • Tuttavia, l'aggiunta di campioni filtrati per comportamento non ha degradato le prestazioni, dimostrando che possono essere integrati in sicurezza senza introdurre rumore dannoso.

5. Significato e Conclusioni

Lo studio dimostra che, sebbene gli LLM offrano opportunità promettenti per la generazione di dati di attacco sintetici per l'addestramento di sistemi di difesa, non sono ancora affidabili per generare autonomamente varianti XSS funzionali.

• Importanza della Validazione Runtime: La ricerca sottolinea che la validazione basata sull'esecuzione è fondamentale per filtrare i dati sintetici. Senza di essa, i sistemi di sicurezza rischierebbero di essere addestrati su "falsi positivi" che sembrano malevoli ma non lo sono.
• Gap Sintassi vs. Esecuzione: Esiste un divario significativo tra la capacità di un LLM di generare codice sintatticamente plausibile e la capacità di garantire la correttezza semantica ed esecutiva in contesti di sicurezza dinamici.
• Implicazioni Future: Per rendere utile l'augmentation dei dati basata su LLM, è necessario un approccio ibrido che combini vincoli di generazione, set di addestramento più ampi e validazione multi-browser. I dati generati devono essere considerati come un complemento da validare rigorosamente, non come una soluzione automatica per espandere i dataset di sicurezza.