Towards Automated Pentesting with Large Language Models

Titolo: Verso il Pentesting Automatizzato con Modelli Linguistici di Grande Dimensione (LLM)

1. Il Problema

Il campo della cybersecurity offensiva sta subendo una trasformazione radicale grazie all'avvento dei Large Language Models (LLM). Se da un lato gli attaccanti utilizzano modelli "oscuri" (come WolfGPT o XXXGPT) per generare codice dannoso con minima intervento umano, gli ethical hacker (red team) affrontano sfide significative nell'automatizzare i flussi di lavoro tradizionali di penetration testing (pentesting).
Scrivere codice offensivo (shellcode, script PowerShell, ecc.) richiede tempo, sforzo e competenze elevate. Sebbene gli LLM offrano un potenziale enorme per automatizzare la generazione di codice malevolo, l'approccio è limitato da:

• Scarsità di dati di addestramento: La disponibilità pubblica di dati offensivi di alta qualità è limitata rispetto ai linguaggi di programmazione generici.
• Privacy e Sicurezza: L'uso di modelli proprietari (es. ChatGPT) comporta rischi di perdita di dati sensibili (indirizzi IP, nomi host) inviati tramite prompt.
• Risorse Computazionali: Le strategie di addestramento esistenti (pre-training su grandi corpus o uso di GAN) sono spesso eccessivamente onerose in termini di hardware.

2. Metodologia: Il Framework RedShell

Gli autori presentano RedShell, un framework progettato per assistere i pentester nella generazione di codice PowerShell offensivo per ambienti Microsoft Windows. L'approccio si basa su tre pilastri fondamentali:

• Dataset Esteso e Curato:

  • Partendo da un dataset di riferimento esistente (1.127 campioni), gli autori hanno creato un dataset esteso aggiungendo 1.135 nuovi campioni.
  • I nuovi dati provengono da framework di cybersecurity (Nishang, PowerUpSQL, MicroBurst), challenge CTF (TryHackMe) e repository GitHub.
  • Il dataset è stato classificato manualmente secondo le tattiche MITRE ATT&CK, coprendo 14 tattiche offensive (es. Discovery, Defense Evasion, Credential Access), con un aumento significativo dei campioni per le tattiche più critiche.
  • Il dataset è stato diviso in 90% per l'addestramento e 10% per il test.

• Selezione e Adattamento dei Modelli (Fine-Tuning):

  • Sono stati selezionati tre modelli open-weight (Qwen2.5-7B, Qwen2.5-Coder-7B-Instruct, Llama3.1-8B) per garantire la privacy dei dati e la possibilità di esecuzione locale.
  • È stato utilizzato un approccio di fine-tuning leggero basato su LoRA (Low-Rank Adaptation) tramite il framework Unsloth. Questo metodo congela i parametri pre-addestrati e aggiorna solo un piccolo numero di pesi, riducendo drasticamente i requisiti di VRAM.
  • L'addestramento è stato eseguito su una singola GPU (NVIDIA RTX 4090), rendendo il processo accessibile e hardware-efficient.
  • Il contesto di prompt è stato definito per istruire il modello a comportarsi come un "generatore di PowerShell malevolo", producendo comandi in una singola riga senza spiegazioni.

• Architettura Modulare:

  • RedShell è progettato per essere modulare, permettendo potenzialmente di adattarlo ad altri linguaggi (es. Assembly) sostituendo solo il dataset e il validatore di sintassi, mantenendo invariato il processo di addestramento e valutazione semantica.

3. Contributi Chiave

1. Creazione di un Ground Truth Esteso: Pubblicazione di un dataset di codice PowerShell offensivo quasi raddoppiato rispetto alle risorse precedenti, con una copertura completa delle tattiche MITRE ATT&CK.
2. Framework Privacy-Preserving: Dimostrazione che è possibile creare generatori di codice offensivo altamente specializzati ed efficaci senza inviare dati a servizi cloud proprietari, garantendo la riservatezza delle informazioni durante il pentesting.
3. Efficienza Hardware: Validazione che tecniche di fine-tuning avanzate (LoRA + Unsloth) su hardware consumer (una singola GPU) possono produrre modelli competitivi rispetto a soluzioni che richiedono pre-training massicci o cluster di GPU.
4. Valutazione Olistica: Introduzione di una valutazione a tre livelli (sintattico, semantico e funzionale) che va oltre la semplice generazione di testo, verificando l'esecuzione reale del codice in un ambiente controllato.

4. Risultati Sperimentali

Gli esperimenti hanno confrontato i modelli RedShell (in particolare Qwen2.5-Coder) con modelli di riferimento (CodeGPT, CodeGen, CodeT5+) e modelli proprietari (ChatGPT-3.5, DeepSeek).

• Valutazione Sintattica:

  • Oltre il 90% dei campioni generati è stato analizzato con successo senza errori di parsing (Parse Errors).
  • I modelli Qwen2.5 e Qwen2.5-Coder hanno raggiunto una precisione di parsing superiore al 95%.
  • Nonostante l'alta validità sintattica, è stato osservato un alto tasso di avvisi (warnings) legati a pratiche di sicurezza (es. uso di alias o Invoke-Expression), il che è coerente con la natura offensiva del codice generato.

• Valutazione Semantica:

  • Il framework ha ottenuto un'elevata allineamento semantico con i campioni di riferimento.
  • La similitudine media del codice (misurata tramite Edit Distance) è superiore al 50%.
  • Il modello Qwen2.5-Coder ha superato i modelli di riferimento e i modelli proprietari (ChatGPT) su tutte le metriche (BLEU, ROUGE-L, METEOR, Exact Match), nonostante sia stato addestrato solo con fine-tuning e senza pre-training su grandi corpus generici.

• Valutazione Funzionale (Esecuzione Reale):

  • In uno scenario di pentesting simulato (VM Windows 10 con servizi vulnerabili), i frammenti generati da RedShell hanno dimostrato un'affidabilità operativa.
  • Efficacia: Il modello ha prodotto payload funzionanti per tutte le fasi dell'attacco (scansione porte, brute-force, lateral movement, escalation dei privilegi).
  • Correttezza: RedShell ha raggiunto il 100% di correttezza rispetto alle tattiche MITRE ATT&CK richieste, superando ChatGPT che, a causa dei suoi filtri etici, ha spesso rifiutato di generare il codice o ha prodotto soluzioni non ottimali.
  • Il modello ha mostrato capacità di eseguire task multi-step e di utilizzare argomenti specifici dei comandi PowerShell.

5. Significato e Implicazioni

Questo lavoro evidenzia come l'Intelligenza Artificiale Generativa stia ridefinendo la cybersecurity offensiva.

• Per gli Ethical Hackers: RedShell offre uno strumento potente per automatizzare la creazione di payload, riducendo il tempo necessario per le audit di sicurezza e permettendo di testare scenari di attacco più complessi e realistici in ambienti controllati.
• Per la Ricerca e la Difesa: Lo studio dimostra che i modelli "oscuri" o specializzati possono essere replicati con risorse limitate, il che rappresenta un rischio per la sicurezza. Tuttavia, comprendere queste capacità è fondamentale per sviluppare difese più robuste.
• Etica: Gli autori sottolineano l'importanza di un dialogo aperto sull'uso malevolo degli LLM. RedShell è stato progettato con dati non distruttivi per allinearsi alla natura non dannosa del pentesting, ma riconosce che la stessa tecnologia può essere utilizzata da attaccanti reali. La ricerca mira a preparare la comunità di difesa alle inevitabili evoluzioni delle minacce basate su AI.

In conclusione, RedShell rappresenta un passo significativo verso l'automazione del pentesting, dimostrando che modelli linguistici locali, addestrati in modo efficiente e su dati specifici, possono superare le prestazioni dei modelli proprietari generici in compiti di generazione di codice offensivo, mantenendo al contempo la privacy e l'efficienza delle risorse.