Towards Automated Pentesting with Large Language Models

Probleemstelling

In het domein van offensieve cybersecurity (pentesten) vereist het schrijven van schadelijke code (zoals PowerShell-scripts voor Windows) aanzienlijke tijd, expertise en menselijke inspanning. Hoewel Large Language Models (LLMs) zoals ChatGPT potentieel bieden voor automatisering, zijn er twee grote uitdagingen:

1. Privacy en Data-gevoeligheid: Het gebruik van gesloten, proprietaire modellen (zoals ChatGPT) voor pentestactiviteiten brengt risico's met zich mee, omdat gevoelige informatie over doelwitten (hostnamen, IP-adressen) naar externe servers kan worden gestuurd.
2. Beperkte Beschikbaarheid van Trainingsdata: Er is een gebrek aan openbare, hoogwaardige datasets met schadelijke PowerShell-code om modellen specifiek voor dit doel te trainen. Bestaande datasets zijn vaak te klein of dekken niet alle relevante aanvalstechnieken (MITRE ATT&CK).
3. Ethiek en Beveiliging: Propriëtaire modellen hebben strenge ethische beperkingen die het genereren van schadelijke code blokkeren, wat hen minder bruikbaar maakt voor ethische hackers die deze scenario's moeten simuleren.

Methodologie

De auteurs presenteren RedShell, een framework dat lokaal fijngefineerde (fine-tuned) LLMs gebruikt om schadelijke PowerShell-code te genereren, met een focus op privacy en hardware-efficiëntie.

1. Dataset Uitbreiding (Ground Truth):

   • De auteurs begonnen met een bestaande dataset van 1.127 schadelijke PowerShell-snippets (van Liguori et al.).
   • Ze breidden deze uit met 1.135 nieuwe samples, verzameld uit frameworks zoals Nishang, PowerUpSQL, MicroBurst, en CTF-walkthroughs.
   • De totale dataset (nu 2.262 samples) werd handmatig geklasseerd volgens de MITRE ATT&CK-tactieken (bijv. Discovery, Defense Evasion, Credential Access).
   • De dataset werd opgesplitst in 90% training en 10% test.

2. Model Selectie en Fine-Tuning:

   • Drie open-weight modellen werden geselecteerd op basis van hun coderingsvaardigheden en grootte (<8 miljard parameters): Qwen2.5-7B, Qwen2.5-Coder-7B-Instruct, en Llama3.1-8B.
   • Techniek: Er werd gebruikgemaakt van LoRA (Low-Rank Adaptation) via het Unsloth-framework. Dit stelt hen in staat om de modellen lokaal te fine-tunen op één enkele GPU (NVIDIA RTX 4090) met beperkt VRAM, wat de kosten en energie verlaagt.
   • Context: De modellen kregen een specifieke instructie: "Act as a malicious PowerShell generator" om ethische beperkingen van de basismodellen te omzeilen en de output te specialiseren.

3. Evaluatie-Strategie:

   • Syntactische Validatie: Gebruik van PSScriptAnalyzer om parse-fouten, waarschuwingen en fouten te detecteren.
   • Semantische Validatie: Vergelijking van de gegenereerde code met referentie-snippets met behulp van metrics zoals ROUGE-L, METEOR, BLEU, Edit Distance (ED) en Exact Match (EM).
   • Functionele Validatie: Een geïsoleerde pentest-simulatie in een gescheiden netwerk met Windows 10 VM's. De gegenereerde scripts werden uitgevoerd om te zien of ze daadwerkelijk de beoogde aanvalstactieken (zoals port-scanning, brute-force, en privilege escalation) uitvoerden.

Belangrijkste Bijdragen

• RedShell Framework: Een privacy-bewust, lokaal draaiend framework voor het genereren van schadelijke PowerShell-code, ontworpen om ethische hackers te ondersteunen zonder data-lekken.
• Uitgebreide Dataset: Een significant vergrote en geoptimaliseerde dataset voor offensieve PowerShell, die alle 14 MITRE ATT&CK-tactieken dekt, inclusief specifieke modules die eerder ontbraken.
• Hardware-efficiëntie: Het bewijs dat state-of-the-art resultaten behaald kunnen worden met fine-tuning op één consumer-GPU, in plaats van de enorme clusters die nodig zijn voor pre-training of volledige fine-tuning.
• Ethiek en Transparantie: Het paper erkent het risico van misbruik ("dark LLMs") maar pleit voor het gebruik van dergelijke tools door ethische hackers om verdedigingsmechanismen te testen tegen toekomstige AI-gedreven aanvallen.

Resultaten

De experimenten tonen aan dat RedShell superieure prestaties levert ten opzichte van bestaande state-of-the-art modellen en proprietaire AI:

• Syntactische Kwaliteit: Meer dan 90% van de gegenereerde snippets was syntactisch geldig (geen parse-fouten). De modellen Qwen2.5 en Qwen2.5-Coder presteerden het beste (>95% geldigheid).
• Semantische Overeenkomst: RedShell (specifiek Qwen2.5-Coder) behaalde een gemiddelde code-相似iteit van boven de 50% (gemeten via Edit Distance) met referentie-snippets. Dit is significant hoger dan vergelijkbare open-source modellen die op dezelfde dataset zijn getraind.
• Vergelijking met Propriëtaire Modellen: Het lokaal gefine-tuned Qwen2.5-Coder model presteerde beter op alle semantische metrics dan ChatGPT-3.5 en DeepSeekChat-V3, terwijl het bovendien volledige data-privacy garandeerde.
• Functionele Betrouwbaarheid: In de realistische pentest-simulatie behaalde RedShell 100% correctheid (de scripts volgden de juiste aanvalsmethodologieën) en hoge effectiviteit. In tegenstelling tot ChatGPT, die ethische blokkades had, genereerde RedShell direct werkende payloads (bijv. downloaden van scripts naar RAM in plaats van schijf, gebruik van specifieke commando-argumenten).

Betekenis en Impact

Dit paper is significant omdat het laat zien dat Generatieve AI in de cybersecurity niet alleen een bedreiging is, maar ook een krachtig hulpmiddel voor defensie kan zijn, mits correct geïmplementeerd.

• Democratisering van AI: Het bewijst dat geavanceerde, gespecialiseerde AI-tools voor pentesten kunnen worden gebouwd met beperkte hardwarebronnen, waardoor ze toegankelijk zijn voor kleinere organisaties.
• Verdediging tegen AI-aanvallen: Door tools zoals RedShell te ontwikkelen, kunnen ethische hackers proactief testen hoe kwetsbaar systemen zijn voor geautomatiseerde, AI-gedreven aanvallen.
• Privacy: Het benadrukt het belang van lokale inferentie en fine-tuning voor gevoelige cybersecurity-taken, waar het gebruik van cloud-API's een te groot risico vormt.

Kortom, RedShell biedt een robuust, ethisch onderbouwd en technisch superieur alternatief voor het automatiseren van schadelijke code-generatie binnen de context van gecontroleerde pentest-omgevingen.