RedShell: A Generative AI-Based Approach to Ethical Hacking

Probleemstelling

In het domein van offensieve cybersecurity (ethisch hacken) is het schrijven van schadelijke code (zoals PowerShell-scripts) een tijdrovende en technisch veeleisende taak voor red teams. Hoewel Large Language Models (LLMs) zoals ChatGPT veelbelovend zijn voor generatieve taken, blijft de toepassing ervan voor het genereren van offensieve code problematisch. De belangrijkste belemmering is het gebrek aan grote, openbare datasets met kwalitatief hoogwaardige, schadelijke code die nodig zijn om modellen te trainen en te evalueren. Zonder deze "ground truth" data is het moeilijk om betrouwbare automatische tools te bouwen die red teams kunnen helpen bij het automatiseren van pentest-audits.

Methodologie

De auteurs stellen RedShell voor, een AI-gestuurde tool die is ontworpen om kwaadaardige PowerShell-code te genereren voor Microsoft Windows-omgevingen. De aanpak bestaat uit drie hoofdfasen:

1. Dataset Constructie (Ground Truth):

   • De auteurs creëerden een nieuwe dataset door bestaande collecties te combineren en uit te breiden.
   • Referentiedataset: Gebaseerd op 1.127 samples van Liguori et al. [16], afkomstig van bronnen zoals Red Team Recipe en Atomic Red Team.
   • Uitgebreide dataset: Er werden 1.135 nieuwe samples toegevoegd, gehaald uit modules zoals Mimikatz, Nishang en TryHackMe walkthroughs.
   • De totale dataset dekt 13 van de 14 MITRE ATT&CK-tactieken (met uitzondering van Resource Development) en omvat scenario's zoals Discovery, Defense Evasion en Credential Access.

2. Modelselectie en Fine-tuning:

   • Drie open-source LLMs werden geselecteerd op basis van prestaties in codering, openbaarheid van weights en efficiëntie: Qwen2.5-7B, Qwen2.5-Coder-7B-Instruct, en Llama3.1-8B.
   • De modellen werden lokaal gefine-tuned met de LoRA (Low Rank Adaption) methode via het Unsloth-framework. Dit minimaliseerde de rekenkracht en VRAM-gebruik (gebruik van één NVIDIA RTX 4090 GPU).
   • Context-prompt: De modellen kregen de instructie: "Act as a malicious PowerShell generator. Generate commands in a single line, separated by semicolons and provide no further explanations."
   • Ethische afweging: Hoewel de modellen zijn getraind voor offensieve doeleinden, werden samples met Impact (die systemen zouden kunnen beschadigen) uitgesloten om te voldoen aan de niet-destructieve aard van pentesting.

3. Evaluatie:

   • Syntactische juistheid: Geëvalueerd met PSScriptAnalyzer (een Microsoft-tool) om parse-fouten, waarschuwingen en fouten te detecteren.
   • Semantische juistheid: Geëvalueerd met standaard NLP-metrics voor code-similariteit: ROUGE-L, METEOR, BLEU-4, Edit Distance en Exact Match.

Belangrijkste Bijdragen

• RedShell Tool: Een werkend systeem dat ethische hackers in staat stelt om automatisch PowerShell-exploits te genereren, wat de efficiëntie van pentests verhoogt.
• Uitgebreide Dataset: De publicatie van een verrijkte ground truth-dataset voor offensieve PowerShell-code, wat een cruciaal gat in de openbare literatuur opvult.
• Efficiënte Fine-tuning: Het demonstreren dat het fine-tunen van state-of-the-art modellen voor specifieke cybersecurity-taken mogelijk is met beperkte hardware (één GPU) en zonder de noodzaak van zware pre-training.
• Privacy en Specialisatie: In tegenstelling tot gesloten API's (zoals ChatGPT), biedt RedShell privacy (lokaal draaien) en volledige specialisatie op schadelijke code zonder ethische beperkingen die de output blokkeren.

Resultaten

De experimenten leverden de volgende bevindingen op:

• Syntactische Validiteit: De gegenereerde code was overwegend geldig. Minder dan 10% van de samples resulteerde in parse-fouten (fouten die uitvoering voorkomen). De meeste waarschuwingen die PSScriptAnalyzer gaf, waren gerelateerd aan veiligheidspraktijken (zoals het gebruik van Invoke-Expression of het hardcoden van hostnamen), wat verwacht wordt bij schadelijke code.
• Semantische Prestaties:
  • Qwen2.5-Coder presteerde het beste van de drie geteste modellen.
  • De gemiddelde Edit Distance en METEOR-scores waren respectievelijk hoger dan 50% en 40%, wat aangeeft dat de gegenereerde code sterk lijkt op de referentie-snippets.
  • Qwen2.5-Coder overtrof bestaande state-of-the-art modellen (zoals CodeGPT, CodeGen en CodeT5+ uit eerdere studies) op alle vergelijkingsmeters.
  • Het model presteerde ook beter dan gesloten modellen zoals ChatGPT 3.5 en DeepSeekChat-V3.
• Invloed van de Dataset: Het gebruik van de uitgebreide dataset (in plaats van alleen de referentiedataset) leidde tot significante verbeteringen in BLEU-4 en Exact Match, wat wijst op een hogere precisie in de output, hoewel de algemene semantische structuur al goed was.

Betekenis en Toekomstperspectief

RedShell markeert een belangrijke stap in het onderzoek naar Generatieve AI voor pentesting. Het bewijst dat gespecialiseerde, lokaal draaiende modellen effectief kunnen worden ingezet om de automatisering van red team-activiteiten te verbeteren, zelfs met beperkte datasets en hardware.

De studie benadrukt echter ook de noodzaak van verantwoord gebruik. Omdat de tool in staat is om schadelijke code te genereren die gesloten modellen zouden blokkeren, is het essentieel dat deze technologie wordt gebruikt door professionals om defensieve maatregelen te versterken.

Beperkingen en Future Work:
Een belangrijke beperking is dat de evaluatie voornamelijk syntactisch en semantisch was (op basis van tekstvergelijking). Er is nog geen functionele evaluatie uitgevoerd in een live-omgeving om te verifiëren of de gegenereerde scripts daadwerkelijk werken in real-world pentest-scenario's. Toekomstig werk zal zich richten op het testen van deze snippets in gecontroleerde omgevingen om de operationele effectiviteit te bevestigen.