Can LLMs Handle WebShell Detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework

1. Het Probleem

WebShells (malicious scripts op webserver) vormen een aanhoudende bedreiging voor moderne systemen. Traditionele detectiemethoden hebben te kampen met ernstige beperkingen:

• Regelgebaseerde systemen: Zijn kwetsbaar voor variaties, obsfucatie en encryptie.
• Machine Learning (ML) / Deep Learning (DL): Vereisen grote hoeveelheden gelabelde data, zijn duur om te hertrainen en presteren vaak slecht bij concept drift of onbekende (OOD) varianten.
• Grote Taalmodellen (LLMs): Hoewel LLMs sterke code-vaardigheden hebben, zijn ze niet optimaal voor WebShell-detectie vanwege:
  • Contextbeperkingen: WebShell-bestanden kunnen extreem lang zijn (tot 1,3 miljoen tokens), wat leidt tot truncatie waarbij de kwaadaardige kern verloren gaat.
  • Naïeve In-Context Learning (ICL): Het willekeurig of puur semantisch selecteren van voorbeelden (demonstraties) werkt niet goed omdat de diversiteit in obsfucatiepatronen complex is en demonstraties waardevolle contextruimte verbruiken.
  • Onbalans: Zonder aanpassing vertonen LLMs een sterke onbalans tussen precisie en recall (grote modellen missen aanvallen, kleine modellen genereren veel false positives).

2. Methodologie: Behavioral Function-Aware Detection (BFAD)

De auteurs stellen BFAD voor, een raamwerk dat LLM-inferentie aanpast aan de specifieke uitvoeringspatronen van WebShells. Het bestaat uit drie kerncomponenten:

A. Critical Function Filter (Sleutelfunctie-filter)

In plaats van de volledige code te analyseren, identificeert dit filter PHP-functies die gerelateerd zijn aan zes categorieën van kwaadaardig gedrag:

1. Programma-uitvoering (bijv. exec, system)
2. Code-uitvoering (bijv. eval)
3. Callback-functies (bijv. array_map)
4. Netwerkcommunicatie (bijv. fsockopen, curl_init)
5. Informatieverzameling (bijv. phpinfo)
6. Obsfucatie en encryptie (bijv. base64_encode)
   Statistisch gezien komen deze functies veel vaker voor in WebShells dan in schone code. Ze dienen als "ankers" om de analyse te focussen.

B. Context-Aware Code Extraction

Om de contextlimieten van LLMs te respecteren, wordt een compacte code-weergave geconstrueerd:

• Er worden vensters rondom de geïdentificeerde kritieke functies getrokken.
• Overlappende vensters worden samengevoegd om redundantie te voorkomen.
• Als er nog ruimte is in het contextvenster, worden extra, niet-overlappende segmenten van de resterende code toegevoegd om globale context te behouden zonder de limiet te overschrijden.

C. Weighted Behavioral Function Profiling (WBFP)

Dit is een geavanceerde strategie voor het selecteren van ICL-demonstraties (voorbeelden):

• In plaats van op algemene semantische gelijkenis te vertrouwen, worden voorbeelden gewogen op basis van hun gedragsprofiel.
• Er worden drie statistieken berekend per kritieke functietype: dekking (coverage), frequentie en gebruiksverhouding tussen WebShells en schone code.
• Deze statistieken worden gecombineerd tot een discriminatiescore om de belangrijkste functietypes te identificeren.
• De gelijkenis tussen een doelbestand en een kandidaat-demonstratie wordt berekend als een gewogen som van de gelijkenis per functietype. Hierdoor worden voorbeelden geselecteerd die qua gedrag (niet alleen tekst) het meest lijken op de mogelijke aanval.

3. Belangrijkste Bijdragen

1. Systematische Evaluatie: De eerste uitgebreide evaluatie van zeven LLMs (variërend van GPT-4 tot kleine Qwen-0.5B modellen) tegen traditionele baselines (zoals GAT en CodeBERT) op een dataset van 26.594 PHP-scripts.
2. BFAD Framework: Een nieuw raamwerk dat de kloof tussen "off-the-shelf" LLM-prompting en gespecialiseerde detectie sluit zonder extra training (fine-tuning).
3. Inzicht in Schaal-effecten: Het paper onthult een fundamenteel verschil in foutpatronen: grote modellen hebben hoge precisie maar lage recall (missen aanvallen), terwijl kleine modellen hoge recall maar lage precisie hebben (veel false positives).
4. WBFP Strategie: Een bewezen methode om ICL-demonstraties te selecteren op basis van functioneel gedrag in plaats van oppervlakkige tekstuele gelijkenis.

4. Resultaten

De experimenten tonen aan dat BFAD de prestaties van alle geteste LLMs aanzienlijk verbetert:

• Algemene Verbetering: BFAD leidt gemiddeld tot een stijging van 13,82% in de F1-score.
• Grote Modellen: GPT-4 bereikt met BFAD een F1-score van 99,35% (een stijging van +6,89%), wat beter is dan de beste traditionele graaf-baselines (GAT met 98,87%).
• Kleine Modellen: Het effect is het grootst bij kleinere modellen. Qwen-2.5-0.5B springt van een F1 van 31,44% naar 82,67% (+51,23%), waardoor ze concurrerend worden met traditionele methoden.
• Afbakening van ICL: Willekeurige selectie van voorbeelden verslechtert de prestaties aanzienlijk. WBFP-Wt (gewogen) presteert consistent beter dan semantische zoekopdrachten (SC-Sim) of willekeurige selectie.
• Contextbeperkingen: Het gebruik van alleen kritieke regio's verbetert de recall voor grote modellen, terwijl het hybride model (kritieke regio's + globale context) de beste balans biedt voor kleinere modellen.

5. Significantie en Toekomstperspectief

Dit paper is significant omdat het aantoont dat LLMs potentieel superieur kunnen zijn aan traditionele methoden voor WebShell-detectie, mits ze correct worden gestuurd via gedragsgerichte prompting.

• Praktische Toepassing: BFAD biedt een "plug-and-play" oplossing die geen kostbare hertraining vereist, wat ideaal is voor beveiligingsscenario's met beperkte data.
• Toekomstige Richtingen: De auteurs suggereren:
  • Het bouwen van privacy-bewuste synthetische benchmarks.
  • Integratie van graaf-gebaseerde gedragsrepresentaties met LLMs (multimodale alignment).
  • Het ontwikkelen van "agentic" detectiepijplijnen met een "fast-slow" strategie en autonome update-lussen om om te gaan met distributiewijzigingen.

Kortom, het paper verlegt de focus van puur tekstuele analyse naar functioneel-gedragsanalyse, wat essentieel is om de complexiteit en obsfucatie van moderne WebShells te doorbreken met Large Language Models.