Can LLMs Handle WebShell Detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework

1. Il Problema: Rilevamento delle WebShell e Limiti degli Approcci Attuali

Le WebShell sono script maligni impiantati sui server web che permettono l'esecuzione remota di comandi, l'esfiltrazione di dati e il compromissione dei sistemi. La loro difesa è estremamente difficile a causa della continua evoluzione, dell'offuscamento e della cifratura.

Il paper identifica tre limiti principali negli approcci esistenti:

• Metodi basati su regole: Sono fragili di fronte alla diversità delle varianti e all'offuscamento rapido.
• Modelli di Machine Learning/Deep Learning supervisionati: Richiedono grandi quantità di dati etichettati (spesso scarsi in ambito sicurezza), soffrono di "catastrophic forgetting" durante gli aggiornamenti e generalizzano male su nuove strategie di offuscamento o dati fuori distribuzione (OOD).
• Limiti attuali degli LLM (Large Language Models): Sebbene gli LLM mostrino forti capacità di comprensione del codice, il loro utilizzo diretto per il rilevamento delle WebShell presenta sfide critiche:
  • Lunghezza del contesto: I file WebShell possono essere enormi (fino a 1,3 milioni di token), superando le finestre di contesto degli LLM e portando a una troncatura che rimuove il nucleo maligno.
  • Fragilità dell'ICL (In-Context Learning): La selezione degli esempi dimostrativi (demonstrations) è difficile a causa della diversità dei pattern di offuscamento; una selezione casuale o basata solo sulla similarità semantica del codice intero spesso fallisce nel catturare i comportamenti maligni specifici.
  • Squilibrio Precisione-Recall: Gli LLM "fuori dal box" mostrano una asimmetria: i modelli grandi tendono ad avere alta precisione ma bassa recall (mancano attacchi), mentre i modelli piccoli hanno alta recall ma bassa precisione (troppi falsi positivi).

2. Metodologia: Il Framework BFAD

Per colmare il divario tra le capacità degli LLM e le esigenze del rilevamento delle WebShell, gli autori propongono BFAD (Behavioral Function-Aware Detection), un framework incentrato sul comportamento che adatta l'inferenza degli LLM ai pattern di esecuzione specifici delle WebShell.

BFAD si compone di tre fasi principali:

A. Filtro delle Funzioni Critiche (Critical Function Filter)

Le WebShell implementano comportamenti maligni (esecuzione di comandi, esfiltrazione, offuscamento) attraverso un sottoinsieme ristretto di funzioni PHP ad alto rischio.

• Le funzioni sono classificate in 6 categorie comportamentali: Program Execution, Code Execution, Callback Functions, Network Communication, Information Gathering, Obfuscation and Encryption.
• L'analisi statistica mostra che le WebShell chiamano queste funzioni critiche molto più frequentemente rispetto al codice benigno (media di 22,76 chiamate vs 0,74).
• Questo filtro funge da "ancora" per isolare le parti di codice rilevanti per la sicurezza, riducendo il rumore.

B. Estrazione del Codice Consapevole del Contesto (Context-Aware Code Extraction)

Per gestire i limiti di contesto degli LLM senza perdere il nucleo maligno:

• Il sistema estrae finestre di contesto attorno alle chiamate alle funzioni critiche identificate.
• Le finestre sovrapposte vengono fuse per evitare ridondanza.
• Se il budget di contesto lo permette, vengono aggiunti segmenti di codice globale troncati ma non sovrapposti per fornire segnali contestuali aggiuntivi senza superare il limite di token.
• Questo approccio bilancia la necessità di focalizzarsi sul comportamento locale con la necessità di mantenere un contesto globale per la disambiguazione dell'intento.

C. Profilazione Funzionale Comportamentale Pesata (Weighted Behavioral Function Profiling - WBFP)

Questa componente ottimizza la selezione degli esempi per l'In-Context Learning (ICL). Invece di cercare similarità semantica generica su tutto il file, WBFP:

• Calcola una punteggio di discriminazione per ogni tipo di funzione critica basandosi su tre metriche: differenza di copertura, rapporto di frequenza e rapporto di utilizzo tra WebShell e codice benigno.
• Utilizza questi pesi per calcolare una similarità basata su embedding delle funzioni critiche estratte.
• Seleziona le dimostrazioni (esempi di training) che hanno il profilo comportamentale più simile al file target, dando priorità alle funzioni più indicative di un attacco.

3. Contributi Chiave

1. Valutazione Sistematica: Il primo studio che valuta sistematicamente 7 LLM (inclusi GPT-4, LLaMA-3.1-70B, Qwen-2.5 variants) contro baselines tradizionali su un dataset di 26.594 script PHP.
2. Framework BFAD: Un metodo innovativo che combina filtraggio comportamentale, estrazione contestuale intelligente e selezione di dimostrazioni pesata per migliorare l'efficacia degli LLM senza bisogno di ri-addestramento (fine-tuning).
3. Analisi delle Dinamiche di Scala: Dimostrazione che gli LLM grandi e piccoli falliscono in modi opposti (precisione vs recall) e che BFAD è in grado di correggere questi squilibri in modo differenziato.

4. Risultati Sperimentali

Il framework è stato testato su un dataset di 26.594 script (4.929 WebShell, 21.665 benigni) confrontando gli LLM potenziati con BFAD contro baselines come GloVe+SVM, CodeBERT+RF e modelli grafici (GAT).

• Miglioramento Generale: BFAD ha migliorato il punteggio F1 medio di tutti gli LLM valutati del 13,82%.
• Performance dei Modelli Grandi:
  • GPT-4: Il punteggio F1 è salito dal 92,46% al 99,35% (+6,89), superando il miglior baseline tradizionale (GAT al 98,87%). La recall è passata dall'85,98% al 98,71% mantenendo la precisione al 100%.
  • LLaMA-3.1-70B: F1 migliorato al 98,40%.
• Performance dei Modelli Piccoli:
  • Qwen-2.5-0.5B: Ha mostrato il miglioramento più drastico, passando da un F1 del 31,44% a 82,67% (+51,23), diventando competitivo con i metodi tradizionali.
  • Qwen-2.5-Coder-3B: È diventato competitivo con i metodi tradizionali, raggiungendo un F1 del 63,64% (contro il 55,93% iniziale).
• Efficacia delle Componenti:
  • L'estrazione contestuale ha dimostrato di bilanciare meglio precisione e recall rispetto all'uso del codice completo o solo delle regioni critiche.
  • WBFP ha superato significativamente la selezione casuale e quella basata sulla similarità semantica del codice intero (SC-Sim), confermando che la similarità comportamentale è cruciale per l'ICL in questo dominio.

5. Significato e Implicazioni

• Superamento del "Gap" degli LLM: Il paper dimostra che gli LLM, sebbene promettenti, non sono pronti per il rilevamento delle WebShell "out-of-the-box" a causa di problemi di calibrazione e gestione del contesto. Tuttavia, con un'ingegneria del prompt basata sul comportamento (BFAD), possono eguagliare o superare i migliori modelli supervisionati.
• Efficienza Operativa: BFAD permette di utilizzare gli LLM senza costosi processi di addestramento o raccolta massiccia di dati etichettati, sfruttando invece la conoscenza pre-addestrata e l'ICL intelligente.
• Direzioni Future: Il lavoro suggerisce l'integrazione di rappresentazioni grafiche (per catturare la struttura delle chiamate di funzione) con gli LLM e lo sviluppo di pipeline di rilevamento "agentiche" (fast-slow) che combinano modelli leggeri per il triage e modelli pesanti per l'analisi approfondita, con loop di aggiornamento autonomo per adattarsi alle nuove minacce.

In sintesi, il paper fornisce una ricetta pratica per rendere gli LLM affidabili nell'analisi di codice critico per la sicurezza, spostando il focus dalla semplice comprensione del testo alla comprensione dei comportamenti funzionali specifici delle minacce.