Can LLMs Handle WebShell Detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework

Resumo Técnico: Detecção de WebShell com Grandes Modelos de Linguagem (LLMs)

1. O Problema

Os ataques de WebShell (scripts maliciosos implantados em servidores web para execução remota de comandos e exfiltração de dados) representam uma ameaça persistente e em evolução. As defesas tradicionais enfrentam desafios significativos:

• Abordagens Baseadas em Regras: Tornam-se frágeis devido à rápida evolução e ofuscação dos variantes de WebShell.
• Métodos de Aprendizado de Máquina (ML/DL): Requerem grandes volumes de dados rotulados (que são escassos em segurança), sofrem com "esquecimento catastrófico" em atualizações contínuas e têm dificuldade em generalizar para ofuscações novas ou dados fora de distribuição (OOD).
• Limitações dos LLMs: Embora os LLMs tenham mostrado forte compreensão de código, sua aplicação direta na detecção de WebShell enfrenta dois gargalos principais:
  1. Janela de Contexto: WebShells podem ser extremamente longos (até 1,3 milhão de tokens no conjunto de dados do estudo), excedendo as janelas de contexto típicas e levando à perda do núcleo malicioso se o arquivo for truncado.
  2. Aprendizado em Contexto (ICL) Frágil: A seleção de exemplos de demonstração (demonstrations) para ICL é difícil; exemplos selecionados aleatoriamente ou apenas por similaridade semântica global podem introduzir ruído e degradar o desempenho, especialmente em códigos ofuscados.

2. Metodologia Proposta: BFAD

Os autores propõem o Framework de Detecção Consciente de Função Comportamental (BFAD - Behavioral Function-Aware Detection). O BFAD não treina o LLM, mas adapta a inferência para focar em padrões comportamentais específicos de WebShells. O framework consiste em três componentes principais:

• A. Filtro de Funções Críticas (Critical Function Filter):

  • Mapeia chamadas de funções PHP para uma taxonomia de seis categorias de comportamento de risco: Execução de Programa, Execução de Código, Funções de Callback, Comunicação de Rede, Coleta de Informações e Ofuscação/Encriptação.
  • Identifica que WebShells invocam essas funções críticas com muito mais frequência (média de 22,76 chamadas) do que arquivos benignos (média de 0,74).
  • Usa essas funções como "âncoras" para localizar o código relevante, permitindo que o LLM foque na intenção maliciosa em vez de analisar o arquivo inteiro.

• B. Extração de Código Consciente de Contexto (Context-Aware Code Extraction):

  • Constrói uma representação compacta do arquivo para o LLM.
  • Extrai janelas de contexto ao redor das funções críticas identificadas e funde janelas sobrepostas para evitar redundância.
  • Se houver orçamento de tokens restante, adiciona segmentos não sobrepostos do código restante para fornecer sinais globais complementares, equilibrando o foco local com o contexto global.

• C. Perfilamento de Função Comportamental Ponderado (WBFP - Weighted Behavioral Function Profiling):

  • Melhora a seleção de exemplos para ICL (In-Context Learning).
  • Em vez de similaridade semântica genérica, calcula uma pontuação de discriminação baseada em estatísticas de uso de funções (diferença de cobertura, razão de frequência e razão de uso) entre WebShells e arquivos benignos.
  • Pondera a similaridade entre o arquivo de teste e os exemplos de treinamento com base na importância comportamental de cada tipo de função crítica. Isso garante que os exemplos de demonstração selecionados correspondam ao perfil comportamental do alvo.

3. Contribuições Principais

1. Avaliação Sistemática: Primeira avaliação abrangente de sete LLMs (incluindo GPT-4, LLaMA-3.1-70B, Qwen-2.5 em várias escalas) contra detectores tradicionais (SVM, CodeBERT, GAT) em um conjunto de dados de 26.594 scripts PHP.
2. Identificação de Assimetria Precisão-Recall: Descoberta de que LLMs maiores tendem a ter alta precisão mas baixa recall (perdem ataques), enquanto modelos menores tendem a ter alta recall mas baixa precisão (muitos falsos positivos).
3. Framework BFAD: Proposta de uma arquitetura que supera as limitações de contexto e ICL, permitindo que LLMs "off-the-shelf" (sem fine-tuning específico) atinjam ou superem o estado da arte (SOTA) supervisionado.
4. Direções Futuras: Sugere a criação de benchmarks sintéticos, integração de representações gráficas com LLMs e pipelines de detecção "rápido-lento" com agentes autônomos.

4. Resultados Experimentais

O estudo foi realizado em um conjunto de dados com 4.929 WebShells e 21.665 arquivos benignos.

• Desempenho Base (Sem BFAD):

  • LLMs puros (vanilla prompting) ficaram atrás dos melhores detectores baseados em grafos (GAT), que atingiram 98,87% de F1.
  • O melhor LLM base (Qwen-2.5-Coder-14B) atingiu 96,39% de F1.
  • Houve uma clara compensação: GPT-4 teve 100% de precisão, mas apenas 85,98% de recall. Modelos pequenos (ex: Qwen-2.5-0.5B) tiveram 100% de recall, mas apenas 18,65% de precisão.

• Impacto do BFAD:

  • O BFAD melhorou consistentemente todos os LLMs avaliados, com um aumento médio de 13,82% no F1.
  • GPT-4: Saltou de 92,46% para 99,35% de F1 (+6,89), superando o detector GAT.
  • Qwen-2.5-0.5B (Modelo Pequeno): Apresentou o ganho relativo mais dramático, subindo de 31,44% para 82,67% de F1 (+51,23), tornando-se competitivo com métodos tradicionais.
  • Qwen-2.5-Coder-14B e LLaMA-3.1-70B: Também superaram ou igualaram o benchmark GAT.

• Análise de Componentes:

  • A Extração de Código foi crucial para recuperar ataques perdidos (melhorando o recall) sem sacrificar excessivamente a precisão.
  • A WBFP provou ser superior à seleção aleatória e à similaridade semântica pura, especialmente para modelos menores que dependem mais de exemplos de demonstração bem alinhados.

5. Significado e Conclusão

O trabalho demonstra que os LLMs, quando usados de forma ingênua, não são suficientes para a detecção de WebShells devido a desequilíbrios de precisão/recall e limitações de contexto. No entanto, ao ancorar a análise em funções críticas de segurança e utilizar uma estratégia de recuperação de exemplos baseada em comportamento, é possível alavancar a capacidade de raciocínio dos LLMs para superar métodos supervisionados tradicionais.

A pesquisa oferece uma "receita prática" para tornar a detecção baseada em LLMs mais confiável em cenários de segurança cibernética, destacando que a adaptação do prompt e a seleção inteligente de contexto são mais importantes do que apenas aumentar o tamanho do modelo ou o treinamento supervisionado. Isso abre caminho para sistemas de detecção mais adaptáveis a novas ameaças e ofuscações sem a necessidade de retreinamento constante.