Can LLMs Handle WebShell Detection? Overcoming Detection Challenges with Behavioral Function-Aware Framework

1. Problema y Contexto

Las WebShells (scripts maliciosos implantados en servidores web) representan una amenaza persistente y en evolución, utilizada para la ejecución remota de comandos y la exfiltración de datos. A pesar de su prevalencia (observadas en el 35% de los incidentes en Q4 2024), su detección es extremadamente difícil debido a:

• Ofuscación y Encriptación: Los atacantes adaptan constantemente los payloads para evadir firmas y heurísticas tradicionales.
• Limitaciones de los Métodos Actuales:
  • Los enfoques basados en reglas son frágiles ante nuevas variantes.
  • Los modelos de aprendizaje automático (ML/DL) supervisados requieren grandes cantidades de datos etiquetados (escasos en seguridad) y sufren de olvido catastrófico o mala generalización ante ofuscaciones no vistas.
• Desafíos Específicos de los LLMs: Aunque los Grandes Modelos de Lenguaje (LLMs) tienen capacidades de comprensión de código, su aplicación directa a la detección de WebShells enfrenta dos obstáculos principales:
  1. Longitud del Contexto: Los archivos de WebShell pueden ser extremadamente largos (hasta ~1.3 millones de tokens), excediendo las ventanas de contexto de los LLMs. La truncación simple suele eliminar la parte maliciosa crítica.
  2. Aprendizaje en Contexto (ICL) Frágil: La selección de ejemplos de demostración (few-shot) basada en similitud semántica general o aleatoria falla en capturar la estructura conductual específica de las WebShells, consumiendo presupuesto de contexto sin mejorar la precisión.

2. Metodología: Behavioral Function-Aware Detection (BFAD)

Los autores proponen BFAD, un marco centrado en el comportamiento que adapta la inferencia de LLMs para la detección de WebShells sin necesidad de reentrenamiento (fine-tuning). BFAD consta de tres componentes clave:

A. Filtro de Funciones Críticas (Critical Function Filter)

• Concepto: Identifica y mapea las llamadas a funciones PHP de alto riesgo en seis categorías conductuales: Ejecución de Programas, Ejecución de Código, Funciones de Callback, Comunicación de Red, Recopilación de Información y Ofuscación/Encriptación.
• Funcionamiento: Actúa como un ancla para localizar código relevante. Las WebShells invocan estas funciones críticas con mucha más frecuencia (promedio de 22.76 llamadas) que los archivos benignos (0.74 llamadas), proporcionando una señal conductual fuerte.

B. Extracción de Código Consciente del Contexto (Context-Aware Code Extraction)

• Objetivo: Construir una representación compacta pero informativa que quepa en la ventana de contexto del LLM.
• Proceso:
  1. Extrae ventanas de contexto alrededor de las funciones críticas identificadas.
  2. Fusiona ventanas superpuestas para evitar redundancia.
  3. Si queda presupuesto de contexto, añade segmentos truncados no superpuestos del código restante para mantener señales globales sin saturar el modelo.
• Resultado: El LLM recibe el código mínimo necesario para inferir la intención de cada llamada crítica, mitigando el problema de la longitud excesiva.

C. Perfilado de Funciones Conductuales Ponderado (Weighted Behavioral Function Profiling - WBFP)

• Objetivo: Mejorar la selección de demostraciones para el Aprendizaje en Contexto (ICL).
• Mecanismo: En lugar de usar similitud semántica general, WBFP clasifica los ejemplos de entrenamiento basándose en una similitud ponderada por comportamiento.
  • Calcula estadísticas (diferencia de cobertura, ratio de frecuencia, ratio de uso) para cada tipo de función crítica.
  • Asigna pesos a los tipos de funciones que mejor discriminan entre WebShells y código benigno.
  • Selecciona demostraciones que coincidan con el perfil conductual del archivo objetivo, priorizando las funciones más indicativas de un ataque.

3. Resultados Experimentales

Los autores evaluaron 7 LLMs (desde 0.5B hasta 70B parámetros, incluyendo GPT-4, LLaMA-3.1-70B y variantes de Qwen-2.5) contra 26,594 scripts PHP (4,929 WebShells y 21,665 benignos).

Hallazgos Clave:

1. Asimetría Precisión-Recall en LLMs "Vanilla":

   • Los modelos grandes (ej. GPT-4) tienen alta precisión (100%) pero baja recall (85.98%), perdiendo ataques sutiles.
   • Los modelos pequeños tienden a lo opuesto: alta recall pero muy baja precisión (ej. Qwen-2.5-0.5B tiene 100% de recall pero solo 18.65% de precisión), generando muchos falsos positivos al reaccionar a APIs de alto riesgo en contextos benignos.
   • Sin adaptación, los LLMs no superan a los detectores supervisados tradicionales (como GAT, que alcanza un F1 de 98.87%).

2. Impacto de BFAD:

   • BFAD mejora consistentemente todos los modelos evaluados, aumentando el F1 promedio en un 13.82%.
   • Ganancias Específicas:
     • GPT-4: Mejora de +6.89 puntos F1 (llegando a 99.35%), superando al baseline GAT.
     • Qwen-2.5-0.5B: Mejora masiva de +51.23 puntos F1 (llegando a 82.67%), haciéndolo competitivo con métodos tradicionales.
     • Qwen-2.5-Coder-14B: Supera los benchmarks SOTA anteriores.

3. Análisis de Componentes:

   • La extracción de código consciente del contexto es crucial para recuperar ataques perdidos (mejora la recall) sin sacrificar excesivamente la precisión.
   • WBFP es superior a la selección aleatoria o basada en similitud semántica pura, especialmente para modelos pequeños que dependen más de las demostraciones en el contexto.

4. Contribuciones Clave

1. Evaluación Sistemática: Primer estudio exhaustivo que caracteriza cuándo y por qué los LLMs fallan o tienen éxito en la detección de WebShells, revelando la compensación escala-dependiente entre precisión y recall.
2. Marco BFAD: Propuesta de un marco práctico que no requiere entrenamiento adicional, utilizando filtrado de funciones críticas y extracción de contexto para adaptar LLMs existentes a tareas de seguridad.
3. Estrategia WBFP: Introducción de un método de recuperación de demostraciones basado en perfiles conductuales ponderados, demostrando que la alineación conductual es más efectiva que la similitud semántica general para tareas de seguridad de código.
4. Rendimiento SOTA: Demostración de que, con la ingeniería de prompts adecuada, los LLMs pueden igualar o superar a los detectores supervisados de última generación (como GAT) en escenarios de detección de WebShells.

5. Significado y Futuro

El trabajo demuestra que los LLMs tienen un gran potencial para la seguridad del código, pero su aplicación "fuera de la caja" es insuficiente debido a la falta de enfoque en el comportamiento malicioso específico. BFAD proporciona una "receta" práctica para cerrar esta brecha.

Las direcciones futuras sugeridas incluyen:

• Construcción de benchmarks sintéticos a gran escala para pruebas de estrés.
• Integración multimodal de representaciones basadas en grafos (para capturar la estructura de llamadas a funciones) con LLMs.
• Desarrollo de pipelines de detección "rápido-lento" con agentes autónomos que puedan actualizarse ante cambios en la distribución de datos (desplazamiento de distribución).

En resumen, el paper establece que la ingeniería de prompts centrada en el comportamiento es la clave para hacer que los LLMs sean herramientas fiables y robustas para la detección de amenazas cibernéticas complejas como las WebShells.