Fine-Tuned CodeBERT for Web Threat Classification using Agentic Reasoning

Internet es un mercado vasto y abierto donde la información fluye libremente, pero esa apertura también invita a problemas. Cada día, las aplicaciones web —sitios que te permiten comprar, realizar operaciones bancarias o leer las noticias— enfrentan intentos de intrusión. Dos de los trucos más comunes utilizados por los atacantes se conocen como inyección SQL y secuencias de comandos en sitios cruzados (cross-site scripting). En términos sencillos, la inyección SQL es como introducir una nota falsificada en una consulta de base de datos, engañando al sistema para que revele información secreta o cambie registros que no debería. El cross-site scripting es más bien como esconder un script malicioso dentro de un comentario o un campo de formulario, el cual luego se ejecuta en la computadora de cualquier persona que vea la página, robando a menudo sus datos de inicio de sesión o tomando el control de su sesión. Para detener estos ataques, los sitios web utilizan porteros digitales llamados firewalls de aplicaciones web. Durante años, estos porteros dependieron de una lista de patrones conocidos, como un portero que revisa identificaciones contra una lista de delincuentes conocidos. Sin embargo, los atacantes astutos pueden evadir fácilmente estas listas cambiando ligeramente su código malicioso —añadiendo un espacio, cambiando la mayúscula de una letra o escondiéndolo dentro de un comentario— de forma muy similar a como una persona cambia su ropa para evitar ser reconocida.

Para resolver esto, los investigadores han recurrido a la inteligencia artificial, específicamente a un tipo de programa informático llamado transformador (transformer). Piensa en un transformador como una máquina que lee texto y aprende la estructura subyacente del lenguaje, muy parecido a un estudiante que lee miles de libros para entender la gramática y el contexto en lugar de solo memorizar palabras específicas. Algunas de estas máquinas son entrenadas con texto general, mientras que otras, como la que es el centro de este estudio, son entrenadas tanto con lenguaje natural como con código de programación. Los investigadores querían saber si una máquina entrenada en código podía detectar estos ataques web mejor que las máquinas entrenadas en texto general, y si podía hacerlo con la rapidez suficiente para ser útil en tiempo real. También querían ver si el uso de una versión más corta y eficiente de la máquina sacrificaría la precisión en favor de la velocidad, un intercambio crucial para sistemas que deben tomar decisiones en milisegundos.

En un estudio reciente, investigadores de la Universidad Internacional de Westminster en Tashkent se propusieron probar estas cuestiones con un enfoque fresco y riguroso. Reunieron una colección masiva de datos de tráfico web, mezclando miles de ejemplos tanto de solicitudes inofensivas como de ataques maliciosos. Para asegurar que sus resultados fueran confiables, limpiaron los datos meticulosamente, eliminando entradas duplicadas y añadiendo un pequeño conjunto de frases engañosas e inofensivas que parecían ataques para ver si las máquinas se confundían. Luego tomaron cuatro versiones diferentes de estos modelos de IA y les enseñaron a distinguir entre tráfico bueno y malo utilizando exactamente las mismas reglas y datos. Uno de estos modelos era CodeBERT, un sistema preentrenado en código fuente, mientras que los otros eran modelos de propósito general como BERT y RoBERTa. El objetivo era ver si el modelo entrenado en código tenía una ventaja natural para detectar la extraña mezcla de comandos de base de datos y scripts web que se encuentran en estos ataques.

Los resultados fueron notablemente consistentes en todos los ámbitos. Los cuatro modelos funcionaron con una precisión extraordinaria, identificando correctamente la naturaleza del tráfico en más del 99 por ciento de los casos. Cuando los investigadores examinaron de cerca los pocos errores cometidos, encontraron que las diferencias entre los modelos eran tan pequeñas que podían atribuirse fácilmente al azar, en lugar de a que un modelo fuera verdaderamente superior. El modelo entrenado en código, CodeBERT, cometió siete errores de entre más de 6,000 muestras de prueba, un rendimiento que es estadísticamente indistinguible de los otros modelos, que cometieron entre ocho y doce errores. Este hallazgo desafía la suposición de que un modelo especializado entrenado en código es inherentemente mejor en esta tarea específica que un modelo de propósito general, al menos cuando ambos reciben la misma cantidad de datos y tiempo de entrenamiento. El estudio sugiere que, para el trabajo de simplemente decidir si una solicitud es maliciosa o no, la elección del modelo importa menos que la calidad de los datos y el método de prueba.

Sin embargo, el estudio sí descubrió diferencias importantes en cómo se comportan estos modelos bajo presión. Aunque las puntuaciones de precisión eran casi idénticas, los tipos de errores que cometían variaban. Un modelo era más propenso a dejar pasar un ataque malicioso, mientras que otro era más propenso a bloquear erróneamente una solicitud inofensiva. Esta distinción es vital para la seguridad en el mundo real, ya que el costo de una falsa alarma es diferente al costo de una brecha de seguridad. Además, los investigadores probaron qué tan rápido podían trabajar estos modelos. Descubrieron que, al acortar la cantidad de texto que los modelos debían procesar a la vez, podían reducir el tiempo requerido para entrenar el sistema en casi la mitad y reducir el tiempo que tomaba tomar una decisión en casi un 5 0 por ciento, todo esto sin perder una precisión significativa. Esto sugiere que, para sistemas de seguridad ligeros que necesitan ser rápidos y eficientes, existe un camino claro hacia la optimización que no requiere sacrificar la seguridad.

Los investigadores también sometieron a sus modelos a una prueba de estrés utilizando un pequeño conjunto de ataques especialmente diseñados y ofuscados para engañar al sistema. En este escenario, el rendimiento de los modelos cayó notablemente, con una precisión que bajó a alrededor del 86 por ciento. Esta caída resalta una realidad crítica: un sistema que parece perfecto en los datos de prueba estándar puede seguir siendo vulnerable a ataques hábilmente disfrazados. El estudio señala explícitamente que los altos puntajes observados en las pruebas estándar no garantizan la robustez contra técnicas de evasión. Los investigadores fueron cuidadosos al declarar que su trabajo es un primer paso, centrándose solo en la decisión binaria de si el tráfico es malo o bueno, en lugar de identificar el tipo específico de ataque. Reconocen que su conjunto de datos, aunque grande, se limita a fuentes públicas y que su prueba de estrés fue pequeña.

En última instancia, esta investigación proporciona una imagen clara y fundamentada del estado actual de la IA en la seguridad web. Demuestra que, si bien los modelos avanzados pueden lograr una precisión casi perfecta en la detección de ataques web comunes, las diferencias entre modelos especializados y generales suelen ser insignificantes en la práctica. El verdadero valor no reside en encontrar un único "mejor" modelo, sino en comprender las compensaciones entre velocidad, costo y los tipos específicos de errores que un sistema puede cometer. Al mostrar que se puede ganar eficiencia sin sacrificar la precisión, el estudio ofrece una hoja de ruta práctica para construir herramientas de seguridad más rápidas y ligeras. Nos recuerda que, en la batalla continua por la seguridad web, el objetivo no es solo construir una máquina más inteligente, sino construir una más confiable y eficiente que pueda mantener el ritmo de las tácticas evolutivas de aquellos que buscan entrar por la fuerza.