Fine-Tuned CodeBERT for Web Threat Classification using Agentic Reasoning

A internet é um vasto e aberto mercado onde a informação flui livremente, mas essa abertura também convida a problemas. Todos os dias, aplicações web — sites que permitem que você compre, faça transações bancárias ou leia notícias — enfrentam tentativas de invasão. Dois dos truques mais comuns usados por atacantes são conhecidos como injeção de SQL e cross-site scripting. Em termos simples, a injeção de SQL é como deslizar uma nota falsificada em uma consulta de banco de dados, enganando o sistema para revelar informações secretas ou alterar registros que não deveria. O cross-site scripting é mais como esconder um script malicioso dentro de um comentário ou um campo de formulário, que então é executado no computador de qualquer pessoa que visualize a página, muitas vezes roubando seus detalhes de login ou assumindo o controle de sua sessão. Para impedir esses ataques, os sites utilizam guardiões digitais chamados firewalls de aplicação web. Durante anos, esses guardiões confiaram em uma lista de padrões conhecidos como maldosos, como um segurança verificando identidades contra uma lista de conhecidos problemáticos. No entanto, atacantes astutos podem facilmente contornar essas listas alterando levemente seu código malicioso — adicionando um espaço, mudando a caixa de uma letra ou escondendo-o dentro de um comentário — muito parecido com uma pessoa mudando de roupa para evitar o reconhecimento.

Para resolver isso, pesquisadores recorreram à inteligência artificial, especificamente a um tipo de programa de computador chamado transformer. Pense em um transformer como uma máquina que lê texto e aprende a estrutura subjacente da linguagem, muito parecido com um estudante que lê milhares de livros para entender a gramática e o contexto, em vez de apenas memorizar palavras específicas. Algumas dessas máquinas são treinadas em textos gerais, enquanto outras, como a que está no centro deste estudo, são treinadas tanto em linguagem natural quanto em código de computador. Os pesquisadores queriam saber se uma máquina treinada em código poderia detectar esses ataques web melhor do que máquinas treinadas em texto geral e se ela poderia fazer isso rapidamente o suficiente para ser útil em tempo real. Eles também queriam ver se o uso de uma versão mais curta e eficiente da máquina sacrificaria a precisão pela velocidade, um compromisso crucial para sistemas que devem tomar decisões em milissegundos.

Em um estudo recente, pesquisadores da Universidade Internacional de Westminster em Tashkent estabeleceram o objetivo de testar essas questões com uma abordagem nova e rigorosa. Eles reuniram uma coleção massiva de dados de tráfego web, misturando milhares de exemplos de requisições tanto inofensivas quanto ataques maldosos. Para garantir que seus resultados fossem confiáveis, eles limparam os dados meticulosamente, removendo entradas duplicadas e adicionando um pequeno conjunto de frases traiçoeiras e inofensivas que pareciam ataques para ver se as máquinas ficariam confusas. Eles então pegaram quatro versões diferentes desses modelos de IA e os ensinaram a distinguir entre tráfego bom e ruim usando exatamente as mesmas regras e dados. Um desses modelos era o CodeBERT, um sistema pré-treinado em código-fonte, enquanto os outros eram modelos de propósito geral como BERT e RoBERTa. O objetivo era ver se o modelo treinado em código tinha uma vantagem natural em detectar a estranha mistura de comandos de banco de dados e scripts web encontrados nesses ataques.

Os resultados foram notavelmente consistentes em todos os campos. Todos os quatro modelos performaram com extraordinária precisão, identificando corretamente a natureza do tráfego em mais de 99 por cento dos casos. Quando os pesquisadores analisaram de perto os poucos erros cometidos, descobriram que as diferenças entre os modelos eram tão pequenas que poderiam ser facilmente atribuídas ao acaso, em vez de um modelo ser verdadeiramente superior. O modelo treinado em código, CodeBERT, cometeu sete erros em mais de 6.000 amostras de teste, um desempenho que é estatisticamente indistinguível dos outros modelos, que cometeram entre oito e doze erros. Essa descoberta desafia a suposição de que um modelo especializado treinado em código é inerentemente melhor nesta tarefa específica do que um modelo de propósito geral, pelo menos quando ambos recebem a mesma quantidade de dados e tempo de treinamento. O estudo sugere que, para o trabalho de simplesmente decidir se uma requisição é maliciosa ou não, a escolha do modelo importa menos do que a qualidade dos dados e o método de teste.

No entanto, o estudo descobriu diferenças importantes na forma como esses modelos se comportam sob pressão. Embora as pontuações de precisão fossem quase idênticas, os tipos de erros que cometiam variavam. Um modelo era mais propenso a deixar um ataque malicioso passar, enquanto outro era mais propenso a bloquear erroneamente uma requisição inofensiva. Essa distinção é vital para a segurança no mundo real, pois o custo de um falso alarme é diferente do custo de uma violação. Além disso, os pesquisadores testaram o quão rápido esses modelos poderiam trabalhar. Eles descobriram que, ao encurtar a quantidade de texto que os modelos tinham que processar de uma só vez, podiam reduzir o tempo necessário para treinar o sistema em quase a metade e reduzir o tempo necessário para tomar uma decisão em quase 5 de 50 por cento, sem perder nenhuma precisão significativa. Isso sugere que, para sistemas de segurança leves que precisam ser rápidos e eficientes, existe um caminho claro para a otimização que não exige sacrificar a segurança.

Os pesquisadores também submeteram seus modelos a um teste de estresse usando um pequeno conjunto de ataques especialmente criados e ofuscados, projetados para enganar o sistema. Neste cenário, o desempenho dos modelos caiu visivelmente, com a precisão caindo para cerca de 86 por cento. Essa queda destaca uma realidade crítica: um sistema que parece perfeito em testes padrão ainda pode ser vulnerável a ataques disfarçados de forma inteligente. O estudo observa explicitamente que as altas pontuações vistas em testes padrão não garantem robustez contra técnicas de evasão. Os pesquisadores foram cuidadosos ao afirmar que seu trabalho é um primeiro passo, focando apenas na decisão binária de se o tráfego é ruim ou bom, em vez de identificar o tipo específico de ataque. Eles reconhecem que seu conjunto de dados, embora grande, é limitado a fontes públicas e que seu teste de estresse foi pequeno.

Em última análise, esta pesquisa fornece um quadro claro e fundamentado do estado atual da IA na segurança web. Ela demonstra que, embora modelos avançados possam alcançar uma precisão quase perfeita na detecção de ataques web comuns, as diferenças entre modelos especializados e gerais são frequentemente negligenciáveis na prática. O verdadeiro valor não reside em encontrar um único "melhor" modelo, mas em compreender as trocas entre velocidade, custo e os tipos específicos de erros que um sistema pode cometer. Ao mostrar que a eficiência pode ser ganha sem sacrificar a precisão, o estudo oferece um roteiro prático para construir ferramentas de segurança mais rápidas e leves. Ele nos lembra que, na batalha contínua pela segurança da web, o objetivo não é apenas construir uma máquina mais inteligente, mas sim uma máquina mais confiável e eficiente que possa acompanhar as táticas em evolução daqueles que buscam romper o sistema.