Evaluating LLM-Generated Obfuscated XSS Payloads for Machine Learning-Based Detection

Título do Estudo

Avaliação de Payloads de XSS Ofuscados Gerados por LLMs para Detecção Baseada em Machine Learning

1. Problema Investigado

O Cross-Site Scripting (XSS) continua sendo uma vulnerabilidade crítica na segurança web. O principal desafio para os sistemas de detecção (tradicionais e baseados em Machine Learning - ML) é a ofuscação. Ataques de XSS frequentemente transformam a forma sintática do payload malicioso (através de codificação, manipulação de strings, inserção de comentários, etc.) enquanto preservam o comportamento executável no navegador.

Existem duas lacunas principais identificadas pelos autores:

1. Validade Comportamental: Abordagens existentes para gerar payloads ofuscados (muitas vezes baseadas em regras) focam na diversidade sintática, mas não garantem que o payload gerado seja funcional ou preserve o comportamento original.
2. Limitação dos LLMs: Embora Modelos de Linguagem de Grande Escala (LLMs) sejam capazes de gerar código, não há garantia de que a saída preserve a lógica de execução necessária para um ataque XSS funcionar. Pequenas alterações podem tornar o payload inofensivo, gerando "ruído" nos dados de treinamento em vez de exemplos de ataque válidos.

O objetivo do trabalho é determinar se LLMs podem gerar payloads de XSS ofuscados que preservem o comportamento em tempo de execução (runtime behavior) e avaliar o impacto desses dados na detecção de ML.

2. Metodologia Proposta

Os autores desenvolveram um pipeline estruturado que combina transformações determinísticas, geração por LLM e validação em tempo real. O processo segue quatro etapas principais:

• A. Cadeias de Ofuscação Determinísticas:

  • A partir de um conjunto de payloads maliciosos originais, aplicam-se transformações determinísticas (ex: escape hexadecimal, codificação Base64, divisão de strings, inserção de comentários, troca de maiúsculas/minúsculas).
  • São construídas cadeias de duas etapas (ex: hex_escape → split_strings).
  • Apenas as cadeias que, após execução em um navegador controlado, exibem o mesmo comportamento que o payload original são retidas.

• B. Treinamento com Pares Filtrados por Comportamento:

  • Os pares "Origem-Alvo" (Payload Original → Payload Ofuscado Validado) são usados para fine-tuning (ajuste fino) de um LLM.
  • Isso difere da augmentação de dados tradicional, pois o modelo aprende apenas de exemplos que foram comprovadamente funcionais.

• C. Geração por LLM:

  • O modelo é testado em duas configurações:
    1. Baseline: Modelo sem ajuste fino (untuned).
    2. Fine-tuned: Modelo treinado nos pares filtrados por comportamento.
  • O modelo gera novos candidatos de payloads ofuscados a partir de entradas originais.

• D. Validação em Tempo de Execução (Browser-Based Runtime Evaluation):

  • Esta é a inovação central. Em vez de comparar similaridade sintática (strings), os payloads gerados são executados em um ambiente de navegador controlado.
  • O sistema monitora gatilhos de alertas, saídas no console, requisições de rede e erros de execução.
  • Um payload é considerado "correspondente" apenas se sua trilha de execução for idêntica à do payload original.

• E. Avaliação a Montante (Downstream):

  • Os payloads gerados (filtrados e não filtrados) são adicionados a um conjunto de dados de treinamento para um classificador de ML (Random Forest) para medir se a detecção de XSS melhora ou piora.

3. Principais Contribuições

1. Pipeline Estruturado: Uma metodologia completa para construir cadeias de ofuscação multi-etapa e usar exemplos filtrados por comportamento para treinar LLMs.
2. Validação Baseada em Runtime: Introdução de um procedimento de avaliação que prioriza o comportamento observável no navegador sobre a similaridade sintática, garantindo que os dados gerados sejam semanticamente válidos como ataques.
3. Avaliação Empírica: Análise quantitativa do impacto do fine-tuning na preservação do comportamento e do impacto desses dados na performance de detectores de segurança.

4. Resultados Chave

• Taxa de Correspondência de Comportamento (Runtime Behavior Match Rate):

  • Modelo Baseline (não ajustado): 0,15 (15% dos payloads gerados preservaram o comportamento).
  • Modelo Fine-tuned: 0,22 (22% de correspondência).
  • Melhoria Relativa: 46,7% de aumento em relação à baseline.
  • Conclusão: Embora o fine-tuning ajude, a taxa absoluta permanece baixa, indicando que os LLMs atuais ainda lutam para garantir a correção em nível de execução.

• Análise por Tipo de Transformação:

  • Técnicas de manipulação de string (ex: split_strings → comment_insertion) tiveram taxas de validade muito mais altas (~75-77%).
  • Técnicas baseadas em codificação (ex: hex_escape) tiveram taxas de validade extremamente baixas (~2-5%), sugerindo que LLMs têm dificuldade em manter a lógica de decodificação correta.

• Desempenho do Classificador (Detecção de XSS):

  • A adição de payloads gerados não melhorou a performance do classificador (F1-score permaneceu em ~0,998).
  • Motivo: Os exemplos gerados representam uma fração muito pequena do conjunto de dados total, sendo dominados pela distribuição dos dados originais.
  • Segurança: A adição de amostras filtradas por comportamento não degradou a performance, indicando que podem ser usadas com segurança em escala pequena.

5. Significância e Conclusões

O estudo demonstra o potencial e as limitações de usar modelos generativos para a geração de dados adversariais em segurança:

• Validação é Crucial: A simples similaridade sintática é insuficiente para segurança. A validação em tempo de execução é essencial para garantir que os dados de treinamento representem ataques reais e funcionais.
• Desafio da Corretude Executiva: Existe um grande fosso entre a plausibilidade sintática (o código parece correto) e a corretude de execução (o código executa o ataque). Os LLMs ainda não são confiáveis para gerar ofuscações complexas sem supervisão rigorosa.
• Direção Futura: O trabalho sugere que pipelines futuros devem incorporar restrições conscientes de transformação e validação multi-navegador. A filtragem por comportamento é um mecanismo vital de qualidade de dados, especialmente à medida que a proporção de dados sintéticos nos conjuntos de treinamento aumenta.

Em resumo, o artigo estabelece que, embora os LLMs possam aprender padrões de ofuscação, eles ainda não são autônomos o suficiente para gerar payloads de ataque válidos sem uma verificação rigorosa de comportamento em tempo real.