Resumo Técnico: Geração Adversarial de Injeção SQL com Arquiteturas Baseadas em LLM

Declaração do Problema

A Injeção SQL (SQLi) permanece uma vulnerabilidade crítica dentro do Top 10 da OWASP, no entanto, os mecanismos de defesa tradicionais e as metodologias de teste enfrentam limitações significativas. As abordagens convencionais dependem de testes de penetração manuais ou ferramentas automatizadas baseadas em regras, como o SQLmap. Esses métodos lutam contra defesas modernas, particularmente Firewalls de Aplicação Web (WAFs) baseados em IA/ML e soluções comerciais, devido à sua natureza determinística e à incapacidade de gerar ataques novos e conscientes do contexto. Além disso, a pesquisa existente em Modelos de Linguagem de Grande Escala (LLMs) para testes de segurança frequentemente sofre de um foco em modelo único, exploração limitada de parâmetros e mecanismos de diversidade insuficientes, levando a payloads repetitivos que são facilmente detectados por sistemas de defesa avançados.

Metodologia

Os autores introduzem um framework abrangente de benchmarking para avaliar a geração de SQLi baseada em LLM contra um conjunto diversificado de defesas. O estudo utiliza um ambiente de teste composto por sete sistemas de geração, dez WAFs e um validador de execução MySQL.

Arquiteturas de Sistema

O estudo propõe duas arquiteturas novas e as compara com três linhas de base:

1. RADAGAS (Geração Aumentada por Recuperação para SQLi Adversarial): Este sistema integra RAG com a geração de LLM. Ele recupera padrões de ataque comprovados de uma base de conhecimento curada (OWASP, PortSwigger, GitHub) usando FAISS e Relevância Marginal Máxima (MMR) para equilibrar relevância e diversidade. O sistema emprega filtragem de diversidade em múltiplos estágios (semântica, lexical e funcional) e validação de execução. Três variantes foram testadas usando diferentes modelos fundamentais: GPT-4o, DeepSeek-R1 e Claude 3.7 Sonnet.
2. RefleXQLi (SQLi de Cadeia de Pensamento Reflexiva): Esta arquitetura emprega um processo de raciocínio de Cadeia de Pensamento (CoT) de quatro etapas (Análise do WAF, Formulação de Estratégia, Design de Payload, Refinamento) seguido por um loop adversarial dual-LLM. Um LLM gerador cria payloads, enquanto um LLM discriminador avalia e rejeita-os com base na intenção maliciosa, forçando o gerador a refinar o payload iterativamente até que ele contorne o discriminador.
3. Linhas de Base:
   • Tradicional: Um motor SQLMap simulado usando payloads determinísticos baseados em regras.
   • GPT-4o Vanilla: Um LLM zero-shot sem ajuste fino ou prompts especializados.
   • GenSQLi: Uma abordagem baseada em templates usando aprendizado em contexto.

Configuração Experimental

• Escala: 240 configurações experimentais distintas geraram 240.000 payloads, resultando em aproximadamente 2,2 milhões de testes.
• Defesas: Os testes foram conduzidos contra 10 WAFs:
  • Baseados em IA/ML: WAF-Brain (LSTM) e CNN-WAF.
  • Baseados em Regras (Código Aberto): ModSecurity (PL1–3) e Coraza (PL1–3).
  • Comerciais: AWS WAF e Cloudflare WAF.
• Validação: Uma aplicação web vulnerável apoiada por MySQL 8.0 serviu como verdade fundamental para a validade da execução.
• Métricas: O desempenho foi medido por taxas de contorno, sucesso de execução e seis métricas de diversidade (diversidade semântica, lexical, contextual, n-grama, AST e funcional).

Resultados Principais

Desempenho Geral

• Superioridade do RADAGAS: As variantes do RADAGAS superaram todas as linhas de base, com o RADAGAS-GPT4o alcançando a maior taxa média de contorno de 22,73%.
• RefleXQLi: Alcançou uma taxa de contorno de 21,21% com a menor variância ($\sigma = 0,37$), indicando saída estável.
• Linhas de Base: SQLi Tradicional (15,01%) e GPT-4o Vanilla (12,90%) tiveram desempenho significativamente pior. O GenSQLi alcançou 20,35%.

Otimização Específica do Modelo

O estudo descobriu que os parâmetros ótimos são específicos do modelo e contra-intuitivos:

• GPT-4o: Desempenhou melhor em baixa temperatura ($T=0,1$) com um alto limiar de diversidade ($\theta=90$).
• DeepSeek-R1: Desempenhou melhor em alta temperatura ($T=0,9$) com um alto limiar de diversidade ($\theta=90$).
• Claude 3.7: Ótimo em temperatura média ($T=0,6$) com um limiar de diversidade mais baixo ($\theta=75$).

Eficácia Específica da Defesa

• WAFs de IA/ML: As variantes do RADAGAS foram altamente eficazes, contornando o WAF-Brain em 92,49% (DeepSeek) e o CNN-WAF em 80,48% (Claude).
• WAFs Baseados em Regras: Todos os sistemas baseados em LLM lutaram contra defesas baseadas em regras (ModSecurity/Coraza), com taxas de contorno geralmente entre 0% e 5,70%. O GenSQLi alcançou o maior contorno baseado em regras (16,26% no ModSecurity PL1), embora muitos tenham sido identificados como falsos positivos ou expressões tautológicas.
• WAFs Comerciais: O RADAGAS-GPT4o alcançou o maior contorno no Cloudflare (49,50%), enquanto o RefleXQLi teve o melhor desempenho no AWS WAF (33,00%).

Análise de Diversidade e Sementes

• Correlação de Diversidade: Contrariando a suposição de que a diversidade impulsiona o sucesso, o estudo encontrou nenhuma correlação estatisticamente significativa entre as métricas de diversidade de payloads e as taxas de contorno nos sete sistemas. Na verdade, payloads menos diversos às vezes alcançaram taxas de contorno mais altas.
• Efeito da Semente: Um estudo de ablação usando sementes "V2" revelou que o RefleXQLi V2 (CoT + Sementes) alcançou uma taxa de contorno de 35,78%, superando significativamente as sementes brutas (28,93%) e o GenSQLi V2 (29,84%). Isso sugere que sementes de alta qualidade combinadas com raciocínio CoT produzem resultados superiores à mutação de templates isolada.
• Validade da Execução: Os sistemas RADAGAS alcançaram 60–64% de sucesso na execução MySQL, enquanto o RefleXQLi (sem sementes) alcançou apenas 27,80%, destacando um compromisso entre geração adversarial criativa e correção semântica.

Significado e Alegações

O artigo afirma fornecer um dos maiores estudos de benchmarking de geração adversarial de SQLi baseada em LLM, oferecendo uma visão holística da interação entre arquiteturas de LLM e defesas modernas.

1. Insights Arquiteturais: O estudo demonstra que abordagens baseadas em RAG são altamente eficazes contra WAFs baseados em IA/ML ao aproveitar conhecimento curado, enquanto o raciocínio baseado em CoT fornece estabilidade e correção semântica. Nenhum sistema supera universalmente os outros; uma combinação de abordagens é necessária para cobertura abrangente.
2. Sensibilidade aos Parâmetros: As descobertas desafiam a noção de configurações de parâmetros universais, mostrando que a temperatura e os limiares de diversidade devem ser ajustados empiricamente para cada modelo fundamental específico.
3. Mito da Diversidade: A pesquisa desafia a suposição predominante de que a diversidade de payloads é o principal motor do sucesso do contorno de WAF, sugerindo que a qualidade do contexto inicial (sementes) e o mecanismo de raciocínio (CoT/RAG) são fatores mais críticos.
4. Diretrizes Práticas: Os autores fornecem diretrizes acionáveis para testes de segurança, recomendando o uso de RAG para WAFs de IA/ML e CoT orientado por sementes para taxas máximas de contorno, ao mesmo tempo que reconhecem as limitações dos LLMs atuais contra sistemas baseados em regras estritas.

Os autores enfatizam que essas descobertas são específicas para as configurações testadas e o período (início de 2026) e apelam para mais pesquisas sobre outros tipos de ataque e dialetos de banco de dados. Todos os experimentos foram conduzidos em ambientes isolados e autorizados para garantir a divulgação responsável.