Neuro-symbolic Static Analysis with LLM-generated Vulnerability Patterns

Título do Trabalho: MoCQ: Análise Estática Neuro-Simbólica com Padrões de Vulnerabilidade Gerados por LLMs

1. O Problema

A detecção de vulnerabilidades baseada em padrões (análise estática) é uma pedra angular da segurança de software moderna, utilizada em ferramentas como CodeQL e Joern. No entanto, essa abordagem enfrenta um gargalo crítico:

• Dependência de Esforço Manual: A criação de padrões de detecção (queries) é um processo manual, demorado (semanas ou meses) e que exige especialistas em segurança.
• Limitações de Aprendizado de Máquina Puro: Métodos baseados em aprendizado (LLMs puros) frequentemente carecem de contexto interprocedural, sofrem com alucinações e não conseguem analisar grandes bases de código de forma escalável e precisa.
• Desafios na Integração LLM-DSL: Tentativas anteriores de usar LLMs para gerar consultas em Linguagens de Domínio Específico (DSLs) falharam devido à complexidade das DSLs, resultando em consultas com erros de sintaxe, execução ou semântica.

O objetivo do trabalho é automatizar a geração de padrões de detecção de vulnerabilidades de ponta a ponta, combinando a precisão da análise estática simbólica com a capacidade de raciocínio semântico e automação dos Grandes Modelos de Linguagem (LLMs).

2. Metodologia: O Framework MoCQ

Os autores propõem o MoCQ (Model-Generated Code Queries), um framework neuro-simbólico que gera consultas de detecção de vulnerabilidades automaticamente. O fluxo de trabalho baseia-se em três pilares principais:

A. Extração e Subconjunto de DSL (DSL Subsetting)

• Extração: O MoCQ analisa automaticamente a documentação e o código-fonte das ferramentas de análise estática (Joern e CodeQL) para extrair as especificações formais de suas DSLs (gramática, tipos de dados, APIs).
• Subconjunto (Subsetting): Como as DSLs completas são complexas e sobrecarregam o LLM, o sistema aplica uma técnica de "subconjunto". Ele seleciona um núcleo de recursos essenciais da DSL, removendo redundâncias e recursos não críticos. Isso reduz a complexidade do espaço de busca para o LLM, mantendo a expressividade necessária para a detecção de vulnerabilidades.

B. Geração e Refinamento Iterativo com Validação Simbólica
O sistema não gera a consulta final de uma só vez. Ele utiliza um loop de feedback iterativo:

1. Geração: O LLM gera uma consulta inicial baseada em exemplos de vulnerabilidade e no subconjunto da DSL.
2. Validação Simbólica: Um validador simbólico executa a consulta gerada.
3. Feedback Granular: O validador monitora o estado do programa em tempo de execução (rastreamento de execução) para identificar:
   • Erros de Sintaxe: Violações da gramática da DSL.
   • Erros de Execução: Chamadas de função inexistentes ou tipos incompatíveis.
   • Erros Semânticos: Consultas que executam corretamente, mas falham em capturar a vulnerabilidade (falsos negativos) ou são muito específicas (sobreajuste/overfitting).
4. Refinamento: O feedback detalhado (incluindo estados intermediários do programa) é enviado de volta ao LLM para corrigir e refinar a consulta até que ela seja válida e precisa.

C. Otimização e Generalização

• Eliminação de Falsos Positivos: O sistema ajusta a consulta para evitar alertas em código benigno.
• Generalização: Otimiza a consulta para que ela não dependa de nomes de variáveis ou estruturas específicas de um único exemplo, garantindo que funcione em diferentes contextos (evitando underfitting).
• Mesclagem: Combina múltiplas consultas geradas para diferentes exemplos de uma mesma vulnerabilidade em uma única consulta unificada e eficiente.

3. Principais Contribuições

• Framework Neuro-Simbólico Automatizado: O primeiro sistema capaz de gerar consultas de detecção de vulnerabilidades completas (do zero) para múltiplas linguagens (C/C++, Java, PHP, JavaScript) sem intervenção humana na lógica da consulta.
• Técnica de Subconjunto de DSL: Uma abordagem inovadora para tornar a complexidade das DSLs gerenciável para LLMs, preservando a semântica essencial.
• Validação Guiada por Rastreamento (Trace-Driven): Um mecanismo de validação que fornece feedback de estado de programa granular ao LLM, permitindo a correção precisa de erros semânticos e lógicos.
• Descoberta de Novos Padrões: O sistema não apenas replica o conhecimento humano, mas descobre novos padrões de vulnerabilidade que especialistas humanos haviam perdido.

4. Resultados Experimentais

O MoCQ foi avaliado em 12 tipos de vulnerabilidades em quatro linguagens, utilizando um conjunto de dados de 555 vulnerabilidades conhecidas e aplicações do mundo real.

• Desempenho de Detecção: O MoCQ alcançou um desempenho comparável ao de consultas desenvolvidas por especialistas humanos (detectando 269 de 343 vulnerabilidades conhecidas, com uma taxa de detecção de 78%), mas em horas em vez de semanas.
• Novas Descobertas:
  • 46 Novos Padrões: O MoCQ identificou 46 padrões de vulnerabilidade que foram perdidos por consultas de especialistas (incluindo nuances sutis de tipagem em PHP e manipulação de protótipos em JavaScript).
  • 25 Vulnerabilidades Zero-Day: O sistema descobriu 25 vulnerabilidades previamente desconhecidas em aplicações reais. Desses, 14 foram confirmadas pelos mantenedores e 5 já foram corrigidas.
• Comparação com SOTA (State-of-the-Art):
  • Superou abordagens puramente baseadas em LLM (que falham em contexto interprocedural).
  • Superou ferramentas especializadas como KNighter (que não suporta análise interprocedural) e IRIS (que apenas estende especificações de fontes/sumidouros, não gerando a lógica completa).
  • A combinação de consultas do MoCQ com as de especialistas resultou na maior cobertura de detecção (85%), demonstrando que as abordagens são complementares.

5. Significado e Impacto

O trabalho representa um avanço significativo na automação da segurança de software:

• Redução de Barreiras: Democratiza a criação de detectores de vulnerabilidades, permitindo que equipes de segurança gerem consultas personalizadas em horas, reduzindo o tempo de engenharia de semanas para horas.
• Complementaridade Humana-IA: Demonstra que LLMs podem superar humanos na captura de nuances linguísticas e sintáticas sutis, enquanto humanos permanecem superiores no raciocínio de alto nível. A integração de ambos oferece a melhor detecção possível.
• Escalabilidade: Ao gerar consultas estáticas reutilizáveis, o MoCQ permite a análise contínua e escalável de grandes bases de código sem a necessidade de chamadas repetidas de API de LLM, mantendo os custos operacionais baixos após a geração inicial.

Em resumo, o MoCQ valida a eficácia de uma abordagem neuro-simbólica para superar as limitações tanto da análise estática tradicional (dependência manual) quanto da análise baseada puramente em aprendizado (falta de precisão e contexto), estabelecendo um novo padrão para a detecção automatizada de vulnerabilidades.