LLAMAFUZZ: Large Language Model Enhanced Greybox Fuzzing

Resumo Técnico: LLAMAFUZZ

1. O Problema

O fuzzing (testes de fuzz) cinza (greybox) é uma técnica automatizada altamente eficaz para descobrir vulnerabilidades em software. No entanto, os fuzers tradicionais (como AFL++) dependem de estratégias de mutação aleatória em nível de bits. Embora eficientes para dados não estruturados, essas estratégias apresentam limitações críticas ao lidar com dados estruturados (como XML, JSON, binários complexos, imagens PNG, etc.):

• Corrupção de Sintaxe: A mutação aleatória de bits frequentemente quebra a estrutura sintática dos dados, tornando as entradas inválidas para o programa alvo.
• Baixa Eficiência: O fuzzer gasta a maior parte do tempo gerando entradas inválidas que são rejeitadas imediatamente pelo analisador de entrada do programa, explorando pouco o espaço de entrada real.
• Dilema dos Fuzers Especializados: Fuzers especializados em gramática (como Gramatron ou Nautilus) podem gerar entradas válidas, mas exigem conhecimento de domínio extenso, especificações de gramática complexas (Forma Normal de Chomsky/Greibach) e têm baixa flexibilidade e throughput.

2. Metodologia

O LLAMAFUZZ propõe uma abordagem híbrida que integra a capacidade de compreensão de padrões de Modelos de Linguagem Grandes (LLMs) com a alta velocidade de fuzers cinza tradicionais. A arquitetura baseia-se em três pilares principais:

• A. Preparação e Conversão de Dados:

  • Os dados de treinamento são coletados de processos de fuzzing reais (ex: FuzzBench, AFL++), focando em sementes que descobriram novos caminhos, tiveram contagens de hits diferentes ou causaram crashes.
  • Conversão Hexadecimal: Para permitir que o LLM processe dados binários (que são a maioria dos alvos), os arquivos binários são convertidos em uma representação hexadecimal uniforme. Isso reduz o comprimento dos tokens e facilita a compreensão pelo modelo, mantendo a eficiência.
  • Par de Sementes: Os dados de treinamento consistem em pares $(S, S')$, onde $S$ é a semente original e $S'$ é a versão mutada que foi bem-sucedida (ex: descobriu um novo caminho ou causou um erro).

• B. Ajuste Fino (Fine-Tuning) do LLM:

  • Utiliza-se o modelo LLaMA 2-7B-Chat como base.
  • Aplica-se Fine-Tuning Supervisionado (SFT) usando a técnica LoRA (Low-Rank Adaptation) para adaptar o modelo à tarefa de mutação estruturada.
  • O objetivo é ensinar o LLM a entender a estrutura subjacente dos dados e realizar mutações que preservem a validade sintática enquanto alteram o conteúdo semântico.
  • O processo utiliza quantização mista (FP16) e checkpointing de gradiente para eficiência.

• C. Integração Assíncrona (Fuzzer + LLM):

  • Para evitar que a geração lenta de dados pelo LLM (que requer GPU) diminua o throughput do fuzzer (que opera em CPU a milhares de sementes/segundo), o LLAMAFUZZ implementa uma fila de jobs assíncrona.
  • Estrutura de Dupla Camada:
    1. Fio Principal (CPU): Executa mutações rápidas do AFL++ e seleciona sementes para execução.
    2. Fio do LLM (GPU): Opera assincronamente, pegando sementes da fila, convertendo-as para hex, gerando mutações estruturadas via LLM e devolvendo-as à fila principal.
  • O fuzzer prioriza sementes da fila do LLM se disponíveis, mas nunca fica bloqueado esperando a geração.

3. Contribuições Chave

1. Nova Abordagem Híbrida: É a primeira ferramenta a integrar efetivamente LLMs ajustados para mutação de dados estruturados dentro de um fuzzer cinza de alto desempenho, equilibrando a flexibilidade de fuzers genéricos com a precisão de fuzers especializados.
2. Mecanismo de Conversão Universal: A técnica de conversão para hexadecimal permite que o mesmo modelo LLM lide com múltiplos formatos de arquivo (binários e texto) sem necessidade de gramáticas pré-definidas para cada um.
3. Arquitetura Assíncrona: O design de fila assíncrona resolve o gargalo de latência dos LLMs, permitindo que o sistema mantenha a alta velocidade de execução necessária para o fuzzing moderno.
4. Validação Rigorosa: O trabalho inclui ablações para provar que o modelo não está apenas "decorando" os dados de treinamento, mas sim aprendendo padrões de mutação estrutural.

4. Resultados Experimentais

Os autores avaliaram o LLAMAFUZZ em dois conjuntos de benchmarks principais: Magma (baseado em bugs reais) e OSS-Fuzz (programas do mundo real).

• Desempenho no Magma:

  • O LLAMAFUZZ superou todos os concorrentes de última geração (AFL++, Moptafl, Honggfuzz, Fairfuzz).
  • Descoberta de Bugs: Encontrou uma média de 41 bugs por execução e um total de 47 bugs únicos. Em comparação, o AFL++ encontrou 46 bugs únicos no total (mas com menor média por execução) e outros fuzers encontraram menos.
  • Velocidade: Em 29 de 43 bugs compartilhados, o LLAMAFUZZ foi significativamente mais rápido para disparar o bug do que o AFL++.
  • Caso de Sucesso: O LLAMAFUZZ foi o único a encontrar a vulnerabilidade XML006 (CVE-2017-9048) no libxml2, que exigia uma compreensão profunda da estrutura recursiva do XML para ser explorada, algo que a mutação aleatória não conseguiu.

• Desempenho no OSS-Fuzz (Programas Reais):

  • Comparado a fuzers baseados em gramática (Gramatron, Grimoire, Nautilus), o LLAMAFUZZ foi mais consistente, performando bem em todos os alvos (mruby, PHP, QuickJS), enquanto os fuzers especializados falharam em alguns.
  • Comparado ao AFL++ em 15 alvos, o LLAMAFUZZ mostrou melhoria estatisticamente significativa na cobertura de ramos em 11 alvos.
  • A cobertura média de ramos aumentou em até 77% em alguns casos (ex: fuzz_objcopy no binutils).

• Estudos de Ablaçã:

  • Generalização: O método funcionou bem com diferentes modelos base (Llama 3, Mistral, Qwen), indicando que a abordagem é robusta.
  • Memorização vs. Aprendizado: Testes mostraram que o uso de sementes de treinamento como entrada inicial para o AFL++ (sem o LLM) não superou o LLAMAFUZZ, provando que o ganho vem da capacidade de inferência e mutação do modelo, não da simples reprodução de dados.

5. Significância

O LLAMAFUZZ representa um avanço significativo na segurança de software, demonstrando que os LLMs podem ser integrados de forma prática e eficiente em ferramentas de teste automatizado.

• Superação de Limitações: Resolve o problema histórico de como testar dados estruturados complexos sem a necessidade de escrever gramáticas manuais complexas.
• Eficiência: Permite que fuzers genéricos ganhem a "inteligência" de fuzers especializados, mantendo a velocidade.
• Futuro: Abre caminho para o uso de IA generativa não apenas para gerar testes, mas para entender e manipular a semântica de formatos de dados binários e textuais, tornando a descoberta de vulnerabilidades mais profunda e direcionada.

Em suma, o LLAMAFUZZ transforma a mutação de dados de um processo cego e aleatório em um processo semântico e estruturado, resultando em uma descoberta de bugs mais rápida e abrangente.