Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

Resumo Técnico: Investigando o Aperfeiçoamento de Oráculos de Fuzz Metamórfico via Grandes Modelos de Linguagem

Declaração do Problema
O fuzzing de caixa cinza (greybox fuzzing) depende fortemente de drivers de fuzz para definir o espaço de teste e encapsular as interfaces do alvo. No entanto, uma análise sistemática de 1.068 drivers do OSS-Fuzz revela uma limitação crítica: 81,1% dos drivers existentes carecem de oráculos funcionais. Em vez disso, eles dependem apenas de "oráculos implícitos" (crashes de programas) ou "pseudo oráculos" (verificações de validade de entrada) para detectar bugs. Essa prática negligencia a semântica funcional das bibliotecas sob teste, restringindo a capacidade de busca de bugs do fuzzing apenas àqueles defeitos que causam falhas (crashes). Embora o teste metamórfico ofereça uma solução ao definir relações entre entradas e saídas (Relações Metamórficas ou MRs) para detectar bugs funcionais, a construção manual e a integração dessas relações nos drivers existentes são trabalhosas e exigem conhecimento profundo do domínio, criando uma barreira para a automação.

Metodologia: MetaFOE
Os autores propõem o MetaFOE, um novo framework que utiliza Grandes Modelos de Linguagem (LLMs) para automatizar o Aperfeiçoamento de Oráculo de Fuzz Baseado em Metamorfismo (MFOE). O pipeline consiste em duas fases primárias:

1. Geração de Relação Metamórfica (MRG): O LLM analisa o código-fonte e a documentação da biblioteca alvo para gerar MRs candidatas. Essas relações descrevem comportamentos esperados (ex: "adicionar espaços em branco não deve alterar os resultados do parsing").
2. Implementação de Oráculo de Fuzz (FOI): O LLM recebe o driver de fuzz original e uma MR válida para sintetizar um "meta driver". Isso envolve a injeção de oráculos explícitos (tipicamente instruções assert) no driver para verificar a MR durante a execução.

Para garantir a qualidade, o framework emprega um processo de validação rigoroso:

• Validação de MR: As MRs geradas são desduplicadas e validadas manualmente por especialistas quanto à sua aplicabilidade.
• Validação de Driver: Os meta drivers gerados passam por uma verificação de três fases:
  • Nível de compilação: Reprompting iterativo para corrigir erros de compilação.
  • Nível de runtime: Fuzzing de curto prazo para descartar drivers que sejam instáveis (crashes excessivos) ou ineficazes (baixa cobertura).
  • Capacidade de Fuzzing: Campanhas de longo prazo (3 horas) para medir a cobertura de borda (edge coverage) e detecção de crashes.

O estudo avalia o MetaFOE utilizando três LLMs de última geração (GLM-4-Plus, DeepSeek-V3.2, GPT-4.1) e cinco estratégias de prompting (Zero-shot, Few-shot, Critique, Expert, Chain-of-Thought).

Principais Contribuições

• Pipeline Inovador: Este é o primeiro trabalho que propõe e implementa um pipeline automatizado para aprimorar drivers de fuzz existentes com oráculos metamórficos, mudando o foco da geração de drivers para o aperfeiçoamento de oráculos.
• Estudo Empírico Sistemático: Os autores fornecem uma análise abrangente do estado atual dos oráculos de fuzz no OSS-Fuzz e conduzem experimentos extensos consumindo 213 milhões de tokens e mais de dois anos de CPU de tempo de fuzzing.
• Liberação de Artefatos: O estudo gera e libera 6.228 meta drivers válidos, juntamente com o dataset e os scripts utilizados para a pesquisa.

Resultados Experimentais
A avaliação foi conduzida em 10 projetos representativos do OSS-Fuzz:

• Geração de MR: O MetaFOE gerou 3.475 MRs, das quais 77,3% (2.685) foram consideradas aplicáveis. A aplicabilidade mostrou uma correlação negativa fraca com o tamanho do projeto (LoC).
• Validade do Driver: A partir das MRs aplicáveis, o framework implementou 12.351 candidatos a meta driver. Após a validação, 6.228 (50,4%) eram válidos.
• Desempenho de Fuzzing: Comparados aos drivers originais, os meta drivers válidos alcançaram:
  • Um aumento médio de 18,7% na cobertura de borda (edge coverage).
  • A descoberta de 1.528 crashes únicos nos 10 projetos. Notavelmente, os drivers originais dispararam crashes em apenas 2 dos 10 projetos, enquanto os meta drivers encontraram crashes em todos os 10.
  • Os crashes incluíram tanto Corrupções de Memória (MC) quanto Falhas de Asserção (AF), sendo as AFs significativamente mais prevalentes devido à natureza dos oráculos injetados.
• Sensibilidade de LLM e Prompt:
  • LLMs: O DeepSeek-V3.2 teve o melhor desempenho na geração de MRs aplicáveis (82,9% de aplicabilidade), enquanto o GPT-4.1 alcançou a maior taxa de validade para os drivers gerados (55,4%).
  • Prompts: O sistema foi menos sensível às estratégias de prompt. O Chain-of-Thought (COT) produziu o maior número de drivers válidos, enquanto os prompts Expert (EXP) produziram drivers com as melhores capacidades de fuzzing (cobertura e detecção de crashes).

Significância e Alegações
O artigo alega que os oráculos metamórficos são essenciais para descobrir bugs funcionais que os oráculos baseados em crashes não encontram. O estudo demonstra que os LLMs são viáveis e eficazes para automatizar as tarefas complexas de extração de relações metamórficas e integração em drivers de fuzz.

Os autores destacam que, embora os LLMs possam aumentar significativamente as capacidades de fuzzing, eles não são perfeitos; o estudo observou falsos positivos (ex: no caso de estudo do Libyaml) onde as suposições de MR não se sustentavam para todos os casos de borda. Consequentemente, o artigo defende uma abordagem híbrida onde os LLMs geram os oráculos iniciais, seguidos de refinamento humano ou assistido por LLM iterativo para mitigar falsos positivos. O trabalho oferece um insight valioso para a comunidade de fuzzing: ir além dos oráculos baseados apenas em crashes via aperfeiçoamento metamórfico automatizado pode aumentar substancialmente a eficácia de busca de bugs do fuzzing de caixa cinza.