FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework

Resumo Técnico: FunFuzz

Declaração do Problema
A fuzzing moderna de sistemas de processamento de linguagem, particularmente compiladores, enfrenta desafios significativos devido à natureza altamente estruturada e semanticamente rica do espaço de entrada. Abordagens tradicionais frequentemente lutam para manter diversidade semântica sustentada, convergindo com frequência para padrões superficiais que falham em exercitar pipelines de compilação profundos ou interações raras de recursos. Embora Modelos de Linguagem de Grande Escala (LLMs) ofereçam uma alternativa promissora para sintetizar programas sintaticamente válidos e semanticamente variados, o fuzzing orientado por LLMs é propenso a modos de falha específicos: sensibilidade à inicialização do prompt, variância de amostragem levando a estilos de programa repetitivos e uma tendência da trajetória de busca colapsar precocemente sem mecanismos explícitos para preservar a diversidade. Fuzzers assistidos por LLMs existentes frequentemente dependem de um único prompt compartilhado ou feedback implícito, o que pode enviesar a busca e limitar a exploração de comportamentos novos de compiladores. Além disso, adaptar fuzzers a novos compiladores ou variantes de linguagem tipicamente exige extensa engenharia manual, reduzindo a portabilidade.

Metodologia
FunFuzz é um framework de fuzzing evolutivo multi-ilha projetado para integrar síntese de programas baseada em LLM com um procedimento de busca robusto que mitiga a estocasticidade e mantém a diversidade. O framework opera em duas etapas principais:

1. Destilação de Prompt e Inicialização:

   • O sistema começa processando artefatos fornecidos pelo usuário (documentação, especificações, exemplos de código) usando um LLM de Destilação para gerar um prompt base.
   • Para evitar que todas as trajetórias de busca comecem na mesma região do espaço de entrada, o FunFuzz deriva instruções de semente por ilha. Estas são diretrizes curtas enfatizando tópicos diferentes (por exemplo, padrões de alocação, fluxo de controle) extraídos da documentação.
   • O sistema avalia lotes dessas instruções (amostradas em diferentes temperaturas) combinadas com o prompt base, selecionando o lote que produz a maior validade de compilação. Isso resulta em um prompt inicial único para cada ilha, criando múltiplos pontos de partida semanticamente distintos.

2. Loop de Fuzzing Evolutivo (Multi-Ilha):

   • Operação da Ilha: Cada ilha mantém uma população independente de programas candidatos. Programas são gerados por um LLM com base no prompt atual da ilha, normalizados para remover artefatos de formatação e compilados contra um compilador instrumentado.
   • Pontuação de Aptidão: Candidatos são classificados com base na cobertura marginal do compilador (o número de novas linhas de origem do compilador exercitadas) e sinais de falha (por exemplo, erros internos do compilador). A função de aptidão é computada localmente por ilha para encorajar exploração independente.
   • Seleção e Evolução: Programas pais são selecionados usando uma distribuição softmax controlada por temperatura sobre as pontuações de aptidão. O pai selecionado é incorporado ao próximo prompt para orientar a geração, com mecanismos para penalizar o ajuste excessivo a programas específicos.
   • Migração entre Ilhas: Para mitigar estagnação sem descartar o contexto de busca acumulado, o FunFuzz emprega uma política de "migração suave". A cada 3 horas, as 51% superiores das ilhas (por cobertura) são designadas como "fortes", e as 49% inferiores como "fracas". Ilhas fortes compartilham 10% de sua população de elite com ilhas fracas, substituindo os 30% mais baixos das populações das ilhas fracas. Diferentemente de abordagens anteriores "FunSearch" que redefiniam ilhas fracas, este método preserva o restante do contexto de busca.

Contribuições Principais

• Fuzzing Evolutivo Assistido por LLM Multi-Ilha: A introdução de um loop de fuzzing que mantém populações independentes com feedback local e utiliza migração periódica para equilibrar exploração e exploração, prevenindo convergência prematura.
• Destilação de Prompt com Inicialização Semântica por Ilha: Uma extensão de técnicas de autoprompting que gera instruções de semente distintas para cada ilha, garantindo pontos de partida semanticamente diversos enquanto mantém validade sintática.
• Avaliação Abrangente em Compiladores Modernos: Uma avaliação rigorosa de 24 horas no GCC e Clang para C e C++, comparando contra bases fortes (Fuzz4All e Kitten) e incluindo estudos de ablação controlados para isolar o impacto de escolhas de design centrais.

Resultados Experimentais
O FunFuzz foi avaliado em campanhas repetidas de 24 horas no GCC e Clang. Os resultados demonstram:

• Ganhos de Cobertura: O FunFuzz consistentemente alcançou maior cobertura de linhas de origem do compilador do que as bases. No GCC, atingiu até +27,1% de cobertura superior ao Fuzz4All padrão em C e +31,0% em C++. No Clang, as melhorias foram de +9,3% em C e +4,4% em C++.
• Descoberta de Bugs: O framework descobriu 119 bugs únicos de compilador, dos quais 80 foram confirmados por desenvolvedores. O FunFuzz encontrou significativamente mais entradas únicas que acionam falhas do que tanto o Fuzz4All quanto o Kitten, particularmente em C++ onde a complexidade de templates e semântica é maior.
• Insights de Ablação:
  • Pontuação: A pontuação baseada em cobertura foi o principal motor de desempenho.
  • Inicialização: Sementes distintas por ilha melhoraram significativamente a exploração inicial comparado a sementes compartilhadas.
  • Migração: A "migração suave" (preservando contexto) superou redefinições completas de ilhas fracas.
  • Paralelismo: Uma configuração com 5 ilhas forneceu o compromisso ótimo entre diversidade de exploração e profundidade evolutiva; aumentar para 10 ou 20 ilhas fragmentou a busca e reduziu o desempenho sob orçamentos de tempo fixos.
  • Início Quente: Quando inicializado com um corpus curado (warm-start), o FunFuzz alcançou cobertura ainda maior, sugerindo que a evolução guiada por LLM complementa abordagens tradicionais baseadas em sementes.

Significado
O artigo posiciona o FunFuzz como um passo rumo a fuzzing de compiladores mais robusto e portátil. Ao combinar síntese orientada por LLM com uma estratégia evolutiva multi-ilha, o FunFuzz aborda as limitações de sensibilidade a prompts e colapso de busca inerentes ao fuzzing de LLM de prompt único. O framework demonstra que é possível sustentar pressão de exploração de longo prazo em direção a programas semanticamente ricos sem depender de extensa engenharia manual ou heurísticas específicas do alvo. Os resultados sugerem que manter múltiplas trajetórias de busca distintas e compartilhar candidatos de alto valor sem redefinir o contexto é uma estratégia eficaz para descobrir defeitos profundos em sistemas de compiladores complexos e em evolução. Os autores notam que, embora a avaliação esteja atualmente limitada a compiladores C/C++, o design destina-se a ser agnóstico ao sistema sob teste, com trabalho futuro planejado para outros domínios de entrada estruturada.