FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework

Riepilogo Tecnico: FunFuzz

Enunciato del Problema
Il fuzzing moderno dei sistemi di elaborazione linguistica, in particolare dei compilatori, affronta sfide significative a causa della natura altamente strutturata e semanticamente ricca dello spazio degli input. Gli approcci tradizionali spesso faticano a mantenere una diversità semantica sostenuta, convergendo frequentemente su pattern superficiali che non riescono a esercitare pipeline di compilazione profonde o interazioni di funzionalità rare. Sebbene i Modelli Linguistici su Larga Scala (LLM) offrano un'alternativa promettente per la sintesi di programmi sintatticamente validi e semanticamente variati, il fuzzing guidato da LLM è soggetto a specifici modi di fallimento: sensibilità all'inizializzazione del prompt, varianza nel campionamento che porta a stili di programma ripetitivi e una tendenza della traiettoria di ricerca a collassare prematuramente senza meccanismi espliciti per preservare la diversità. I fuzzers assistiti da LLM esistenti spesso si affidano a un singolo prompt condiviso o a feedback implicito, il che può introdurre bias nella ricerca e limitare l'esplorazione di comportamenti nuovi del compilatore. Inoltre, l'adattamento dei fuzzers a nuovi compilatori o varianti linguistiche richiede tipicamente un'ingegneria manuale estesa, riducendo la portabilità.

Metodologia
FunFuzz è un framework di fuzzing evolutivo multi-isola progettato per integrare la sintesi di programmi basata su LLM con una procedura di ricerca robusta che mitiga la stocasticità e mantiene la diversità. Il framework opera in due fasi principali:

1. Distillazione del Prompt e Inizializzazione:

   • Il sistema inizia elaborando gli artefatti forniti dall'utente (documentazione, specifiche, esempi di codice) utilizzando un LLM di distillazione per generare un prompt di base.
   • Per impedire che tutte le traiettorie di ricerca inizino nella stessa regione dello spazio degli input, FunFuzz deriva istruzioni seed per isola. Queste sono brevi direttive che enfatizzano argomenti diversi (ad esempio, pattern di allocazione, flusso di controllo) estratti dalla documentazione.
   • Il sistema valuta batch di queste istruzioni (campionate a diverse temperature) combinati con il prompt di base, selezionando il batch che produce la massima validità di compilazione. Ciò risulta in un prompt iniziale unico per ogni isola, creando molteplici punti di partenza semanticamente distinti.

2. Ciclo di Fuzzing Evolutivo (Multi-Isola):

   • Operazione dell'Isola: Ogni isola mantiene una popolazione indipendente di programmi candidati. I programmi sono generati da un LLM basato sul prompt corrente dell'isola, normalizzati per rimuovere artefatti di formattazione e compilati contro un compilatore strumentato.
   • Valutazione della Fitness: I candidati sono classificati in base alla copertura marginale del compilatore (il numero di nuove righe sorgente del compilatore esercitate) e ai segnali di fallimento (ad esempio, errori interni del compilatore). La funzione di fitness è calcolata localmente per isola per incoraggiare un'esplorazione indipendente.
   • Selezione ed Evoluzione: I programmi genitori sono selezionati utilizzando una distribuzione softmax controllata dalla temperatura sui punteggi di fitness. Il genitore selezionato è incorporato nel prompt successivo per guidare la generazione, con meccanismi per penalizzare l'overfitting su programmi specifici.
   • Migrazione Inter-Isola: Per mitigare la stagnazione senza scartare il contesto di ricerca accumulato, FunFuzz adotta una politica di "migrazione morbida". Ogni 3 ore, il 51% superiore delle isole (per copertura) è designato come "forte" e il 49% inferiore come "debole". Le isole forti condividono il 10% della loro popolazione d'élite con le isole deboli, sostituendo il 30% più basso delle popolazioni delle isole deboli. A differenza dei precedenti approcci "FunSearch" che resettavano le isole deboli, questo metodo preserva il restante contesto di ricerca.

Contributi Chiave

• Fuzzing Evolutivo Assistito da LLM Multi-Isola: L'introduzione di un ciclo di fuzzing che mantiene popolazioni indipendenti con feedback locale e utilizza una migrazione periodica per bilanciare esplorazione e sfruttamento, prevenendo la convergenza prematura.
• Distillazione del Prompt con Inizializzazione Semantica per Isola: Un'estensione delle tecniche di autoprompting che genera istruzioni seed distinte per ogni isola, garantendo punti di partenza semanticamente diversi mantenendo al contempo la validità sintattica.
• Valutazione Completa su Compilatori Moderni: Una rigorosa valutazione di 24 ore su GCC e Clang sia per C che per C++, confrontata con baseline solide (Fuzz4All e Kitten) e includendo studi di ablazione controllati per isolare l'impatto delle scelte progettuali fondamentali.

Risultati Sperimentali
FunFuzz è stato valutato su campagne ripetute di 24 ore su GCC e Clang. I risultati dimostrano:

• Guadagni di Copertura: FunFuzz ha costantemente raggiunto una copertura delle righe sorgente del compilatore superiore rispetto alle baseline. Su GCC, ha raggiunto fino al +27,1% di copertura in più rispetto a Fuzz4All standard in C e al +31,0% in C++. Su Clang, i miglioramenti sono stati del +9,3% in C e del +4,4% in C++.
• Scoperta di Bug: Il framework ha scoperto 119 bug unici del compilatore, dei quali 80 sono stati confermati dagli sviluppatori. FunFuzz ha trovato significativamente più input unici che innescano fallimenti rispetto sia a Fuzz4All che a Kitten, in particolare in C++ dove la complessità dei template e della semantica è maggiore.
• Approfondimenti dalle Ablazioni:
  • Valutazione: La valutazione basata sulla copertura è stata il principale motore delle prestazioni.
  • Inizializzazione: Seed distinti per isola hanno migliorato significativamente l'esplorazione iniziale rispetto a seed condivisi.
  • Migrazione: La "migrazione morbida" (preservando il contesto) ha superato i reset completi delle isole deboli.
  • Parallelismo: Una configurazione con 5 isole ha fornito il compromesso ottimale tra diversità esplorativa e profondità evolutiva; aumentare a 10 o 20 isole ha frammentato la ricerca e ridotto le prestazioni sotto budget di tempo fissi.
  • Avvio Caldo: Quando inizializzato con un corpus curato (avvio caldo), FunFuzz ha raggiunto una copertura ancora più alta, suggerendo che l'evoluzione guidata da LLM completa gli approcci tradizionali basati su seed.

Significato
Il documento posiziona FunFuzz come un passo verso un fuzzing dei compilatori più robusto e portatile. Combinando la sintesi guidata da LLM con una strategia evolutiva multi-isola, FunFuzz affronta i limiti della sensibilità al prompt e del collasso della ricerca intrinseci al fuzzing LLM con prompt singolo. Il framework dimostra che è possibile sostenere una pressione esplorativa a lungo termine verso programmi semanticamente ricchi senza fare affidamento su un'ingegneria manuale estesa o euristiche specifiche per il target. I risultati suggeriscono che mantenere molteplici traiettorie di ricerca distinte e condividere candidati ad alto valore senza resettare il contesto è una strategia efficace per scoprire difetti profondi in sistemi di compilazione complessi ed evolutivi. Gli autori notano che, sebbene la valutazione sia attualmente limitata ai compilatori C/C++, il design è inteso per essere agnostico rispetto al sistema sotto test, con lavori futuri pianificati per altri domini di input strutturati.