FunFuzz: An LLM-Powered Evolutionary Fuzzing Framework

Technischer Überblick: FunFuzz

Problemstellung
Das moderne Fuzzing von sprachverarbeitenden Systemen, insbesondere Compilern, steht aufgrund der hochstrukturierten und semantisch reichen Natur des Eingaberaums vor erheblichen Herausforderungen. Traditionelle Ansätze kämpfen häufig damit, eine anhaltende semantische Vielfalt aufrechtzuerhalten, und konvergieren oft in oberflächliche Muster, die tiefe Kompilierungspipelines oder seltene Feature-Interaktionen nicht ausreichend testen. Während Large Language Models (LLMs) eine vielversprechende Alternative zur Synthese syntaktisch valider und semantisch variierter Programme bieten, ist LLM-gesteuertes Fuzzing anfällig für spezifische Fehlermodi: Sensitivität gegenüber der Prompt-Initialisierung, Stichprobenvarianz, die zu repetitiven Programmstilen führt, und die Neigung, dass die Suchbahn ohne explizite Mechanismen zur Erhaltung der Vielfalt frühzeitig kollabiert. Bestehende LLM-unterstützte Fuzzer verlassen sich häufig auf einen einzigen gemeinsamen Prompt oder implizites Feedback, was die Suche verzerren und die Exploration neuartiger Compiler-Verhalten einschränken kann. Darüber hinaus erfordert die Anpassung von Fuzzern an neue Compiler oder Sprachvarianten typischerweise umfangreiche manuelle Ingenieursarbeit, was die Portabilität verringert.

Methodik
FunFuzz ist ein evolutionärer Fuzzing-Rahmenwerk mit Multi-Insel-Ansatz, der die LLM-basierte Programmsynthese mit einem robusten Suchverfahren integriert, das Stochastizität mindert und die Vielfalt erhält. Der Rahmenwerk arbeitet in zwei Hauptphasen:

1. Prompt-Destillation und Initialisierung:

   • Das System beginnt mit der Verarbeitung von benutzerbereitgestellten Artefakten (Dokumentation, Spezifikationen, Codebeispiele) mittels eines Destillations-LLMs, um einen Basis-Prompt zu generieren.
   • Um zu verhindern, dass alle Suchbahnen im selben Bereich des Eingaberaums starten, leitet FunFuzz inselspezifische Seed-Anweisungen ab. Dies sind kurze Direktiven, die verschiedene Themen betonen (z. B. Allokationsmuster, Kontrollfluss), die aus der Dokumentation extrahiert wurden.
   • Das System bewertet Batches dieser Anweisungen (bei unterschiedlichen Temperaturen gesampelt), kombiniert mit dem Basis-Prompt, und wählt den Batch aus, der die höchste Kompilationsvalidität liefert. Dies ergibt einen einzigartigen Initial-Prompt für jede Insel und schafft mehrere semantisch unterschiedliche Startpunkte.

2. Evolutionärer Fuzzing-Loop (Multi-Insel):

   • Inselbetrieb: Jede Insel unterhält eine unabhängige Population von Kandidatenprogrammen. Programme werden von einem LLM basierend auf dem aktuellen Prompt der Insel generiert, normalisiert, um Formatierungsartefakte zu entfernen, und gegen einen instrumentierten Compiler kompiliert.
   • Fitness-Bewertung: Kandidaten werden basierend auf marginaler Compiler-Abdeckung (Anzahl neuer Compiler-Quellzeilen, die ausgeführt werden) und Fehler-Signalen (z. B. interne Compiler-Fehler) rangiert. Die Fitnessfunktion wird lokal pro Insel berechnet, um eine unabhängige Exploration zu fördern.
   • Selektion und Evolution: Elternprogramme werden unter Verwendung einer temperaturgesteuerten Softmax-Verteilung über die Fitnesswerte ausgewählt. Der ausgewählte Elternteil wird in den nächsten Prompt integriert, um die Generierung zu steuern, mit Mechanismen, um eine Überanpassung an spezifische Programme zu bestrafen.
   • Inselübergreifende Migration: Um Stagnation zu mindern, ohne den angesammelten Suchkontext zu verwerfen, verfolgt FunFuzz eine „weiche Migrations"-Politik. Alle 3 Stunden werden die Top 51 % der Inseln (nach Abdeckung) als „stark" und die unteren 49 % als „schwach" bezeichnet. Starke Inseln teilen 10 % ihrer Elite-Population mit schwachen Inseln und ersetzen die unteren 30 % der Populationen der schwachen Inseln. Im Gegensatz zu früheren „FunSearch"-Ansätzen, die schwache Inseln zurücksetzen, bewahrt diese Methode den verbleibenden Suchkontext.

Hauptbeiträge

• Multi-Insel LLM-unterstütztes evolutionäres Fuzzing: Die Einführung eines Fuzzing-Loops, der unabhängige Populationen mit lokalem Feedback unterhält und periodische Migration nutzt, um Exploration und Exploitation auszugleichen und vorzeitige Konvergenz zu verhindern.
• Prompt-Destillation mit inselspezifischer semantischer Initialisierung: Eine Erweiterung von Autoprompting-Techniken, die für jede Insel unterschiedliche Seed-Anweisungen generiert, um semantisch vielfältige Startpunkte bei gleichzeitiger Wahrung der syntaktischen Validität sicherzustellen.
• Umfassende Evaluierung an modernen Compilern: Eine rigorose 24-Stunden-Evaluierung an GCC und Clang für C und C++, im Vergleich zu starken Baselines (Fuzz4All und Kitten) und einschließlich kontrollierter Ablationsstudien, um den Einfluss grundlegender Designentscheidungen zu isolieren.

Experimentelle Ergebnisse
FunFuzz wurde in wiederholten 24-Stunden-Kampagnen an GCC und Clang evaluiert. Die Ergebnisse zeigen:

• Abdeckungsgewinne: FunFuzz erreichte konsistent eine höhere Compiler-Quellzeilenabdeckung als die Baselines. Bei GCC wurde eine bis zu +27,1 % höhere Abdeckung als beim Standard-Fuzz4All in C und +31,0 % in C++ erreicht. Bei Clang betrugen die Verbesserungen +9,3 % in C und +4,4 % in C++.
• Fehlerentdeckung: Das Framework entdeckte 119 eindeutige Compiler-Fehler, von denen 80 von Entwicklern bestätigt wurden. FunFuzz fand deutlich mehr einzigartige fehlerauslösende Eingaben als sowohl Fuzz4All als auch Kitten, insbesondere in C++, wo die Komplexität von Templates und Semantik höher ist.
• Ablations-Erkenntnisse:
  • Bewertung: Die abdeckungsorientierte Bewertung war der Haupttreiber der Leistung.
  • Initialisierung: Unterschiedliche inselspezifische Seeds verbesserten die frühe Exploration im Vergleich zu gemeinsamen Seeds signifikant.
  • Migration: „Weiche Migration" (Erhalt des Kontexts) schnitt besser ab als vollständige Zurücksetzungen schwacher Inseln.
  • Parallelisierung: Eine Konfiguration mit 5 Inseln bot den optimalen Kompromiss zwischen Explorationsvielfalt und evolutionärer Tiefe; eine Erhöhung auf 10 oder 20 Inseln fragmentierte die Suche und reduzierte die Leistung unter festen Zeitbudgets.
  • Warm-Start: Bei Initialisierung mit einem kuratierten Korpus (Warm-Start) erreichte FunFuzz noch höhere Abdeckung, was darauf hindeutet, dass LLM-gesteuerte Evolution traditionelle seed-basierte Ansätze ergänzt.

Bedeutung
Die Arbeit positioniert FunFuzz als Schritt hin zu robusterem und portablerem Compiler-Fuzzing. Durch die Kombination von LLM-gesteuerter Synthese mit einer Multi-Insel-Evolutionsstrategie adressiert FunFuzz die Grenzen der Prompt-Sensitivität und des Suchkollapses, die beim Single-Prompt-LLM-Fuzzing inhärent sind. Der Rahmenwerk zeigt, dass es möglich ist, langfristigen Explorationsdruck auf semantisch reiche Programme aufrechtzuerhalten, ohne auf umfangreiche manuelle Ingenieursarbeit oder ziel spezifische Heuristiken angewiesen zu sein. Die Ergebnisse deuten darauf hin, dass die Aufrechterhaltung mehrerer unterschiedlicher Suchbahnen und das Teilen hochwertiger Kandidaten ohne Zurücksetzen des Kontexts eine effektive Strategie zur Aufdeckung tiefer Fehler in komplexen, sich entwickelnden Compilersystemen ist. Die Autoren weisen darauf hin, dass die Evaluierung derzeit auf C/C++-Compiler beschränkt ist, das Design jedoch systemagnostisch konzipiert ist, mit geplanten zukünftigen Arbeiten für andere strukturierte Eingabedomänen.