LLAMAFUZZ: Large Language Model Enhanced Greybox Fuzzing

1. Problemstellung

Greybox-Fuzzing hat sich als äußerst effektiv zur Aufdeckung von Software-Schwachstellen erwiesen. Herkömmliche Fuzzer (wie AFL++) nutzen jedoch primär bitweise zufällige Mutationen (randomized bit-level mutation). Während dies bei unstrukturierten Daten funktioniert, stößt es bei strukturierten Daten (z. B. XML, JSON, binäre Dateiformate wie PNG oder ELF) an Grenzen:

• Integritätsverlust: Zufällige Bit-Änderungen zerstören oft die syntaktische Struktur oder die Formatvalidität der Eingabedaten.
• Ineffizienz: Der Fuzzer verbringt viel Zeit damit, ungültige Eingaben zu generieren, die sofort vom Parser abgelehnt werden, bevor tiefe Programmlogik erreicht wird.
• Trade-off: Spezialisierte Fuzzer, die Grammatiken nutzen, können strukturierte Daten besser handhaben, erfordern jedoch manuelle Grammatikdefinitionen (hoher Aufwand) und sind weniger flexibel.

Das Ziel ist es, die Vorteile von High-Throughput-Greybox-Fuzzing mit der Fähigkeit zu verbinden, komplexe, strukturierte Eingaben semantisch korrekt zu verstehen und zu mutieren.

2. Methodik: LLAMAFUZZ

Die Autoren stellen LLAMAFUZZ vor, einen Fuzzer, der Large Language Models (LLMs) nutzt, um strukturierte Daten zu verstehen und zu mutieren. Der Ansatz besteht aus drei Hauptkomponenten:

A. Datenvorbereitung und Konvertierung

• Binär-zu-Hex-Konvertierung: Da LLMs typischerweise Text verarbeiten, werden binäre Seeds in eine einheitliche Hexadezimal-Repräsentation umgewandelt. Um die Token-Länge zu reduzieren, werden jeweils zwei Hex-Zeichen zu einem Token zusammengefasst.
• Datensatz-Erstellung: Es werden Paare aus einem ursprünglichen Seed ($S_i$) und einem erfolgreich mutierten Seed ($S_i'$) gesammelt. Diese Paare stammen aus historischen Fuzzing-Daten (z. B. FuzzBench, AFL++), die neue Pfade gefunden oder Abstürze ausgelöst haben.
• Vermeidung von Datenlecks: Seeds, die im Evaluierungsset verwendet werden, werden explizit vom Fine-Tuning-Datensatz ausgeschlossen, um ein bloßes „Auswendiglernen" (Memorization) zu verhindern.

B. Fine-Tuning des LLM

• Modell: Als Basis wird LLaMA 2-7B-Chat verwendet.
• Supervised Fine-Tuning (SFT): Das Modell wird mit den Seed-Paaren ($S_i \rightarrow S_i'$) trainiert, um Muster der Datenstruktur und erfolgreiche Mutationsstrategien zu lernen.
• Effizienz: Um Training und Inferenz zu beschleunigen, werden LoRA (Low-Rank Adaptation) und 4-Bit-Quantisierung eingesetzt.
• Ziel: Das Modell lernt nicht nur die Syntax, sondern auch die Semantik des Formats, um Mutationen vorzunehmen, die syntaktisch gültig bleiben, aber neue Code-Pfade erkunden.

C. Asynchrone Integration (Dual-Layer Architecture)

Da LLM-Inferenzen rechenintensiv und langsamer sind als traditionelle Fuzzing-Mutationen, wurde ein asynchroner Job-Queue-Mechanismus entwickelt:

• Zwei Threads: Ein Haupt-Thread führt schnelle AFL++-Mutationen durch (CPU), während ein separater Thread (GPU) die LLM-basierten Mutationen berechnet.
• Queue-Management: Der Fuzzer greift auf eine Warteschlange zu. Wenn LLM-generierte Seeds verfügbar sind, werden diese priorisiert; ansonsten werden AFL++-Seeds verwendet.
• Vorteil: Dies entkoppelt die rechenintensive LLM-Verarbeitung vom High-Throughput-Fuzzing-Loop, sodass die Gesamtleistung nicht durch die Latenz des LLMs beeinträchtigt wird.

3. Wichtige Beiträge

1. LLM-gestützte strukturbewusste Mutation: Erstmals wird ein LLM so trainiert, dass es strukturierte Binär- und Textdaten versteht und semantisch sinnvolle Mutationen generiert, ohne auf manuelle Grammatiken angewiesen zu sein.
2. Hybride Architektur: Ein effizientes Design, das die Geschwindigkeit von Greybox-Fuzzing mit der Intelligenz von LLMs kombiniert, ohne den Durchsatz zu opfern.
3. Allgemeine Anwendbarkeit: Der Ansatz funktioniert für diverse Formate (XML, JSON, PNG, ELF, SIP, etc.) mit minimalem Anpassungsaufwand (nur Fine-Tuning, keine Grammatik-Definition).
4. Validierung gegen State-of-the-Art: Umfassende Evaluation gegen führende Fuzzer (AFL++, Moptafl, Honggfuzz, Fairfuzz) und grammatikbasierte Fuzzer (Gramatron, Nautilus).

4. Ergebnisse

Die Evaluation wurde auf zwei Benchmarks durchgeführt: Magma (Ground-Truth-Benchmark mit realen Bugs) und OSS-Fuzz (Realwelt-Programme).

• Bug-Finding auf Magma:

  • LLAMAFUZZ fand im Durchschnitt 41 Bugs pro Lauf und insgesamt 47 einzigartige Bugs.
  • Dies übertrifft AFL++ (46 Bugs insgesamt, aber weniger unique in Kombination mit anderen), Moptafl (42), Honggfuzz (37) und Fairfuzz (31).
  • Besonders hervorzuheben: LLAMAFUZZ fand spezifische Bugs (z. B. XML006, SQL003), die von keinem anderen Fuzzer entdeckt wurden.
  • Zeit bis zum Bug: LLAMAFUZZ löste Bugs in 29 von 43 Fällen signifikant schneller aus als AFL++.

• Code Coverage auf OSS-Fuzz:

  • In 11 von 15 getesteten Zielen erreichte LLAMAFUZZ eine statistisch signifikant höhere Zweigabdeckung (Branch Coverage) als AFL++.
  • Im Vergleich zu spezialisierten grammatikbasierten Fuzzern (Gramatron, Grimoire, Nautilus) zeigte LLAMAFUZZ eine überlegene oder gleichwertige Leistung über alle getesteten Formate hinweg, während die spezialisierten Fuzzer oft nur bei bestimmten Zielen gut abschnitten.

• Ablationsstudien:

  • Kein Memorization: Der Vergleich mit AFL++, der nur mit den „trimmten" Trainingsseeds initialisiert wurde, zeigte, dass LLAMAFUZZ deutlich besser abschneidet. Die Leistung resultiert also aus dem Verständnis der Struktur durch das LLM, nicht aus dem Wiedergeben gespeicherter Daten.
  • Fine-Tuning-Effekt: Modelle ohne Fine-Tuning erzielten deutlich schlechtere Ergebnisse, was die Notwendigkeit der Anpassung an den Fuzzing-Kontext unterstreicht.

5. Bedeutung und Fazit

LLAMAFUZZ adressiert eine der größten Schwachstellen moderner Fuzzing-Techniken: die Ineffizienz bei strukturierten Daten.

• Paradigmenwechsel: Statt manuell Grammatiken zu definieren, nutzt LLAMAFUZZ das vorab trainierte Wissen von LLMs über Datenformate und erweitert dieses durch spezifisches Fine-Tuning.
• Praktische Relevanz: Die Methode ist universell einsetzbar und benötigt keine tiefen domänenspezifischen Kenntnisse des Fuzzers, was die Einstiegshürde für das Fuzzing komplexer Formate senkt.
• Zukunftsaussicht: Die Arbeit demonstriert, dass LLMs nicht nur als Textgeneratoren, sondern als intelligente Mutatoren in der Software-Sicherheit eingesetzt werden können, um tiefere Code-Pfade zu erkunden und kritische Schwachstellen effizienter zu finden.

Zusammenfassend zeigt das Paper, dass die Integration von LLMs in Greybox-Fuzzing die Effektivität bei strukturierten Daten signifikant steigert und den aktuellen State-of-the-Art in Bezug auf Bug-Entdeckungsrate und Code-Abdeckung übertrifft.