Investigating Metamorphic Fuzz Oracle Enhancement via Large Language Models

Technische Samenvatting: Onderzoek naar de Verbetering van Metamorfe Fuzz-Oracles via Large Language Models

Probleemstelling
Greybox-fuzzing leunt zwaar op fuzz-drivers om de testruimte te definiëren en de doelinterfaces te encapsuleren. Echter, een systematische analyse van 1.068 drivers uit OSS-Fuzz onthult een kritieke beperking: 81,1% van de bestaande drivers mist functionele oracles. In plaats daarvan vertrouwen ze uitsluitend op "impliciete oracles" (programmacrashes) of "pseudo-oracles" (input-validiteitscontroles) om bugs te detecteren. Deze praktijk negeert de functionele semantiek van de onder test staande bibliotheken, wat de capaciteit van fuzzing om bugs te vinden beperkt tot enkel die defecten die crashes veroorzaken. Hoewel metamorf testen een oplossing biedt door relaties tussen inputs en outputs (Metamorfe Relaties of MR's) te definiëren om functionele bugs te detecteren, is de handmatige constructie en integratie van deze oracles in bestaande drivers arbeidsintensief en vereist het diepe domeinkennis, wat een barrière vormt voor automatisering.

Methodologie: MetaFOE
De auteurs stellen MetaFOE voor, een nieuw framework dat Large Language Models (LLMs) gebruikt om Metamorphic-based Fuzz Oracle Enhancement (MFOE) te automatiseren. De pipeline bestaat uit twee primaire fasen:

1. Metamorphic Relation Generation (MRG): De LLM analyseert de broncode en documentatie van de doelbibliotheek om kandidaat-MR's te genereren. Deze relaties beschrijven verwacht gedrag (bijv. "het toevoegen van witruimte zou de parsing-resultaten niet mogen veranderen").
2. Fuzz Oracle Implementation (FOI): De LLM neemt de originele fuzz-driver en een geldige MR en synthetiseert een "meta-driver". Dit houdt het injecteren van expliciete oracles (meestal assert-statements) in de driver in om de MR tijdens de uitvoering te verifiëren.

Om de kwaliteit te waarborgen, hanteert het framework een rigoureus validatieproces:

• MR Validatie: Gegenereerde MR's worden gededupliceerd en handmatig gevalideerd door experts op toepasbaarheid.
• Driver Validatie: Gegenereerde meta-drivers ondergaan een driefasige controle:
  • Compilatie-niveau: Iteratief herprompten om compilatiefouten te herstellen.
  • Runtime-niveau: Korte-termijn fuzzing om drivers te verwerpen die instabiel zijn (excessieve crashes) of ineffectief (lage coverage).
  • Fuzzing Capaciteit: Lange-termijn (3-uur) campagnes om edge coverage en crash-detectie te meten.

De studie evalueert MetaFOE met drie state-of-the-art LLMs (GLM-4-Plus, DeepSeek-V3.2, GPT-4.1) en vijf prompting-strategieën (Zero-shot, Few-shot, Critique, Expert, Chain-of-Thought).

Belangrijkste Bijdragen

• Nieuwe Pipeline: Dit is het eerste werk dat een geautomatiseerde pipeline voorstelt en implementeert voor het verbeteren van bestaande fuzz-drivers met metamorfe oracles, waarbij de focus verschuift van driver-generatie naar oracle-verbetering.
• Systematische Empirische Studie: De auteurs bieden een uitgebreide analyse van de huidige staat van fuzz-oracles in OSS-Fuzz en voeren uitgebreide experimenten uit die 213 miljoen tokens en meer dan twee CPU-jaren aan fuzzing-tijd verbruiken.
• Artifact Release: De studie genereert en publiceert 6.228 geldige meta-drivers, samen met de dataset en scripts die voor het onderzoek zijn gebruikt.

Experimentele Resultaten
De evaluatie werd uitgevoerd op 10 representatieve projecten uit OSS-Fuzz:

• MR Generatie: MetaFOE genereerde 3.475 MR's, waarvan 77,3% (2.685) als toepasbaar werden beschouwd. De toepasbaarheid vertoonde een zwakke negatieve correlatie met de projectgrootte (LoC).
• Driver Geldigheid: Vanuit de toepasbare MR's implementeerde het framework 12.351 meta-driver kandidaten. Na validatie waren 6.228 (50,4%) geldig.
• Fuzzing Prestaties: Vergeleken met de originele drivers bereikten de geldige meta-drivers:
  • Een gemiddelde verbetering van 18,7% in edge coverage.
  • De ontdekking van 1.528 unieke crashes over de 10 projecten. Opvallend genoeg triggerden de originele drivers crashes in slechts 2 van de 10 projecten, terwijl de meta-drivers crashes vonden in alle 10 de projecten.
  • De crashes omvatten zowel Memory Corruptions (MC) als Assertion Failures (AF), waarbij AF's aanzienlijk frequenter waren vanwege de aard van de geïnjecteerde oracles.
• LLM en Prompt Sensitiviteit:
  • LLMs: DeepSeek-V3.2 presteerde het best in het genereren van toepasbare MR's (82,9% toepasbaarheid), terwijl GPT-4.1 de hoogste validiteitsgraad behaalde voor gegenereerde drivers (55,4%).
  • Prompts: Het systeem was minder gevoelig voor prompt-strategieën. Chain-of-Thought (COT) leverde het hoogste aantal geldige drivers op, terwijl Expert (EXP) prompts drivers produceerden met de beste fuzzing-capaciteiten (coverage en crash-detectie).

Betekenis en Claims
Het artikel claimt dat metamorfe oracles essentieel zijn voor het blootleggen van functionele bugs die door crash-gebaseerde oracles gemist worden. De studie demonstreert dat LLMs haalbaar en effectief zijn voor het automatiseren van de complexe taken van het extraheren van metamorfe relaties en het integreren ervan in fuzz-drivers.

De auteurs benadrukken dat hoewel LLMs de fuzzing-capaciteiten aanzienlijk kunnen verbeteren, ze niet perfect zijn; de studie observeerde false positives (bijv. in de Libyaml case study) waarbij MR-aannames niet golden voor alle edge cases. Daarom pleit het artikel voor een hybride aanpak waarbij LLM's de initiële oracles genereren, gevolgd door menselijke of iteratieve LLM-ondersteunde verfijning om false positives te mitigeren. Het werk biedt een waardevol inzicht voor de fuzzing-gemeenschap: het verder gaan dan alleen crash-oracles via geautomatiseerde metamorfe verbetering kan de bug-zoekende effectiviteit van greybox-fuzzing substantieel vergroten.