Technische Samenvatting: ARVO – Atlas van Reproduceerbare Kwetsbaarheden voor Open-Source Software

1. Probleemstelling

Het bereiken van een balans tussen reproduceerbaarheid, kwantiteit en diversiteit in kwetsbaarheidsdatasets is historisch gezien beschouwd als een drieledige afweging, waarbij reproduceerbaarheid vaak de meest verwaarloosde dimensie is. Bestaande grootschalige datasets, zoals Google's OSS-Fuzz en de afgeleide OSS-Fuzz-OSV, lijden aan aanzienlijke reproductiefouten. In vergelijkende evaluaties slaagden 63% van de historische kwetsbare versies er niet in om te bouwen vanwege dependency drift, build-systeem bit-rot en ontbrekende resources. Als gevolg hiervan kunnen recente technieken gebaseerd op deze bronnen slechts ~37% van de kwetsbaarheden reproduceren.

Bovendien missen bestaande datasets cruciale metadata voor beveiligingsonderzoek, zoals triggerende inputs, reproduceerbare omgevingen en grondwaarheid-remediatiegegevens. Dit belemmert de evaluatie van dynamische analysetechnieken, geautomatiseerde patchgeneratie en de verificatie van kandidaat-patches. Handmatige inspanningen om kwetsbaarheden te reproduceren (bijv. Mu et al.) hebben een beperkte schaal bereikt (368 kwetsbaarheden) vanwege de prohibitieve kosten van menselijke arbeid, terwijl synthetische datasets vaak een gebrek aan overlap met de echte wereld vertonen.

2. Methodologie: Het ARVO-framework

ARVO (Atlas of Reproducible Vulnerabilities in Open-source software) is een framework dat is ontworpen om een grootschalige, reproduceerbare en diverse kwetsbaarheidsdataset te genereren door de specifieke obstakels bij het herbouwen van historische softwareversies aan te pakken. Het systeem importeert metadata van upstream-bronnen (voornamelijk OSS-Fuzz) en verrijkt deze met broncode, build-stappen en binaries.

Kerncomponenten

1. De Reproducer:

   • Doel: Het herbouwen van historische kwetsbare en gefixte versies vanuit de bron en het verifiëren dat de verstrekte Proof of Concept (Poct) de beoogde crash triggert in de kwetsbare versie, maar niet in de gefixte versie.
   • Strategieën voor reproduceerbaarheid:
     • Minimaal intrusieve build-instrumentatie: In tegenstelling tot OSS-Fuzz, dat broncode buiten de container vervangt nadat de build-omgeving is voorbereid (waarbij resource-initialisatie wordt genegeerd), instrumenteert ARVO het build-proces om het downloaden van resources te scheiden van de compilatie. Het koppelt alleen resource-fetching commando's, waardoor de natuurlijke build-flow behouden blijft.
     • Uitgebreide revisiecontrole: ARVO dwingt precieze versiecontrole af, niet alleen voor het hoofdproject, maar ook voor alle dependencies. Het gebruikt commit-timestamps om de meest recente compatibele dependency-versies te selecteren die beschikbaar waren op het moment van elke commit van de hoofdcomponent, zodat de build-omgeving consistent blijft tijdens het bisection-proces.
     • Herstel van defecte resources: ARVO onderhoudt een detectie-fix-loop voor ontbrekende resources (bijv. URL's die zijn gemigreerd van SVN naar Git). Het categoriseert resources in "core" (vereist voor compilatie) en "non-core" (bijv. fuzzing corpora). Ontbrekende non-core resources worden overgeslagen of aangepast om build-crashes te voorkomen, terwijl core resources handmatig worden hersteld (wat slechts enkele uren onderhoud per seizoen vereist) en worden opgeslagen als herbruikbare regels.

2. De Vulnerability Patch Locator:

   • Doel: Automatisch de exacte developer-commit identificeren die een kwetsbaarheid herstelt.
   • Mechanisme: ARVO maakt gebruik van commit bisection over het bereik van commits tussen de ontdekking en verificatie van de kwetsbaarheid.
   • Dependency handling: Tijdens de bisection, als een gekozen commit faalt om te bouwen door mismatches in dependencies, stapt ARVO naar een naburige commit om door te gaan. Het vertrouwt op commit-timestamps om dynamisch compatibele dependency-versies te selecten voor elke stap, waardoor het door duizenden commits kan bisectioneren, zelfs in complexe, multi-component projecten.

3. Datasetconstructie:

   • ARVO levert een dataset waarbij elke kwetsbaarheid is verpakt met zijn build-omgeving als een Docker-image.
   • Het ondersteunt backporting: Het systeem kan het herstellen van fixing commits gebruiken om kwetsbaarheden opnieuw te introduceren in oudere of andere versies van software, mits de patch netjes kan worden toegepast.

3. Belangrijkste bijdragen

1. Een nieuw dataset-paradigma: ARVO introduceert reproduceerbaarheid in beveiligingsdatasets op schaal, door kwantiteit, diversiteit en het vermogen om kwetsbaarheden uit de bron te herbouwen en te triggeren te combineren.
2. Oplossingen voor reproductie-uitdagingen: Het paper identificeert en lost belangrijke uitdagingen op bij de reproductie van historische software, specifhankelijk incompatibele dependencies, ontbrekende resources en fragiele build-processen, via een schaalbaar, geautomatiseerd ontwerp.
3. De ARVO-dataset: Een uitgebreide dataset van 6.138 real-world kwetsbaarheden verspreid over 311 open-source C/C++ projecten. Deze bevat:
   • Interactieve Docker-images voor zowel de kwetsbare als de gefixte versies.
   • Precieze patch-commits geïdentificeerd via automatische bisection.
   • Triggerende PoC-inputs voor elke kwetsbaarheid.
4. Open-source infrastructuur: De auteurs hebben het framework, de evaluatie-infrastructuur en 12.276 Docker-images (vul en fix versies voor elke reproductie) open-source gemaakt om downstream onderzoek en her-compilatie met willekeurige modificaties mogelijk te maken.

4. Resultaten en Evaluatie

• Succes in reproduceerbaarheid: ARVO reproduceert succesvol 81% van de geprobeerde kwetsbaarheden (6.138 van de 8.921 initiële kandidaten). Dit is een verbetering van 44 procentpunt ten opzichte van de state-of-the-art (OSS-Fuzz-OSV, dat ~37% bereikt).
• Patch nauwkeurigheid: In een handmatige evaluatie van 100 willekeurige gevallen over verschillende groepen overeenstemming, behaalde ARVO een algemene nauwkeurigheid van 89,4% bij het lokaliseren van de juiste fixing patch. Dit presteert beter dan de 82,9% nauwkeurigheid van OSS-Fuzz-OSV.
• Complexiteit afhandelen: ARVO gaat effectief om met complexe, multi-component projecten waar OSS-Fuzz faalt. In een vergelijking van 100 willekeurige issues reproduceerde ARVO 81% van de gevallen, terwijl OSS-Fuzz slechts 37% reproduceerde, waarbij OSS-Fuzz bijna volledig faalde op projecten met meer dan één component.
• Upstream impact: Door cross-vergelijking met upstream data, identificeerde ARVO meer dan 300 gevallen waarin kwetsbaarheden onjuist als gefixed werden gerapporteerd (en dus ongepatcht bleven) en 1.518 gevallen van onjuiste kwetsbaarheidsdata (false positives) in de upstream OSS-Fuzz dataset.

5. Betekenis en Claims

Het paper claimt dat ARVO statische kwetsbaarheidsrapporten transformeert in interactieve, verifieerbare artefacten. De primaire betekenis ligt in:

• Het mogelijk maken van downstream onderzoek: Door reproduceerbare omgevingen te bieden, ondersteunt ARVO de evaluatie van geautomatiseerde patchgeneratie, program repair en dynamische analysetechnieken die voorheen werden gehinderd door het gebrek aan ground-truth data.
• Het verbeteren van de upstream kwaliteit: Het framework fungeert als een feedbackloop die false positives en foutief gelabelde patches in upstream datasets zoals OSS-Fuzz identificeert en corrigeert.
• Schaalbaarheid en Automatisering: In tegenstelling tot handmatig vervaardigde datasets (bijv. Magma) die beperkt zijn in grootte en diversiteit, demonstreert ARVO dat hoge kwaliteit reproduceerbaarheid automatisch kan worden bereikt over honderden diverse projecten.

De auteurs merken op dat hoewel ARVO zich momenteel richt op C/C++ projecten die zich manifesteren als crashes op PoC-inputs, de methodologie algemeen is en kan worden uitgebreid naar andere talen en bugtypes. Ze erkennen ook beperkingen, zoals de intensiteit van het herbouwen van datasets en de uitsluiting van race conditions die moeilijk deterministisch te triggeren zijn. Het uiteindelijke doel is dat upstream bronnen reproduceerbaarheid inherent adopteren, waarna de rol van ARVO als een aparte reconstructielaag mogelijk overbodig wordt, hoewel de methodologie een cruciale bijdrage blijft aan het vakgebied.