Riepilogo Tecnico: ARVO – Atlas of Reproducible Vulnerabilities for Open-Source Software

1. Problema

Il documento identifica un critico "trilemma" nei dataset di vulnerabilità: riproducibilità, quantità e diversità. Storicamente, ottenere un'elevata quantità e diversità è avvenuto a scapito della riproducibilità. I dataset esistenti su larga scala, come Google OSS-Fuzz e il suo derivato OSS-Fuzz-OSV, soffrono di significativi fallimenti nella riproducibilità.

Tra le problematiche chiave identificate si includono:

• Fallimenti di Build: Nelle valutazioni comparative, il 63% delle versioni vulnerabili storiche di OSS-Fuzz non è riuscito a compilare a causa del "dependency drift", del decadimento del sistema di build (bitrot) e di risorse mancanti.
• Bassi Tassi di Riproduzione: Le attuali tecniche automatizzate basate su OSS-Fuzz (ad esempio, OSS-Fuzz-OSV) riproducono solo circa il 37% delle vulnerabilità.
• Inesattezza dei Dati: I metadati nei dataset esistenti contengono spesso errori. Gli autori hanno trovato 1.518 casi di dati di vulnerabilità errati (ad esempio, crash o correzioni) su 10.440 record in OSS-Fuzz (un tasso di errore del 14,5%).
• Mancanza di Ground Truth: Senza ambienti riproducibili e input di attivazione (triggering inputs), la ricerca di sicurezza a valle (come la generazione automatica di patch e l'analisi dinamica) è ostacolata. I ricercatori non possono verificare se una patch abbia effettivamente corretto un bug o se una vulnerabilità sia realmente presente.

2. Metodologia

Gli autori propongono ARVO (Atlas of Reproducible Vulnerabilities in Open-source software), un framework progettato per generare un dataset di vulnerabilità su larga scala, riproducibile e diversificato. ARVO affronta le sfide del recupero delle versioni storiche del software attraverso tre strategie principali implementate nei suoi componenti Reproducer e Patch Locator.

2.1. Il Reproducer

Il reproducer prende i metadati a monte (da OSS-Fuzz) e tenta di ricostruire le versioni vulnerabili e corrette del software dal codice sorgente. Per superare i fallimenti di build, ARVO impiega:

• Strumentazione della Build Minimamente Intrusiva: A differenza di OSS-Fuzz, che sostituisce il codice sorgente al di fuori del container dopo che l'ambiente di build è stato preparato (ignorando l'inizializzazione delle risorse), ARVO intercetta (hooks) i comandi di download delle risorse durante il processo di build. Ciò preserva il flusso naturale della build e garantisce che le dipendenze vengano recuperate correttamente.
• Controllo delle Revisioni Completo: ARVO impone il controllo delle versioni non solo per il progetto principale, ma per tutte le dipendenze. Utilizza i timestamp dei commit per selezionare le versioni delle dipendenze più recenti e compatibili disponibili al momento di un commit specifico del componente principale, prevenendo mismatch delle API.
• Riparazione delle Risorse Mancanti: ARVO mantiene un ciclo di rilevamento-riparazione per il "bit rot". Categorizza le risorse mancanti come core (necessarie per la compilazione) o non-core (ad esempio, seed per il fuzzing). Modifica automaticamente i comandi per saltare le risorse non-core e applica regole riutilizzabili per correggere le risorse core (ad esempio, aggiornando URL interrotti derivanti da repository migrati).

2.2. Il Patch Locator

Una volta che una vulnerabilità è riproducibile, ARVO identifica automaticamente la precisa patch dello sviluppatore che la corregge:

• Bisection dei Commit: ARVO esegue una ricerca binaria (bisection) sull'intervallo di commit tra la scoperta della vulnerabilità e la verifica della correzione.
• Bisection Consapevole delle Dipendenze: Durante la bisection, ARVO seleziona dinamicamente le versioni compatibili delle dipendenze per ogni commit candidato utilizzando i timestamp. Se un punto intermedio fallisce la build a causa di problemi di dipendenza, il sistema passa a un commit vicino per continuare la ricerca.
• Meccanismo di Fallback: Se la bisection si blocca a causa di troppi fallimenti di build, il sistema ricorre a una ricerca lineare, sebbene questa sia computazionalmente più onerosa.

2.3. Costruzione del Dataset

ARVO ingerisce i dati da OSS-Fuzz, filtrando per problemi rilevanti per la sicurezza (Type=Bug-Security, label:Reproducible, status:Verified). Produce:

• Immagini Docker: Container pre-costruiti per entrambe le versioni (vulnerabile e corretta) di ogni progetto.
• Input di Attivazione (Triggering Inputs): Input di tipo Proof-of-Concept (PoC) che attivano in modo affidabile il crash.
• Metadati della Patch: L'hash del commit specifico che corregge la vulnerabilità.

3. Contributi Chiave

1. Nuovo Paradigma di Dataset: L'introduzione di un dataset di sicurezza che raggiunge la combinazione di riproducibilità, quantità e diversità, una combinazione precedentemente non ottenuta su larga scala.
2. Soluzioni di Riproducibilità: Identificazione e mitigazione degli ostacoli chiave alla riproduzione di bug su larga scala, specificamente il controllo delle versioni delle dipendenze, la gestione delle risorse mancanti e la strumentazione della build non intrusiva.
3. Identificazione Automatica delle Patch: Un sistema capace di localizzare automaticamente le precise commit di correzione tramite bisection dei commit, una capacità assente nei dataset esistenti su larga scala.
4. Il Dataset ARVO: Un dataset concreto composto da 6.138 vulnerabilità reali distribuite su 311 progetti (C/C++), con relative immagini Docker e metadati.

4. Risultati e Valutazione

• Successo della Riproduzione: ARVO ha riprodotto con successo l'81% delle vulnerabilità tentate (6.138 su 8.921 candidati iniziali). Ciò rappresenta un miglioramento di 44 punti percentuali rispetto allo stato dell'arte (il ~37% di OSS-Fuzz-OSV).
• Accuratezza della Patch: Le patch localizzate automaticamente hanno raggiunto un'accuratezza dell'89,4% durante la verifica manuale. Questo supera l'accuratezza dell'82,9% di OSS-Fuzz-OSV sui casi sovrapposti.
• Impatto a Monte (Upstream): Incrociando ARVO con i dati a monte, gli autori hanno identificato oltre 300 vulnerabilità erroneamente contrassegnate come corrette da OSS-Fuzz ma rimaste non patchate, e 1.519 falsi positivi nei dati a monte.
• Scalabilità: Il sistema gestisce progetti complessi a più componenti (ad esempio, ImageMagick con oltre 15 dipendenze) dove i metodi precedenti fallivano.

5. Significato e Rivendicazioni

Il documento afferma che ARVO trasforma i report di vulnerabilità statici in artefatti interattivi e verificabili. La sua importanza risiede nel:

• Abilitare la Ricerca a Valle: Fornire una base affidabile per la generazione automatica di patch, strumenti di scoperta delle vulnerabilità e modelli di machine learning (ad esempio, utilizzati per la DARPA AI Cyber Challenge).
• Migliorare la Qualità a Monte: Dimostrare che la riproducibilità funge da ciclo di feedback per ripulire i dataset a monte (come OSS-Fuzz), correggendo i falsi positivi e identificando le vulnerabilità non patchate.
• Colmare il Divario: Andare oltre la natura "obsoleta" dei dataset curati manualmente (come Magma) e la natura "inaffidabile" delle collezioni puramente automatizzate, offrendo un dataset che sia al contempo su larga scala e rigorosamente riproducibile.

Gli autori sottolineano che, sebbene ARVO sia una mitigazione per le attuali limitazioni a monte, il suo obiettivo finale è stabilire la riproducibilità come proprietà standard per i dataset di sicurezza, rendendo potenzialmente superfluo il framework separato di ARVO una volta che gli upstream la supporteranno nativamente. Il framework e il dataset sono open-source per facilitare ulteriore ricerca.