Resumo Técnico: ARVO – Atlas de Vulnerabilidades Reproduzíveis para Software de Código Aberto

1. Declaração do Problema

Alcançar um equilíbrio entre reprodutibilidade, quantidade e diversidade em conjuntos de dados de vulnerabilidades tem sido historicamente visto como um compromisso triplo, sendo a reprodutibilidade frequentemente a dimensão mais negligenciada. Conjuntos de dados de larga escala existentes, como o OSS-Fuzz do Google e seu derivado OSS-Fuzz-OSV, sofrem de falhas significativas de reprodutibilidade. Em avaliações comparativas, 63% das versões vulneráveis históricas falharam na compilação devido ao dependency drift (deriva de dependências), apodrecimento (bit-rot) do sistema de build e recursos ausentes. Consequentemente, técnicas recentes baseadas nessas fontes conseguem reproduzir apenas cerca de 37% das vulnerabilidades.

Além disso, os conjuntos de dados existentes carecem de metadados críticos para pesquisa de segurança, tais como entradas de gatilho (triggering inputs), ambientes reproduzíveis e dados de remediação de verdade fundamental (ground-truth). Isso prejudica a avaliação de técnicas de análise dinâmica, geração automática de patches e a verificação de patches candidatos. Esforços manuais para reproduzir vulnerabilidades (ex: Mu et al.) alcançaram uma escala limitada (368 vulnerabilidades) devido ao custo proibitivo do trabalho humano, enquanto conjuntos de dados sintéticos muitas vezes carecem de sobreposição com o mundo real.

2. Metodologia: O Framework ARVO

O ARVO (Atlas of Reproducible Vulnerabilities in Open-source software) é um framework projetado para gerar um conjunto de dados de vulnerabilidades de larga escala, reprodutível e diverso, abordando os obstáculos específicos para reconstruir versões históricas de software. O sistema ingere metadados de fontes ascendentes (principalmente OSS-Fuzz) e o aumenta com código-fonte, etapas de build e binários.

Componentes Principais

1. O Reproductor (The Reproducer):

   • Objetivo: Reconstruir versões vulneráveis e corrigidas históricas a partir do código-fonte e verificar que o Prova de Conceito (PoC) fornecido dispara o erro (crash) pretendido na versão vulnerável, mas não na versão corrigida.
   • Estratégias para Reprodutibilidade:
     • Instrumentação de Build Minimamente Intrusiva: Diferente do OSS-Fuzz, que substitui o código-fonte fora do container após a preparação do ambiente de build (ignorando a inicialização de recursos), o ARVO instrumenta o processo de build para separar ações de download de recursos da compilação. Ele faz o hook apenas em comandos de busca de recursos, preservando o fluxo natural do build.
     • Controle de Revisão Abrangente: O ARVO impõe um controle de versão preciso não apenas para o projeto principal, mas para todas as dependências. Ele utiliza carimbos de data/hora (timestamps) de commits para selecionar as versões de dependência mais recentes e compatíveis disponíveis no momento de cada commit do componente principal, garantindo que o ambiente de build permaneça consistente durante o processo de bisseção.
     • Correção de Recursos Quebrados: O ARVO mantém um ciclo de detecção-correção para recursos ausentes (ex: URLs que migraram de SVN para Git). Ele categoriza os recursos em "core" (necessários para a compilação) e "não-core" (ex: corpora de fuzzing). Recursos não-core ausentes são ignorados ou modificados para evitar falhas no build, enquanto recursos core são corrigidos manualmente (exigindo apenas algumas horas de manutenção por temporada) e armazenados como regras reutilizáveis.

2. O Localizador de Patch de Vulnerabilidade (The Vulnerability Patch Locator):

   • Objetivo: Identificar automaticamente o commit exato do desenvolvedor que corrige uma vulnerabilidade.
   • Mecanismo: O ARVO emprega bisseção de commits através do intervalo de commits entre a descoberta e a verificação da vulnerabilidade.
   • Tratamento de Dependências: Durante a bisseção, se um commit escolhido falhar na compilação devido a incompatibilidades de dependência, o ARVO avança para um commit vizinho para continuar. Ele depende de timestamps de commits para selecionar dinamicamente versões de dependências compatíveis para cada etapa, permitindo bissecar através de milhares de commits, mesmo em projetos de múltiplos componentes complexos.

3. Construção do Conjunto de Dados:

   • O ARVO gera um conjunto de dados onde cada vulnerabilidade é empacotada com seu ambiente de build como uma imagem Docker.
   • Ele suporta backporting: O sistema pode reverter commits de correção para reintroduzir vulnerabilidades em versões mais antigas ou diferentes de um software, desde que o patch seja aplicado de forma limpa.

3. Contribuições Principais

1. Um Novo Paradigma de Conjunto de Dados: O ARVO introduz a reprodutibilidade em conjuntos de dados de segurança em escala, combinando quantidade, diversidade e a capacidade de reconstruir e disparar vulnerabilidades a partir do código-fonte.
2. Soluções para Desafios de Reprodução: O artigo identifica e resolve desafios fundamentais na reprodução de software histórico, especificamente dependências incompatíveis, recursos ausentes e processos de build frágeis, através de um design automatizado e escalável.
3. O Conjunto de Dados ARVO: Um conjunto abrangente de 6.138 vulnerabilidades do mundo real em 311 projetos open-source de C/C++. Ele inclui:
   • Imagens Docker interativas tanto para as versões vulneráveis quanto para as corrigidas.
   • Commits de patch precisos identificados via bisseção automatizada.
   • Entradas de PoC de gatilho para cada vulnerabilidade.
4. Infraestrutura de Código Aberto: Os autores disponibilizaram o framework, a infraestrutura de avaliação e 12.276 imagens Docker (versões vul e fix para cada reprodução) para permitir pesquisas subsequentes e a recompilação com modificações arbitrárias.

4. Resultados e Avaliação

• Sucesso de Reprodutibilidade: O ARVO reproduziu com sucesso 81% das vulnerabilidades tentadas (6.138 de 8.921 candidatos iniciais). Isso representa uma melhoria de 44 pontos percentuais sobre o estado da arte (OSS-Fuzz-OSV, que alcança ~37%).
• Precisão do Patch: Em uma avaliação manual de 100 casos aleatórios entre diferentes grupos de concordância, o ARVO alcançou uma precisão geral de 89,4% ao localizar o patch de correção correto. Isso supera a precisão de 82,9% do OSS-Fuzz-OSV.
• Tratamento de Complexidade: O ARVO lida efetivamente com projetos complexos de múltiplos componentes onde o OSS-Fuzz falha. Em uma comparação de 100 problemas aleatórios, o ARVO reproduziu 81% dos casos, enquanto o OSS-Fuzz reproduziu apenas 37%, falhando quase totalmente em projetos com mais de um componente.
• Impacto Ascendente (Upstream): Ao realizar o cruzamento com dados ascendentes, o ARVO identificou mais de 300 casos onde as vulnerabilidades foram reportadas incorretamente como corrigidas (permanecendo não corrigidas) e 1.518 casos de dados de vulnerabilidade incorretos (falsos positivos) no conjunto de dados do OSS-Fuzz.

5. Significância e Alegações

O artigo afirma que o ARVO transforma relatórios de vulnerabilidades estáticos em artefatos interativos e verificáveis. Sua principal significância reside em:

• Habilitar Pesquisas Subsequentes: Ao fornecer ambientes reproduzíveis, o ARVO suporta a avaliação de geração automática de patches, reparo de programas e técnicas de análise dinâmica que eram anteriormente dificultadas pela falta de dados de verdade fundamental.
• Melhorar a Qualidade Ascendente: O framework atua como um ciclo de feedback, identificando e corrigindo falsos positivos e patches mal rotulados em conjuntos de dados ascendentes como o OSS-Fuzz.
• Escalabilidade e Automação: Diferente de conjuntos de dados criados manualmente (ex: Magma), que são limitados em tamanho e diversidade, o ARVO demonstra que uma alta reprodutibilidade pode ser alcançada automaticamente através de centenas de projetos diversos.

Os autores observam que, embora o ARVO foque atualmente em projetos C/C++ que manifestam crashes em entradas de PoC, a metodologia é geral e pode se estender a outras linguagens e tipos de bugs. Eles também reconhecem limitações, como a intensidade de recursos para reconstruir conjuntos de dados e a exclusão de race conditions que são difíceis de disparar deterministicamente. O objetivo final é que as fontes ascendentes adotem nativamente a reprodutibilidade, ponto em que o papel do ARVO como uma camada de reconstrução separada pode se tornar desnecessário, embora a metodologia permaneça uma contribuição crítica para o campo.