OSS-CRS: Liberating AIxCC Cyber Reasoning Systems for Real-World Open-Source Security

O artigo apresenta o OSS-CRS, um framework de código aberto e localmente implantável que supera as limitações de infraestrutura das sete equipes do desafio DARPA AIxCC, permitindo a aplicação prática de sistemas de raciocínio cibernético em projetos de código real e resultando na descoberta de 10 vulnerabilidades previamente desconhecidas.

O essencial

Imagine que você tem um time de detetives superinteligentes, alimentados por Inteligência Artificial (IA), que foram treinados em uma competição de "hackeamento ético" para encontrar falhas em softwares e, o mais importante, consertá-las sozinhos.

Esses detetives venceram a competição, mas quando voltaram para a vida real, eles ficaram presos. Era como se eles tivessem aprendido a dirigir apenas em uma pista de corrida específica, com um carro personalizado que só funcionava naquela pista. Se você tentasse levá-los para uma estrada comum (o mundo real, com softwares de código aberto), eles não sabiam como dirigir. Eles dependiam de uma infraestrutura de nuvem que deixou de existir e eram tão complexos que ninguém conseguia entender como usá-los fora do time original.

O problema:
O mundo do software open-source (código aberto) está cheio de bugs. Os criadores desses softwares estão sobrecarregados. Às vezes, a IA encontra um bug, mas não sabe como corrigi-lo, deixando os humanos com a tarefa de verificar se é real e escrever o conserto. Isso gera muito trabalho e frustração.

A solução: OSS-CRS
Os autores deste paper criaram uma ferramenta chamada OSS-CRS. Pense nela como um "Garagem Universal" ou um "Kit de Adaptação".

Aqui está como funciona, usando analogias do dia a dia:

1. O Tradutor Universal (Interface Padrão)

Antes, cada time de detetives falava uma língua diferente e usava ferramentas diferentes. O OSS-CRS criou um "dicionário" e um "manual de instruções" único. Agora, qualquer sistema de IA, não importa de onde venha, pode entrar nessa garagem, ler o manual e começar a trabalhar em qualquer projeto de software, sem precisar ser reescrito do zero.

2. A Pista de Corrida Portátil (Infraestrutura Local)

Os detetives originais precisavam de uma pista gigante na nuvem (servidores da Microsoft Azure) para funcionar. O OSS-CRS construiu uma pista de corrida portátil que cabe no seu próprio computador (ou servidor local).

• Antes: Você precisava alugar uma cidade inteira para testar um carro.
• Agora: Você pode testar o carro na sua garagem, gastando apenas o combustível que você tem no bolso.

3. O Gerente de Orçamento (Controle de Custos)

Usar IA custa dinheiro (cada pergunta feita à IA tem um preço). Antes, os sistemas poderiam gastar milhares de dólares sem controle. O OSS-CRS tem um gerente de orçamento que vigia cada detetive. Se um detetive gastar muito dinheiro tentando adivinhar uma solução, o gerente corta o fornecimento de energia. Isso garante que você não quebre o banco tentando encontrar bugs.

4. A Sala de Troca de Ideias (Colaboração)

Imagine que você tem um detetive especialista em encontrar falhas de motor e outro especialista em consertar o sistema elétrico. Antigamente, eles ficavam em salas separadas e não conversavam.
O OSS-CRS cria uma sala de troca de ideias.

• O detetive A encontra um bug e deixa um bilhete na mesa (o "artefato").
• O detetive B vê o bilhete, pega o problema e tenta consertar.
  Eles trabalham juntos sem precisar se falar diretamente, apenas trocando "bilhetes" (dados) de forma organizada.

O Resultado na Prática

Os autores pegaram o sistema vencedor da competição (chamado ATLANTIS), que era o mais complexo e dependente de nuvem, e o "desmontaram" para colocar dentro dessa Garagem Universal (OSS-CRS).

O resultado?

• Eles conseguiram rodar o sistema em um único computador comum.
• Eles encontraram 10 bugs novos em softwares reais e famosos (como bibliotecas de internet e bancos de dados).
• 3 desses bugs eram graves e já foram corrigidos pelos criadores originais dos softwares.

Resumo Final

O OSS-CRS é como transformar um Fórmula 1 que só corria em pistas privadas em um carro popular que qualquer pessoa pode dirigir na rua. Ele tira a barreira técnica, controla os custos e permite que a inteligência artificial não apenas encontre problemas de segurança, mas também os resolva, ajudando a proteger o software que usamos todos os dias.

Agora, em vez de ter 7 times com 7 sistemas que ninguém consegue usar, temos uma plataforma aberta onde qualquer pesquisador ou empresa pode pegar essas ferramentas, combiná-las e proteger a internet de forma mais eficiente.

Resumo técnico

1. Problema Identificado

O DARPA AI Cyber Challenge (AIxCC) demonstrou que Sistemas de Raciocínio Cibernético (CRS) autônomos podem não apenas descobrir vulnerabilidades, mas também confirmar e corrigi-las (gerar patches). Sete equipes finalistas desenvolveram tais sistemas e os tornaram de código aberto. No entanto, o artigo identifica que esses sistemas permanecem largamente inutilizáveis fora de suas equipes originais devido a três barreiras principais de implantação:

1. Duplicação de Infraestrutura: Cada equipe reconstruiu independentemente serviços de plataforma essenciais (como orquestração de contêineres, gateways de LLM e rastreamento de orçamento), resultando em esforço repetitivo e ineficiente.
2. Bloqueio de Nuvem (Cloud Lock-in): Todos os sistemas foram projetados para a infraestrutura específica da competição (Azure e Kubernetes), que foi desativada após o evento. Sistemas como o vencedor (ATLANTIS) dependem de mais de 20 VMs na Azure e não podem ser executados localmente sem essa infraestrutura.
3. Design Monolítico: As técnicas de análise estão embutidas em sistemas monolíticos sem interfaces modulares. Isso impede que pesquisadores comparem, combinem ou reutilizem componentes específicos (ex: um fuzzer de uma equipe com um corretor de outra) sem reimplementar todo o sistema.

Além disso, a automação de segurança atual muitas vezes para na descoberta, deixando os mantenedores de código aberto sobrecarregados com a validação e correção, gerando o fenômeno de "CVE slop" (relatórios de bugs não validados).

2. Metodologia e Arquitetura (OSS-CRS)

Para superar essas barreiras, os autores apresentaram o OSS-CRS, um framework aberto e localmente implantável para executar e combinar técnicas de CRS em projetos de código aberto reais.

Arquitetura Principal

O OSS-CRS atua como uma camada de infraestrutura unificada que permite que diferentes CRSs operem de forma isolada, mas coordenada:

• Interface Unificada (libCRS): Uma biblioteca Python injetada em cada contêiner CRS, fornecendo APIs padronizadas para baixar alvos, submeter artefatos (PoVs, patches) e validar correções.
• Modelo de Execução em Três Fases:
  1. Prepare: Constrói imagens de contêiner para o CRS (independentes do alvo).
  2. Build-Target: Compila o projeto alvo (ex: OSS-Fuzz) com instrumentação.
  3. Run: Executa os contêineres CRS para análise.
• Gerenciamento de Recursos:
  • Isolamento: Cada CRS roda em contêineres Docker isolados com limites de CPU, memória e rede dedicados.
  • Orçamento de LLM: O sistema gerencia custos de APIs de LLM como um recurso de primeira classe, com orçamentos em dólares por campanha, impedindo gastos excessivos.
  • Proxy LLM: Utiliza o LiteLLM para roteamento de modelos e aplicação de limites de orçamento por CRS.
• Troca de Artefatos (Exchange Sidecar): Um mecanismo baseado em sistema de arquivos permite que CRSs troquem dados (sementes de fuzzing, Proofs of Vulnerability - PoVs, patches) sem comunicação direta de rede, facilitando a execução em conjunto (ensemble).

Integração e Portabilidade

Os autores demonstraram a viabilidade do framework ao portar o sistema vencedor do AIxCC, o ATLANTIS, para o OSS-CRS.

• O processo envolveu a criação de manifestos (crs.yaml), substituição de chamadas de API específicas da competição por comandos libCRS, e adaptação do fluxo de construção para o modelo Docker plano (sem Docker-in-Docker).
• Foram portadas três sub-sistemas do ATLANTIS (para C/C++, Java e Multilíngue) e um novo CRS de geração de patches chamado CLAUDECODE.

3. Contribuições Chave

1. Análise Empírica: Identificação e documentação das três barreiras de implantação (duplicação, lock-in de nuvem, design monolítico) que impedem a adoção prática dos sistemas do AIxCC.
2. Framework OSS-CRS: Um framework de código aberto que oferece:
   • Um modelo de execução unificado e interface padrão.
   • Gerenciamento de recursos (CPU, Memória, LLM) e isolamento.
   • Suporte para composição de técnicas de diferentes CRSs.
3. Validação no Mundo Real:
   • Portabilidade bem-sucedida do sistema de ponta (ATLANTIS) para um ambiente local sem infraestrutura de nuvem.
   • Descoberta de 10 bugs anteriormente desconhecidos em 8 projetos do OSS-Fuzz.
   • Geração e validação automática de patches para essas vulnerabilidades.

4. Resultados

• Descoberta de Vulnerabilidades: Ao executar o ATLANTIS portado contra 8 projetos OSS-Fuzz (variando de 3k a 1,960k linhas de código), o sistema encontrou 10 bugs novos.
  • Severidade: 3 bugs foram classificados como de alta severidade.
  • Tipos: A maioria foram bugs de segurança de memória em C, mas também incluiu bugs de lógica e comportamentos indefinidos (CWE-476, CWE-674, CWE-681).
  • Status: Até o momento da publicação, 3 bugs foram corrigidos pelos mantenedores, 1 confirmado e 6 aguardando revisão.
• Eficiência Operacional: O sistema operou em uma única máquina (32 CPUs, 128GB RAM) com orçamentos de LLM controlados ($50 por campanha), demonstrando que sistemas de nível de competição não dependem de clusters massivos de nuvem se a infraestrutura for corretamente abstraída.
• Geração de Patches: O sistema CLAUDECODE, integrado ao framework, foi capaz de gerar patches mínimos e validá-los automaticamente através do ciclo de reconstrução e teste fornecido pelo builder sidecar.

5. Significado e Impacto

O trabalho do OSS-CRS é fundamental para o futuro da segurança de software automatizada:

• Democratização da Tecnologia: Transforma sistemas de pesquisa de ponta (antes restritos a ambientes de competição específicos) em ferramentas acessíveis para pesquisadores e mantenedores de código aberto.
• Reprodutibilidade e Comparação: Permite que a comunidade execute experimentos cruzados entre diferentes CRSs sob configurações consistentes, algo impossível com os sistemas monolíticos originais.
• Mudança de Paradigma: Move o foco da simples "descoberta de bugs" (que sobrecarrega mantenedores) para a "correção validada", fornecendo Proofs of Vulnerability (PoVs) e patches prontos para uso.
• Sustentabilidade: Ao eliminar a dependência de infraestrutura de nuvem específica e gerenciar custos de LLM, o framework torna a execução contínua de sistemas de raciocínio cibernético economicamente viável.

Em suma, o OSS-CRS não é apenas uma ferramenta de execução, mas uma infraestrutura compartilhada que permite a evolução, combinação e avaliação contínua de técnicas de segurança autônoma para proteger o ecossistema de código aberto.