Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations

Título: Fool Me If You Can: Sobre a Robustez de Modelos de Detecção de Similaridade de Código Binário contra Transformações que Preservam Semântica

1. O Problema

A análise de código binário é fundamental para a segurança cibernética, permitindo a engenharia reversa de programas sem acesso ao código-fonte. Recentemente, modelos de aprendizado profundo (Deep Learning) foram adotados para automatizar tarefas como a Detecção de Similaridade de Código Binário (BCSD), que identifica se dois fragmentos de código binário possuem a mesma funcionalidade, mesmo sem símbolos ou metadados.

No entanto, a robustez desses modelos contra transformações de código que preservam a semântica (ou seja, alterações que mudam a aparência do código binário, mas não sua lógica de execução) permanece pouco explorada.

• O Desafio: Diferente de perturbações em imagens ou texto, instruções de máquina possuem expressividade única e restrições rígidas (um erro de bit pode quebrar o programa).
• A Ameaça: Um adversário pode manipular um binário malicioso para que ele pareça diferente para o modelo de IA (evitando detecção) ou fazer com que um código malicioso pareça benigno (falso positivo), explorando as vulnerabilidades do modelo.

2. Metodologia: O Sistema asmFooler

Os autores introduzem o asmFooler, um sistema projetado para avaliar a resiliência de modelos BCSD contra um espectro diversificado de transformações.

• Geração de Variantes Binárias:

  • O sistema aplica 8 tipos de transformações que preservam a semântica, divididas em duas categorias:
    1. Diversificação de Código: Técnicas como randomização de código in-place (substituição de instruções, reordenação dentro de blocos básicos, reatribuição de registradores) e reordenação inter-blocos básicos.
    2. Ofuscação de Código: Técnicas como implantação de NOPs semânticos (sequências de instruções que não alteram o estado final), inserção de código lixo (instruções inacessíveis) e ofuscação baseada em Obfuscator-LLVM (substituição de instruções, controle de fluxo falso, achatamento de fluxo de controle).
  • Orçamento de Transformação: As transformações são limitadas por um "orçamento" (número de instruções ou bytes adicionados) para simular restrições reais de ataque e garantir que o código permaneça funcional.

• Avaliação de Robustez:

  • Foram testados 6 modelos BCSD de última geração: Genius, Gemini, Asm2Vec, SAFE, Trex e BinShot.
  • Tipos de Ataques Avaliados:
    1. Gatilho de Falso Negativo (FN): Transformar código similar para parecer diferente (evitar detecção).
    2. Gatilho de Falso Positivo (FP): Transformar código diferente para parecer similar (enganar o modelo). Para isso, foi desenvolvida uma estratégia de amostragem gulosa (greedy sampling) que insere um prefixo de instruções adversárias no início da função para explorar o viés posicional dos modelos.
    3. Transferibilidade: Testar se os ataques gerados para um modelo funcionam em outros.

• Conjunto de Dados:

  • Um corpus de 9.565 variantes binárias derivadas de 620 amostras base (incluindo utilitários do sistema, pacotes open-source e benchmarks SPEC2006).

3. Principais Contribuições

1. Sistema asmFooler: Uma ferramenta completa para gerar e avaliar variantes binárias adversárias sem modificar o código-fonte.
2. Banco de Dados Adversarial: A criação de um conjunto de dados massivo com milhares de variantes binárias geradas por técnicas de diversificação e ofuscação.
3. Estratégia de Ataque FP: Desenvolvimento de um algoritmo de amostragem gulosa para induzir falsos positivos com perturbações mínimas.
4. Análise Explicável (XAI): Uso de técnicas como SHAP e Mapas de Saliência para entender como e por que as perturbações enganam os modelos (ex: distorção dos padrões de atenção do modelo).

4. Resultados Chave

Os experimentos revelaram insights críticos sobre a vulnerabilidade dos modelos:

• Dependência do Pipeline de Processamento: A robustez não é inerente ao modelo, mas depende de como ele processa o código.

  • Modelos baseados em Grafos de Fluxo de Controle (CFG) (como Genius e Gemini) são robustos a reordenações de blocos, mas vulneráveis a ofuscação que altera a estrutura do grafo (como achatamento de fluxo de controle).
  • Modelos baseados apenas em instruções ou sequências (como BinShot) são altamente vulneráveis a reordenações e diversificação, pois perdem a correlação de ordem.
  • Modelos que utilizam micro-rastros ou caminhadas aleatórias (Asm2Vec, Trex) mostraram maior resiliência a certas perturbações.

• Limites do Orçamento de Transformação: A eficácia do ataque é limitada pela capacidade do modelo de processar entradas (tamanho máximo de instruções) e pela expressividade das instruções equivalentes.

• Eficácia de Perturbações Mínimas:

  • Ataques de Falso Positivo foram altamente eficazes. Com uma média de apenas 14,75 instruções adicionais (aprox. 57 bytes), os autores alcançaram taxas de sucesso de até 100% em alguns modelos.
  • As perturbações funcionam distorcendo os padrões de atenção interna do modelo, fazendo com que ele ignore características críticas.

• Transferibilidade: Ataques de Falso Positivo gerados para um modelo (ex: BinShot) transferiram-se com sucesso para outros modelos, especialmente aqueles com arquiteturas semelhantes (ex: modelos baseados em embeddings de instruções ou BERT). Modelos baseados em grafos foram mais resilientes à transferência.

5. Significado e Impacto

Este trabalho demonstra que os modelos atuais de detecção de similaridade de código binário, embora promissores, são frágeis contra adversários que possuem conhecimento das técnicas de ofuscação e diversificação.

• Para a Segurança: Alerta que a dependência exclusiva de modelos de IA para detecção de malware ou análise de clones de código é arriscada, pois pode ser facilmente contornada.
• Para o Desenvolvimento de Modelos: Sugere que futuros modelos devem incorporar características dinâmicas (como rastros de execução) e estruturas de grafo robustas para mitigar esses ataques.
• Defesa: Indica que o treinamento com aumento de dados (data augmentation) usando essas transformações e o uso de técnicas de treinamento adversarial são caminhos necessários para construir sistemas mais confiáveis.

Em resumo, o artigo prova que é possível "enganar" sistemas avançados de análise binária com manipulações sutis e semanticamente corretas, destacando a necessidade urgente de melhorar a robustez desses modelos antes de sua adoção em larga escala em ambientes de segurança crítica.