Fool Me If You Can: On the Robustness of Binary Code Similarity Detection Models against Semantics-preserving Transformations

Resumen Técnico: Robustez de Modelos de Detección de Similitud de Código Binario

1. Problema y Contexto

La análisis de código binario es fundamental para la ciberseguridad, permitiendo la ingeniería inversa de programas sin acceso al código fuente. Recientemente, los modelos de aprendizaje profundo (Deep Learning) han mejorado tareas como la Detección de Similitud de Código Binario (BCSD), que identifica si dos fragmentos de código binario comparten la misma semántica funcional.

Sin embargo, existe una brecha crítica en la investigación: la robustez de estos modelos frente a transformaciones que preservan la semántica. A diferencia de las perturbaciones en visión por computadora o procesamiento de lenguaje natural, las instrucciones de máquina presentan desafíos únicos: dos instrucciones diferentes (ej. mov rax, 0 vs. xor rax, rax) pueden tener el mismo efecto semántico pero sintaxis distinta. Los autores plantean la pregunta: ¿Pueden los atacantes engañar a estos modelos introduciendo cambios mínimos que no alteren la funcionalidad del programa, pero que cambien drásticamente la predicción de similitud?

2. Metodología: Sistema asmFooler

Para evaluar la resiliencia de los modelos, los autores introducen asmFooler, un sistema diseñado para generar variantes de código binario adversarias y probar su impacto en modelos de BCSD.

• Generación de Variantes (Adversarial Samples):

  • Se construyó un corpus de 9,565 variantes binarias a partir de 620 muestras base.
  • Se aplicaron 8 tipos de transformaciones que preservan la semántica, divididas en dos categorías:
    1. Diversificación de Código: Técnicas como la reordenación de bloques básicos (intra e inter), sustitución de instrucciones, reasignación de registros y reordenamiento de código de preservación de registros.
    2. Ofuscación de Código: Inserción de "NOPs semánticos" (instrucciones que no alteran el estado final), inserción de código basura (junk code) no alcanzable, y técnicas basadas en Obfuscator-LLVM (sustitución de instrucciones, flujo de control falso y aplanamiento del flujo de control).
  • Preservación de Semántica: Todas las transformaciones aseguran que el programa ejecutable mantenga su comportamiento original, cumpliendo con un "presupuesto de transformación" (límite de instrucciones o bytes añadidos).

• Evaluación de Robustez:

  • Se probaron 6 modelos representativos de BCSD de última generación: Genius, Gemini, Asm2Vec, SAFE, Trex y BinShot. Estos modelos varían en arquitectura (Redes Neuronales de Grafos, embeddings, modelos basados en BERT/Transformers) y características de entrada (gráficos de flujo de control, secuencias de instrucciones, trazas de ejecución).
  • Se evaluaron dos tipos de ataques:
    1. Falsos Negativos (FN): Hacer que el modelo clasifique código similar como diferente (evasión).
    2. Falsos Positivos (FP): Hacer que el modelo clasifique código diferente como similar (engañar al sistema para que ignore código malicioso). Para esto, se diseñó una estrategia de muestreo codicioso (greedy sampling) que inserta prefijos de instrucciones adversarias para maximizar la similitud percibida.

3. Contribuciones Clave

1. Sistema asmFooler: Una herramienta integral para generar y evaluar variantes binarias adversarias utilizando un espectro amplio de transformaciones semánticas.
2. Corpus de Datos: Creación de un dataset masivo de 9,565 variantes binarias adversarias derivadas de paquetes de sistema, utilidades de código abierto y benchmarks (SPEC2006).
3. Evaluación Exhaustiva: Análisis comparativo de seis modelos SOTA frente a perturbaciones de FN y FP, incluyendo pruebas de transferibilidad (si un ataque diseñado para un modelo funciona en otros).
4. Análisis Explicable (XAI): Uso de técnicas como SHAP y mapas de saliencia para entender por qué fallan los modelos, revelando cómo las perturbaciones distorsionan los patrones de atención interna.

4. Resultados Principales

Los experimentos revelaron hallazgos críticos sobre la fragilidad de los modelos actuales:

• Dependencia del Pipeline de Procesamiento: La robustez no es inherente al modelo, sino que depende de cómo se procesan las características.

  • Los modelos que dependen exclusivamente de características estáticas o de secuencia de instrucciones (como BinShot) son extremadamente vulnerables a la reordenación de bloques básicos.
  • Los modelos basados en Grafos de Flujo de Control (CFG) (Genius, Gemini) son robustos ante la reordenación, pero colapsan ante ofuscaciones que alteran la estructura del grafo (como el aplanamiento del flujo de control).
  • Los modelos que utilizan recorridos aleatorios (random walks) o trazas dinámicas (Asm2Vec, Trex) mostraron mayor resiliencia general, ya que pueden ignorar el orden exacto de las instrucciones.

• Efectividad de las Perturbaciones FP:

  • Es posible lograr tasas de éxito de ataque (ASR) cercanas al 100% induciendo falsos positivos.
  • Esto se logra con perturbaciones mínimas: en promedio, se necesitaron solo 14.75 instrucciones adicionales (aprox. 57 bytes) para engañar al modelo.
  • Los ataques FP muestran alta transferibilidad: un ataque diseñado para engañar a BinShot también engañó eficazmente a otros modelos con arquitecturas similares (basados en embeddings de instrucciones), aunque los modelos basados en grafos fueron más resistentes.

• Análisis XAI:

  • Las perturbaciones FP causan que los valores de Shapley (importancia de los tokens) converjan hacia cero, indicando que el modelo pierde la capacidad de distinguir características críticas.
  • La saliencia de las instrucciones clave disminuye, lo que sugiere que el modelo se vuelve "ciego" a las diferencias semánticas reales debido a las instrucciones insertadas.

5. Significado e Implicaciones

Este trabajo demuestra que los modelos actuales de BCSD, a pesar de su popularidad en seguridad, son altamente vulnerables a ataques de evasión y engaño mediante transformaciones de bajo costo.

• Para la Seguridad: Si un sistema de detección de malware o plagio se basa en estos modelos, un atacante con conocimientos básicos de ensamblador podría modificar el código malicioso para que sea indetectable o se clasifique como benigno.
• Para el Diseño de Modelos: La investigación sugiere que la robustez no se logra solo con más datos, sino mediante una arquitectura híbrida que combine características estáticas (CFG) y dinámicas (trazas de ejecución), y que sea consciente de la equivalencia semántica de las instrucciones.
• Futuro: Se destaca la necesidad de desarrollar técnicas de entrenamiento adversarial y validación formal para asegurar que los modelos de análisis binario sean fiables en entornos hostiles.

En conclusión, el artículo "Fool Me If You Can" establece un nuevo estándar para evaluar la seguridad de los modelos de IA en el análisis binario, revelando que la semántica del código es más fácil de manipular de lo que se pensaba para engañar a las redes neuronales.