Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context

Resumen Técnico: Preentrenamiento en Grafos de Llamadas: Cuándo las tareas de análisis binario se benefician del contexto

Planteamiento del Problema
El análisis de código binario a menudo depende de modelos de aprendizaje profundo para codificar la semántica de las funciones desensambladas para tareas como la detección de similitud de código binario (BCSD), la detección de vulnerabilidades y la clasificación de malware. Aunque los modelos basados en Transformers de última generación (por ejemplo, CLAP, jTrans) capturan eficazmente la semántica intraprocedimental, enfrentan limitaciones de escalabilidad con respecto al contexto completo del programa. Una estrategia común para abordar esto es aprovechar el contexto interprocedimental mediante grafos de llamadas, donde la incrustación (embedding) de una función se refina utilizando información de sus funciones llamadas (callees). Sin embargo, la literatura existente carece de un examen sistemático de cómo estos refinamientos basados en grafos de llamadas afectan la generalización de las incrustaciones a tareas de downstream más allá de la BCSD. Específicamente, no está claro si la optimización para la similitud semántica (BCSD) preserva o degrada el rendimiento en tareas sintácticas (por ejemplo, recuperación de procedencia del compilador) u otras tareas semánticas (por ejemplo, etiquetado de funciones). Además, no se han analizado exhaustivamente las condiciones específicas bajo las cuales las mejoras del grafo de llamadas son beneficiosas, tales como el tamaño de la función, la complejidad o el tipo de etiqueta.

Metodología
Los autores proponen un flujo de trabajo para evaluar el impacto del preentrenamiento con grafos de llamadas en las incrustaciones de funciones binarias. El proceso involucra cuatro pasos principales:

1. Desensamblado y Extracción: Los binarios de entrada se desensamblan (usando IDA Pro) para extraer funciones y construir un grafo de llamadas dirigido donde los nodos representan funciones internas y las aristas representan las relaciones entre llamador (caller) y llamado (callee).
2. Incrustación del Backbone: Modelos basados en Transformers preentrenados (CLAP y jTrans) generan incrustaciones iniciales para cada función.
3. Refinamiento Basado en Grafos: El grafo de llamadas se procesa utilizando Redes Neuronales de Grafos (GNN) para actualizar las incrustaciones de los nodos. El estudio compara tres estrategias de agregación:
   • AVG: Una línea base de promedio simple de las incrustaciones de los vecinos.
   • GCN (Red Convolucional de Grafos): Agrega vecinos utilizando pesos predefinidos.
   • GAT (Red de Atención de Grafos): Utiliza un mecanismo de atención para aprender la importancia de los vecinos.
     Los modelos se entrenan con profundidades de llamada que van de 1 a 5.
4. Evaluación: Las incrustaciones resultantes mejoradas por contexto se evalúan en tres tareas distintas:
   • Detección de Similitud de Código Binario (BCSD): La tarea principal de entrenamiento, utilizando la pérdida contrastiva InfoNCE para identificar funciones compiladas desde el mismo código fuente.
   • Etiquetado Extremo de Funciones (XFL): Una tarea semántica de downstream que predice nombres de funciones normalizados (clasificación multietiqueta).
   • Detección de Optimización del Compilador (COD): Una tarea sintáctica de downstream que predice el nivel de optimización del compilador (O0–O3, Os) para evaluar la retención de detalles técnicos de bajo nivel.

Los experimentos utilizan un conjunto de datos derivado de BinaryCorp-26M, que comprende aproximadamente 1.4 millones de pares de funciones de 34,300 binarios.

Resultados Clave
El estudio arroja varios hallazgos críticos con respecto a las compensaciones (trade-offs) de la integración del grafo de llamadas:

• Rendimiento de BCSD: La integración del contexto del grafo de llamadas mejora significativamente el rendimiento de la BCSD. El modelo GAT con una profundidad de llamada de 2 (GAT(2)) logró los mejores resultados, mejorando el recall@1 de CLAP de 0.758 a 0.867 y el de jTrans de 0.579 a 0.817.
• Generalización Semántica (XFL): Contrario a las mejoras en BCSD, añadir contexto de grafo de llamadas empeoró el rendimiento en la tarea de etiquetado de funciones (XFL). Tanto los backbones CLAP como jTrans superaron a todos los modelos refinados por GNN en XFL, lo que sugiere que la agregación semántica aprendida para BCSD no se transfiere al nombramiento de funciones.
• Degradación Sintáctica (COD): Existe una fuerte correlación inversa entre la optimización de la similitud semántica y el rendimiento en tareas sintácticas. Los modelos refinados para BCSD mostraron un deterioro en el rendimiento en COD, particularmente a medida que aumentaba la profundidad de la llamada. Esto indica que enfocarse en la similitud semántica de alto nivel causa que el modelo pierda sensibilidad ante variaciones estructurales de bajo nivel (por ejemplo, niveles de optimización).
• Robustez y Tamaño de Contexto: Los modelos basados en GNN demostraron una robustez superior en escenarios donde los modelos de backbone tuvieron dificultades. Específicamente, mantuvieron un rendimiento estable para:
  • Funciones Grandes: Funciones con muchas instrucciones y llamados, donde las ventanas de contexto de los Transformers (1024/512 tokens) típicamente causan caídas de rendimiento.
  • Pares Disímiles: Pares de funciones con baja similitud inicial de incrustación o grafos de llamadas no isomorfos, donde el modelo GAT(2) alcanzó consistentemente puntuaciones de recall superiores a 0.53 incluso cuando los cuerpos de las funciones eran completamente disímiles.
  • Variaciones Técnicas: Los modelos fueron más robustos a las diferencias en lenguajes de origen (C vs. C++) y pares de optimización del compilador en comparación con las líneas base.
• Espacio de Nombres vs. Lógica: Los beneficios del contexto del grafo de llamadas no fueron uniformes. Los refinamientos fueron más beneficiosos para funciones relacionadas con espacios de nombres (por ejemplo, envoltorios de librerías) que para funciones centradas en la lógica individual. Por el contrario, la caída de rendimiento en XFL fue menos severa para etiquetas de espacio de nombres que para descriptores de funciones específicos.

Contribuciones Clave
El artículo realiza cuatro contribuciones principales:

1. Demuestra que, si bien el preentrenamiento con grafos de llamadas mejora la BCSD, puede impactar negativamente la generalización a otras tareas semánticas de downstream, como el etiquetado de funciones.
2. Establece una correlación donde la optimización para tareas de similitud semántica conduce a una disminución del rendimiento en tareas sintácticas (por ejemplo, procedencia del compilador).
3. Muestra que las incrustaciones mejoradas por contexto son más robustas ante tamaños de contexto más grandes, diversidad dentro de los pares de funciones y variaciones técnicas de implementación (optimizaciones del compilador).
4. Identifica que la utilidad de las mejoras del grafo de llamadas depende de la función, probando que es más ventajosa para funciones relacionadas con espacios de nombres que para aquellas centradas en la lógica individual.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como una disección necesaria de las implicaciones de los refinamientos de incrustaciones. Reivindican que sus hallazgos resaltan un compromiso fundamental: los modelos optimizados para la similitud semántica mediante grafos de llamadas ganan robustez en escenarios complejos y cargados de contexto, pero pierden la capacidad de generalizar a otras tareas semánticas y de retener la precisión sintáctica. El artículo no pretende proponer un nuevo estado del arte para todas las tareas, sino que aboga por una comprensión matizada de cuándo el contexto interprocedimental es beneficioso. Los autores enfatizan que el grafo de llamadas se aprovecha más eficazmente en escenarios dependientes del contexto y hacen un llamado a investigar más sobre tareas de preentrenamiento que equilibren la generalización semántica y sintáctica. También abogan por la adopción de análisis explicativos (segmentación de conjuntos de datos) para comprender mejor las fortalezas y debilidades de los modelos emergentes de análisis binario.