Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context

Resumo Técnico: Pré-treinamento em Grafos de Chamadas: Quando Tarefas de Análise Binária se Beneficiam do Contexto

Definição do Problema
A análise de código binário frequentemente depende de modelos de aprendizado profundo para codificar a semântica de funções desassembladas para tarefas como detecção de similaridade de código binário (BCSD), detecção de vulnerabilidades e classificação de malware. Embora modelos baseados em Transformer de última geração (ex: CLAP, jTrans) capturem efetivamente a semântica intra-procedural, eles enfrentam limitações de escalabilidade em relação ao contexto total do programa. Uma estratégia comum para abordar isso é alavancar o contexto inter-procedural por meio de grafos de chamadas, onde o embedding de uma função é refinado usando informações de suas funções chamadas (callees). No entanto, a literatura existente carece de um exame sistemático de como os refinamentos baseados em grafos de chamadas afetam a generalização dos embeddings para tarefas downstream além de BCSD. Especificamente, permanece incerto se a otimização para similaridade semântica (BCSD) preserva ou degrada o desempenho em tarefas sintáticas (ex: recuperação de proveniência de compilador) ou outras tarefas semânticas (ex: rotulagem de funções). Além disso, as condições específicas sob as quais os incrementos de grafo de chamadas são benéficos — como tamanho da função, complexidade ou tipo de rótulo — não foram analisadas de forma abrangente.

Metodologia
Os autores propõem um fluxo de trabalho para avaliar o impacto do pré-treinamento de grafo de chamadas em embeddings de funções binárias. O processo envolve quatro etapas principais:

1. Desmontagem e Extração: Os binários de entrada são desassemblados (usando IDA Pro) para extrair funções e construir um grafo de chamadas direcionado onde os nós representam funções internas e as arestas representam as relações de chamador-chamado (caller-callee).
2. Embedding de Backbone: Modelos baseados em Transformer pré-treinados (CLAP e jTrans) geram embeddings iniciais para cada função.
3. Refinamento Baseado em Grafo: O grafo de chamadas é processado usando Redes Neurais de Grafos (GNNs) para atualizar os embeddings dos nós. O estudo compara três estratégias de agregação:
   • AVG: Um baseline simples de média dos embeddings dos vizinhos.
   • GCN (Rede Convolucional de Grafo): Agrega vizinhos usando pesos predefinidos.
   • GAT (Rede de Atenção de Grafo): Usa um mecanismo de atenção para aprender a importância dos vizinhos.
     Os modelos são treinados com profundidades de chamada variando de 1 a 5.
4. Avaliação: Os embeddings resultantes, enriquecidos com contexto, são avaliados em três tarefas distintas:
   • Detecção de Similaridade de Código Binário (BCSD): A principal tarefa de treinamento, usando perda contrastiva InfoNCE para identificar funções compiladas a partir da mesma origem.
   • Rotulagem Extrema de Funções (XFL): Uma tarefa semântica downstream que prevê nomes de funções normalizados (classificação multilabel).
   • Detecção de Otimização de Compilador (COD): Uma tarefa sintática downstream que prevê o nível de otimização do compilador (O0–O3, Os) para avaliar a retenção de detalhes técnicos de baixo nível.

Os experimentos utilizam um conjunto de dados derivado do BinaryCorp-26M, compreendendo aproximadamente 1,4 milhão de pares de funções de 34.300 binários.

Resultos Principais
O estudo produz várias descobertas críticas em relação aos trade-offs da integração do grafo de chamadas:

• Desempenho de BCSD: Integrar o contexto do grafo de chamadas melhora significativamente o desempenho de BCSD. O modelo GAT com profundidade de chamada de 2 (GAT(2)) alcançou os melhores resultados, melhorando o recall@1 do CLAP de 0,758 para 0,867 e do jTrans de 0,579 para 0,817.
• Generalização Semântica (XFL): Contrariamente às melhorias em BCSD, adicionar contexto de grafo de chamadas piorou o desempenho na tarefa de rotulagem de funções (XFL). Os backbones CLAP e jTrans superaram todos os modelos refinados por GNN em XFL, sugerindo que a agregação semântica aprendida para BCSD não se transfere para a nomeação de funções.
• Degradação Sintática (COD): Existe uma forte correlação inversa entre a otimização de similaridade semântica e o desempenho em tarefas sintáticas. Modelos refinados para BCSD mostraram um desempenho deteriorado em COD, particularmente conforme a profundidade de chamada aumentava. Isso indica que o foco em similaridade semântica de alto nível faz com que o modelo perca a sensibilidade a variações estruturais de baixo nível (ex: níveis de otimização).
• Robustez e Tamanho de Contexto: Os modelos baseados em GNN demonstraram robustez superior em cenários onde os modelos de backbone enfrentavam dificuldades. Especificamente, eles mantiveram um desempenho estável para:
  • Funções Grandes: Funções com muitas instruções e chamadas, onde as janelas de contexto de Transformer (1024/512 tokens) tipicamente causam quedas de desempenho.
  • Pares Dissimilares: Pares de funções com baixa similaridade inicial de embedding ou grafos de chamadas não isomorfos, onde o modelo GAT(2) consistentemente alcançou scores de recall acima de 0,53, mesmo quando os corpos das funções eram inteiramente dissimilares.
  • Variações Técnicas: Os modelos foram mais robustos a diferenças de linguagens de origem (C vs. C++) e pares de otimização de compilador em comparação aos baselines.
• Namespace vs. Lógica: Os benefícios do contexto de grafo de chamadas não foram uniformes. Os refinamentos foram mais benéficos para funções relacionadas a namespaces (ex: wrappers de biblioteca) do que para funções focadas em lógica individual. Por outro lado, a queda de desempenho em XFL foi menos severa para rótulos de namespace do que para descritores de funções específicos.

Principais Contribuições
O artigo apresenta quatro contribuições primárias:

1. Demonstra que, embora o pré-treinamento de grafo de chamadas melhore o BCSD, ele pode impactar negativamente a generalização para outras tarefas downstream semânticas, como a rotulagem de funções.
2. Estabelece uma correlação onde a otimização para tarefas de similaridade semântica leva a um desempenho reduzido em tarefas sintáticas (ex: proveniência do compilador).
3. Mostra que embeddings enriquecidos com contexto são mais robustos a maiores tamanhos de contexto, diversidade dentro de pares de funções e variações de implementação técnica (otimizações de compilador).
4. Identifica que a utilidade dos incrementos de grafo de chamadas depende da função, provando ser mais vantajosa para funções relacionadas a namespaces do que para aquelas focadas em lógica individual.

Significância e Alegações
Os autores posicionam este trabalho como uma dissecação necessária das implicações dos refinamentos de embedding. Eles alegam que suas descobertas destacam um trade-off fundamental: modelos otimizados para similaridade semântica via grafos de chamadas ganham robustez em cenários complexos e pesados em contexto, mas perdem a capacidade de generalizar para outras tarefas semânticas e reter precisão sintática. O artigo não pretende propor um novo modelo de última geração para todas as tarefas, mas sim defender uma compreensão matizada de quando o contexto inter-procedural é benéfico. Os autores enfatizam que o grafo de chamadas é mais efetivamente aproveitado em cenários dependentes de contexto e pedem mais pesquisas sobre tarefas de pré-treinamento que equilibrem a generalização semântica e sintática. Eles também defendem a adoção de análises explicativas (fatiamento de dataset) para entender melhor as forças e fraquezas dos modelos emergentes de análise binária.