LLM4CodeRE: Generative AI for Code Decompilation Analysis and Reverse Engineering

Resumo Técnico: LLM4CodeRE

1. Problema e Motivação

A engenharia reversa de arquivos executáveis portáteis (PE), especialmente de malware, é um desafio fundamental na cibersegurança. O objetivo é traduzir representações de baixo nível (código assembly ou binários brutos) em código-fonte de alto nível legível para humanos, a fim de entender a semântica do programa e identificar intenções maliciosas.

Os desafios atuais incluem:

• Ocultação Avançada: O uso pervasivo de técnicas de ofuscação, empacotamento (packing) e polimorfismo no malware moderno.
• Limitações das Ferramentas Atuais: Decompiladores tradicionais e análises estáticas/dinâmicas são trabalhosos, frágeis sob ofuscação e difíceis de escalar.
• Deficiência dos Modelos de IA Genéricos: Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado na tradução de código, a maioria é pré-treinada em software benigno (código aberto). Eles tratam o malware como dados "fora da distribuição" (out-of-distribution), falhando em capturar padrões específicos de ofuscação, anti-análise e APIs maliciosas, o que reduz sua confiabilidade em cenários de segurança.

2. Metodologia: LLM4CodeRE

O artigo propõe o LLM4CodeRE, um framework de LLM adaptado ao domínio para engenharia reversa bidirecional (Assembly $\leftrightarrow$ Fonte). A arquitetura é projetada para aprender representações específicas de malware e adaptar-se a tarefas específicas de forma eficiente.

Componentes Principais:

• Pré-treinamento Causal (CLM) Consciente de Malware:

  • O modelo base é pré-treinado em um grande corpus de binários de malware reais (desmontados e decompilados).
  • Isso expõe o modelo a técnicas de ofuscação, lógica anti-debugging e padrões de uso de API específicos de malware, permitindo que ele aprenda a semântica de baixo nível de software malicioso.
  • Os dados são normalizados (canonização de instruções, renomeação de registradores) e tokenizados com um tokenizador híbrido (nível de byte e instrução).

• Estratégias de Adaptação de Tarefa (Fine-tuning):
  O framework utiliza uma abordagem hierárquica para adaptação eficiente de parâmetros, combinando duas estratégias complementares:

  1. Multi-Adapter (MA): Introduz módulos leves e específicos para cada tarefa (ex: um adaptador para Assembly $\to$ Fonte e outro para Fonte $\to$ Assembly) anexados ao modelo base. Isso permite especialização sem esquecer o conhecimento do domínio (evita catastrophic forgetting).
  2. Seq2Seq Unified (S2S): Utiliza um modelo de linguagem causal (decoder-only) enriquecido com prefix tokens condicionados à tarefa. Todos os tipos de transformação são unificados sob um único framework de decodificação autoregressiva.
  3. LoRA (Low-Rank Adaptation): Ambas as estratégias utilizam LoRA para atualizar apenas matrizes de baixo rank, congelando os pesos do modelo base. Isso reduz drasticamente o custo de memória e treinamento, mantendo o conhecimento do domínio adquirido no pré-treinamento.

• Pipeline de Avaliação Unificada:
  Diferente de trabalhos anteriores que focam apenas em similaridade estática, o LLM4CodeRE avalia a qualidade em três dimensões:

  1. Similaridade Semântica: Usando BERTScore.
  2. Similaridade Estrutural (Edição): Usando distância de Levenshtein normalizada.
  3. Re-executabilidade: O código gerado é recompilado (GCC -O2) e executado em um ambiente sandboxed. Apenas código que compila e executa corretamente recebe pontuação máxima.

3. Principais Contribuições

• Primeiro Framework de Pré-treinamento CLM Consciente de Malware: Introduz um modelo pré-treinado especificamente em binários maliciosos para decompilação baseada em LLM.
• Engenharia Reversa Bidirecional Unificada: Suporta tanto a decompilação (Assembly $\to$ Fonte) quanto a tradução inversa (Fonte $\to$ Assembly) em um único modelo, capaz de lidar com comportamentos benignos e maliciosos.
• Estratégia Híbrida de Adaptação: Propõe o uso combinado de Multi-Adapters e Prefixing Seq2Seq com LoRA para adaptação eficiente de tarefas bidirecionais.
• Protocolo de Avaliação Rigoroso: Estabelece um padrão de avaliação que inclui a métrica crítica de re-executabilidade, garantindo que o código gerado seja funcional e não apenas sintaticamente similar.

4. Resultados Experimentais

Os experimentos foram realizados no conjunto de dados SBAN (agregando 5 corpora de malware, totalizando ~676k amostras alinhadas) e no conjunto PE-Machine Learning.

• Desempenho em Tradução Bidirecional:

  • O LLM4CodeRE superou consistentemente modelos de propósito geral (como DeepSeek, Qwen, Llama) e ferramentas de decompilação anteriores (LLM4Decompile).
  • Na tarefa Assembly $\to$ Fonte, a variante Multi-Adapter (MA) alcançou a maior similaridade semântica (0.85) e de edição (0.63).
  • Na tarefa mais desafiadora Fonte $\to$ Assembly, o modelo também obteve os melhores resultados, demonstrando robustez na generalização.

• Re-executabilidade (Métrica Crítica):

  • Na tarefa Assembly $\to$ Fonte, a variante Seq2Seq (S2S) alcançou uma taxa de re-executabilidade de 86%, superando significativamente o LLM4CodeRE (MA) com 53%, o LLM4Decompile com 48% e o DeepSeek com apenas 15%.
  • Isso confirma que a adaptação unificada e consciente de domínio é essencial para gerar código funcional.

• Eficiência: O uso de LoRA e pré-treinamento específico reduziu a perplexidade em todos os modelos base testados, confirmando que a adaptação de domínio traz melhorias sistemáticas.

5. Significado e Impacto

O trabalho LLM4CodeRE representa um avanço significativo na interseção entre Inteligência Artificial Generativa e Cibersegurança.

• Mudança de Paradigma: Move o foco de modelos genéricos de código para modelos especializados em ameaças, reconhecendo que o malware possui características estatísticas e semânticas distintas que exigem aprendizado específico.
• Validação Prática: Ao priorizar a métrica de re-executabilidade, o framework garante que as saídas sejam úteis para analistas de segurança em cenários reais, onde o código deve ser compilável e executável para análise comportamental.
• Futuro: O framework estabelece uma base sólida para futuras pesquisas em geração de código executável, análise automatizada de malware e avaliação de sistemas de engenharia reversa impulsionados por IA. O modelo é disponibilizado publicamente (Hugging Face), incentivando a reprodutibilidade e o avanço da comunidade.

Limitações: O trabalho foca atualmente em malware Windows PE. Trabalhos futuros visam estender a abordagem para Android (APK, Dalvik/DEX) e melhorar a generalização entre plataformas.