Bridging Code Property Graphs and Language Models for Program Analysis

Título: Bridging Code Property Graphs and Language Models for Program Analysis

Autor: Ahmed Lekssays (Qatar Computing Research Institute)
Evento: 4th International Workshop on Software Vulnerability Management (SVM '26)

---

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam desafios críticos ao analisar vulnerabilidades de segurança em bases de código reais e complexas. O artigo identifica três limitações principais que impedem a análise eficaz em escala:

1. Limites de Tokens: Repositórios modernos contêm milhares de arquivos e milhões de linhas de código. Carregar um repositório inteiro (ex: 8.000 métodos) excede as janelas de contexto atuais dos LLMs, forçando a análise a ser feita em fragmentos isolados.
2. Falta de Profundidade Semântica: Técnicas baseadas em embeddings e RAG (Retrieval-Augmented Generation) capturam padrões sintáticos, mas falham em representar fluxos de dados interprocedurais complexos (ex: "o valor de retorno da função A flui para a escrita de buffer na função B").
3. Dificuldade em Gerar Consultas Complexas: Ferramentas de análise estática, como o Joern, utilizam Linguagens de Consulta de Grafos de Propriedade (CPGQL). Os LLMs têm dificuldade em gerar consultas CPGQL corretas devido à escassez dessa linguagem específica nos dados de treinamento, resultando em consultas inválidas ou "alucinações" de APIs.

O resultado é que as abordagens atuais perdem vulnerabilidades que se estendem por múltiplas funções e arquivos, pois não conseguem realizar o raciocínio analítico necessário para rastrear dependências de controle e dados em todo o grafo de chamadas.

---

2. Metodologia e Implementação

O autor propõe o codebadger, um servidor de código aberto que utiliza o Model Context Protocol (MCP) para integrar o motor de Code Property Graph (CPG) do Joern com LLMs.

Arquitetura e Funcionalidade

Em vez de exigir que o LLM leia arquivos de texto ou escreva consultas CPGQL brutas, o codebadger atua como uma camada de abstração intermediária:

• Geração de CPG: O servidor usa o Joern para analisar o repositório e gerar um CPG (que combina ASTs, CFGs e PDGs).
• Ferramentas de Alto Nível: O LLM interage com ferramentas semânticas pré-implementadas via MCP, como:
  • Program Slicing (Fatiamento de Programa): Isola segmentos de código relevantes para uma vulnerabilidade específica.
  • Taint Tracking (Rastreamento de Taint): Rastreia dados não confiáveis desde a origem até os pontos sensíveis (sinks).
  • Análise de Fluxo de Dados e Grafos de Chamada: Permite navegar semanticamente pelo código.
• Fluxo de Trabalho: O agente LLM solicita uma análise (ex: "encontre fontes de taint"), o codebadger traduz isso em consultas CPGQL otimizadas, executa no Joern e retorna resultados estruturados (JSON, trechos de código) ao LLM, consumindo apenas os tokens necessários para o contexto relevante.

Algoritmos Chave

O sistema implementa algoritmos clássicos de análise estática adaptados para LLMs:

• Análise de Fluxo de Taint (Algoritmo 1): Identifica fontes e sumidouros (sinks) e realiza travessia forward no PDG para encontrar caminhos de propagação.
• Fatiamento de Programa Reverso (Algoritmo 2): Começa de um ponto de critério (ex: uma chamada suspeita) e coleta recursivamente dependências de dados e controle a montante, reduzindo o tamanho do código analisado em até 90%.

---

3. Contribuições Principais

O artigo apresenta o codebadger como uma ferramenta que permite aos LLMs raciocinar semanticamente sobre repositórios inteiros, apoiando a descoberta de vulnerabilidades, a criação de patches e a compreensão de programas. As contribuições são validadas através de três casos de uso:

1. Compreensão de Código em Escala:

   • Cenário: Auditoria de segurança na biblioteca GGML (8.667 métodos, ~246k linhas).
   • Resultado: O agente identificou padrões de uso inseguro de alloca, overflow de inteiros em cálculos de tamanho de alocação e aritmética de ponteiro não verificada, sem ler todos os arquivos sequencialmente.

2. Descoberta de Vulnerabilidades (Zero-Day):

   • Cenário: Análise da biblioteca libtiff (arquivo tif_getimage.c).
   • Resultado: O agente descobriu uma vulnerabilidade de buffer overflow não relatada anteriormente. Ao rastrear o fluxo de dados de col_offset através de aritmética de ponteiros, o agente gerou um exploit funcional confirmado pelo AddressSanitizer (ASAN). A vulnerabilidade foi posteriormente corrigida pelos mantenedores, mas não tinha CVE atribuído no momento da descoberta.

3. Geração de Patches Corretos:

   • Cenário: Correção da vulnerabilidade CVE-2025-6021 na biblioteca libxml2 (overflow de inteiro causando overflow de buffer).
   • Resultado: O agente analisou o fluxo de dados e o fatiamento do programa para entender a raiz do problema. Ele gerou um patch correto na primeira tentativa, que coincidiu quase perfeitamente com a correção oficial dos mantenedores, demonstrando capacidade de raciocínio profundo sem intervenção humana.

---

4. Resultados e Significância

• Eficácia Semântica: O estudo de caso demonstra que o uso de ferramentas CPG permite que os LLMs superem as limitações de contexto e de embeddings, identificando vulnerabilidades interprocedurais que seriam invisíveis para abordagens baseadas apenas em similaridade de texto.
• Redução de Alucinações: Ao abstrair a complexidade da sintaxe CPGQL, o codebadger reduz significativamente a taxa de erros na geração de consultas e aumenta a precisão da análise.
• Fluxo de Trabalho Agente-like: O sistema permite que LLMs atuem como analistas de segurança humanos, navegando semanticamente pelo código em vez de ler linearmente, focando apenas em caminhos de dados críticos.
• Acesso Aberto: A ferramenta é open-source e compatível com qualquer framework agêntico que suporte MCP, facilitando a adoção pela comunidade de segurança.

5. Limitações e Considerações Éticas

• Limitações: A geração de CPG para repositórios massivos (ex: Kernel Linux) exige muita memória RAM. Além disso, em casos muito complexos, o LLM ainda pode precisar de consultas CPGQL diretas, onde a taxa de erro persiste. A ferramenta também herda as limitações do Joern na detecção de condições de corrida em tempo de execução.
• Ética: Vulnerabilidades descobertas durante o desenvolvimento foram relatadas de forma responsável aos mantenedores antes da divulgação pública, seguindo políticas de divulgação responsável.

Conclusão

O codebadger representa um avanço significativo na gestão de vulnerabilidades de software (SVM) assistida por IA. Ao conectar a precisão da análise estática baseada em grafos com a capacidade de raciocínio dos LLMs, ele permite a automação de tarefas de segurança complexas em escala, transformando como as vulnerabilidades são descobertas, compreendidas e corrigidas em grandes bases de código.