Resumo Técnico: A Representação Importa para o Raciocínio de Vulnerabilidades em LLMs

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para detecção automatizada de vulnerabilidades, porém o método ideal para representar a estrutura e a semântica do programa para o raciocínio baseado em LLM permanece incerto. Os pipelines atuais dependem predominantemente de código-fonte bruto como a entrada primária, operando sob a suposição implícita de que fornecer mais contexto de nível de código fonte gera evidências melhores para o raciocínio de vulnerabilidade.

Este artigo desafia essa suposição. O raciocínio de vulnerabilidade frequentemente depende de relações semânticas — como propagação de dados, guardas de fluxo de controle e aliases de ponteiros — que não são explícitas na sintaxe superficial. Embora as representações de análise estática (ex: Grafos de Fluxo de Controle, Grafos de Dependência de Programa) sejam projetadas para expor essas relações, sua eficácia quando utilizadas como prompts para LLMs não foi sistematicamente testada em comparação ao código-fonte bruto. O problema central é determinar se representações estruturadas, baseadas em análise estática, podem melhorar a precisão e a eficiência do raciocínio do LLM em comparação com entradas de código-fonte bruto, e se a combinação delas gera benefícios sinérgicos ou introduz ruído.

Metodologia

Os autores introduzem o RepBench, um pipeline de benchmark unificado projetado para avaliar como diferentes representações de programas afetam o raciocínio de vulnerabilidade de LLMs sob uma tarefa fixa.

Conjunto de Dados e Escopo

• Corpus: O estudo utiliza um subconjunto curado de 107 casos de teste reais de C/C++ derivados do dataset PrimeVul, cobrindo cinco categorias de Common Weakness Enumeration (CWE):
  • Vulnerabilidades aritméticas: CWE-122 (Heap-based Buffer Overflow), CWE-190 (Integer Overflow), CWE-191 (Integer Underflow).
  • Vulnerabilidades de ciclo de vida de memória: CWE-415 (Double Free), CWE-416 (Use After Free).
• Trilha Auxiliar: Um adicional de 19 casos usando Grafos de Dependência de Programa enriquecidos (ePDGs) gerados via pipeline VulChecker/Hector, que inclui metadados de nível LLVM.

Design Experimental

O benchmark avalia dez variantes de representação através de três famílias de prompts:

1. Apenas Fonte (Source-only): Código-fonte bruto (Baseline).
2. Apenas Grafo (Graph-only): Representações estruturais serializadas incluindo Árvores de Sintaxe Abstrata (AST), Grafos de Fluxo de Controle (CFG), Grafos de Dependência de Programa (PDG) e suas combinações (AST+CFG, AST+PDG, CFG+PDG).
3. Fonte-mais-Grafo (Source-plus-Graph): Híbridos combinando código-fonte bruto com uma ou mais representações de grafo.

Controles Chave:

• Tarefa: Classificação binária fixa (VULNERÁVEL vs. SEGURO) para uma função alvo dado um CWE específico.
• Prompting: Todas as variantes utilizam uma estratégia de prompting de Cadeia de Pensamento (Chain-of-Thought - CoT) fixa com saída JSON estruturada e seleção dinâmica de few-shot.
• Modelo: Os experimentos utilizam qwen3.6-plus com uma temperatura fixa ($T=0.2$).
• Serialização: Artefatos de grafo (DOT/JSONL) são convertidos em texto compacto orientado por linhas para minimizar o overhead do prompt enquanto preservam os elos estruturais.

Métricas

• Acurácia Curada (Curated Accuracy): Correção nas linhas retidas com previsões binárias válidas (isolando a qualidade da representação de falhas de parsing).
• Acurácia Efetiva (Effective Accuracy): Taxa de sucesso de ponta a ponta incluindo falhas de parsing.
• Overhead de Prompt: Medido por contagem de caracteres e contagem de tokens de entrada.

Principais Contribuições

1. Framework RepBench: Um framework de benchmark que transforma casos de teste de vulnerabilidades do mundo real em múltiplas representações de programa (AST, CFG, PDG, ePDG) e os avalia sob uma tarefa de detecção de LLM padronizada.
2. Estudo de Ablação Sistemático: Uma avaliação abrangente de código-fonte bruto, grafos individuais, combinações de grafos e híbridos de fonte-mais-grafo, isolando a representação como a única variável experimental.
3. Descoberta da Diluição de Contexto: Identificação e caracterização de um "efeito de diluição de contexto", onde adicionar código-fonte bruto a evidências estruturais compactas degrada o desempenho do raciocínio em vez de melhorá-lo.
4. Identificação da Representação Ótima: Evidência empírica de que AST+PDG é a representação mais eficaz, superando significativamente o código-fonte bruto e outras variantes.

Resultados

1. Representações de Grafo Superam o Código-Fonte Bruto

Ao contrário da suposição de que mais contexto de código é melhor, prompts de apenas grafo alcançaram 74,4% de acurácia curada, uma melhoria de 20,9 pontos percentuais (pp) sobre o baseline de código-fonte bruto (53,5%). Isso demonstra que evidências estruturais compactas podem substituir e superar o prompting direto de código-fonte.

2. AST+PDG é a Variante Ótima

A combinação AST+PDG alcançou a maior acurácia de 83,2% (um aumento de 29,7 pp sobre o código-fonte bruto).

• AST fornece âncoras sintáticas locais (operadores, chamadas, declarações).
• PDG fornece evidências de dependência entre instruções (fluxo de dados, guardas de controle).
• AST+CFG seguiu de perto com 80,4%, enquanto CFG+PDG marcou 73,8%.
• Híbridos de fonte-mais-grafo (ex: pdg_plus_source, full) consistiram em performar abaixo de seus equivalentes de apenas-grafo (ex: pdg_plus_source com 65,7% vs. pdg com 69,0%), indicando que o código-fonte bruto adiciona ruído de distração em vez de valor complementar.

3. O Efeito de Diluição de Contexto

O estudo identifica um efeito de diluição de contexto: adicionar código-fonte bruto a grafos estruturais aumenta o tamanho do prompt (2,4× mais caracteres, 2,2× mais tokens), mas reduz a acurácia.

• Mecanismo: Mesmo quando os prompts não excedem o orçamento de contexto (sem truncamento), o texto adicional do código faz com que o modelo preste atenção em código irrelevante (ex: funções auxiliares não relacionadas ou rotinas de interface), obscurecendo a evidência estrutural relevante para a vulnerabilidade.
• Eficiência: Prompts de apenas-grafo alcançam a maior acurácia com o menor overhead (média de 5.973 tokens vs. 12.938 para fonte-mais-grafo).

4. Variação entre Tipos de Vulnerabilidade

• Vulnerabilidades Aritméticas (CWE-190): Prompts de apenas-grafo superaram significativamente os prompts de fonte-mais-grafo (77,8% vs. 65,8%), sugerindo que evidências estruturais focadas são críticas para o raciocínio de origem-para-destino (source-to-sink).
• Vulnerabilidades de Ciclo de Vida de Memória (CWE-415/416): Prompts de fonte-mais-grafo performaram competitivamente ou ligeiramente melhor no CWE-415, sugerindo que o contexto bruto pode ocasionalmente auxiliar no raciocínio sobre ordens de limpeza e lifetimes de ponteiros, embora o apenas-grafo permaneça robusto.
• Assimetria de Rótulo: O modelo foi mais confiável em casos SEGUROS (76,1% de acurácia curada) do que em casos VULNERÁVEIS (66,0%), provavelmente devido à dificuldade de raciocinar sobre a ausência de guardas ou fluxos de dados sutis.

5. Achados Auxiliares de ePDG

A trilha ePDG (metadados enriquecidos de nível LLVM) alcançou 57,9% de acurácia curada. Embora inferior às variantes baseadas em Joern, isso sugere que metadados orientados à vulnerabilidade têm potencial, embora as limitações atuais de legibilidade (IR abstrato do LLVM) e a viabilidade de geração de artefatos restrinjam sua utilidade.

Significância e Alegações

O artigo alega que a escolha da representação é um driver primário da qualidade do raciocínio de vulnerabilidade de LLMs, muitas vezes mais do que o volume de contexto de entrada.

• Reavaliando a Prática Atual: Sistemas que dependem apenas de prompting de código-fonte bruto podem falhar em aproveitar décadas de progresso em análise estática. A suposição de que "mais contexto é melhor" é desafiada; no raciocínio de segurança, evidência estrutural focada é superior ao texto de código bruto e não filtrado.
• Análise Estática como uma Camada de Prompt: Os autores propõem que a análise estática deve servir como uma camada de construção de prompt. Ao extrair evidências estruturais compactas e relevantes para segurança (como AST+PDG) e apresentá-las aos LLMs, desenvolvedores podem alcançar maior acurácia com menores custos de inferência e redução do risco de diluição de contexto.
• Fundação Empírica: Este trabalho fornece a fundação empírica inicial para o design de sistemas de análise de vulnerabilidade de LLM conscientes da representação, indo além da simples injeção de código para um prompting estruturado e orientado por análise.

O estudo conclui que, embora o código-fonte bruto seja natural para LLMs, ele não é ideal para o raciocínio de segurança. Representações estruturais cuidadosamente selecionadas oferecem um trade-off de acurácia-overhead mais forte, motivando uma mudança para o uso de análise estática para construir prompts focados para o raciocínio de LLM focado em segurança.