💻 computer science

Vulnerability Detection with Interprocedural Context in Multiple Languages: Assessing Effectiveness and Cost of Modern LLMs

Este estudo avalia empiricamente a eficácia, o custo e a qualidade das explicações de quatro modelos de linguagem modernos na detecção de vulnerabilidades interprocedurais em C, C++ e Python, demonstrando que a inclusão de contexto de chamadas e chamados melhora a detecção e identificando o Gemini 3 Flash como a opção mais custo-efetiva para vulnerabilidades em C.

Autores originais: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

Publicado 2026-04-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kevin Lira, Baldoino Fonseca, Davy Baía, Márcio Ribeiro, Wesley K. G. Assunção

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive de segurança tentando encontrar falhas em um prédio (o código do software). O objetivo é encontrar onde as portas estão destrancadas ou onde o telhado pode cair.

Este artigo de pesquisa é como um teste de laboratório para ver quão bons são os novos "robôs detetives" (Inteligências Artificiais) em encontrar esses problemas. Mas eles testaram algo muito específico: será que o robô precisa olhar apenas a sala onde o problema aconteceu, ou ele precisa ver toda a casa (quem entrou e quem saiu dessa sala) para entender o perigo?

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Grande Mistério: O Contexto Ajuda?

Antes, os pesquisadores achavam que, para achar um erro, o robô precisava ver apenas a função (a sala) onde o erro estava. Mas, na vida real, muitos erros acontecem porque uma pessoa (uma função) entrega algo para outra, e a segunda pessoa não sabe o que fazer com aquilo.

A Analogia do Restaurante:
- Só a Sala (Contexto Mínimo): Você olha apenas o prato que o garçom serviu na mesa. Parece normal?
- Com a Cozinha (Calees): Você olha o prato E vê como a cozinha o preparou.
- Com o Cliente (Callers): Você olha o prato E vê o que o cliente pediu antes.

O estudo perguntou: "Se o robô olhar só o prato, ele acha o veneno? E se ele olhar a cozinha inteira ou o pedido do cliente, ele acha melhor?"

2. Os "Robôs" Testados

Eles testaram quatro modelos de IA modernos (como se fossem quatro detetives com personalidades diferentes):

Claude Haiku 4.5: O detetive super detalhista e explicativo.
Gemini 3 Flash: O detetive rápido e econômico.
GPT-4.1 Mini e GPT-5 Mini: Os detetives da OpenAI, que são rápidos, mas às vezes se confundem.

3. O Que Eles Descobriram? (As Surpresas)

A. "Mais Informação" nem sempre é "Melhor Informação"

A grande surpresa foi que, para alguns robôs (especialmente os da OpenAI), dar mais contexto piorou o resultado!

A Analogia do Ruído: Imagine que você está tentando ouvir uma conversa em um quarto silencioso. De repente, você abre a janela e começa a ouvir o barulho do trânsito, o cachorro latindo e a música do vizinho. Em vez de entender melhor a conversa, você fica confuso.
O Resultado: Para os robôs GPT, quando eles olhavam para as funções que chamavam a função principal (os "callers"), eles ficavam tão confusos com tanta informação extra que perdiam até 25% da precisão. Eles se distraíam com detalhes irrelevantes.
Os Robôs "Focados": O Claude e o Gemini foram mais espertos. Eles conseguiram ignorar o barulho extra e focaram no que importava, mantendo a mesma precisão, quer olhassem só a sala ou a casa inteira.

B. O Custo da Investigação

Ver mais contexto custa mais dinheiro.

A Analogia do Aluguel de Carro: Se você aluga um carro para ir à padaria (só a sala), é barato. Se você aluga um caminhão para levar a padaria inteira (toda a casa), é muito mais caro e gasta mais gasolina (tokens).
O Resultado: Adicionar o contexto extra quase dobrou o custo de usar a IA. E, na maioria das vezes, esse custo extra não trouxe nenhum benefício real. Na verdade, para os robôs GPT, custou mais e funcionou pior.

C. O Campeão de Custo-Benefício

Gemini 3 Flash: Foi o vencedor para quem quer economizar. Ele achou os erros com quase perfeição (97% de acerto) gastando muito pouco dinheiro (cerca de 50 centavos de dólar por teste).
Claude Haiku 4.5: Foi o vencedor para quem quer explicação. Ele não só achou o erro, mas escreveu um relatório tão claro e detalhado que 93% das vezes ele explicou perfeitamente por que aquilo era perigoso e como consertar.

D. A Linguagem Importa

C e C++ (Linguagens complexas): São como casas de madeira velha. Um erro em uma tábua pode derrubar o telhado. Aqui, os robôs GPT se confundiram muito com o contexto extra.
Python (Linguagem mais simples): É como uma casa de blocos de montar. Os erros são mais óbvios e isolados. Aqui, o contexto extra não ajudou nem atrapalhou tanto, mas também não foi necessário.

4. A Lição Final para o Mundo Real

O estudo nos ensina três coisas importantes para quem cria ferramentas de segurança:

Não jogue tudo na mesa: Dar a IA todo o código do projeto não é a solução mágica. Às vezes, menos é mais. O robô precisa de foco, não de ruído.
Escolha o robô certo para o trabalho:
- Quer economizar e achar o erro rápido? Use o Gemini.
- Quer entender o "porquê" e ter um relatório detalhado para corrigir? Use o Claude.
- Evite os modelos menores da OpenAI se o código for complexo, pois eles podem se distrair facilmente.
Explicação é sinal de inteligência: Quando um robô erra a classificação, ele também costuma dar uma explicação ruim. Se ele entende o problema, ele sabe explicar.

Resumo em uma frase: Para achar falhas de segurança em código, às vezes é melhor dar ao robô apenas o que ele precisa ver, em vez de jogar tudo na frente dele, e escolher o robô certo depende se você quer economizar dinheiro ou ter uma explicação detalhada.

Resumo Técnico: Detecção de Vulnerabilidades com Contexto Interprocedural em Múltiplas Linguagens

1. Problema e Motivação

A detecção automatizada de vulnerabilidades de software é crítica para a segurança moderna. Embora os Modelos de Linguagem Grandes (LLMs) tenham mostrado promessa nessa área, a literatura existente apresenta duas limitações principais:

Foco em Funções Isoladas: A maioria dos estudos anteriores avalia LLMs apenas dentro de funções individuais, ignorando vulnerabilidades que surgem de dependências interprocedurais (fluxos de dados e controle que atravessam múltiplas funções).
Falta de Generalização e Análise de Custo: Os estudos frequentemente focam em uma única linguagem de programação e negligenciam o custo econômico e a explicabilidade (capacidade de explicar o porquê de uma vulnerabilidade), fatores essenciais para a adoção prática em pipelines de desenvolvimento.

O artigo investiga se fornecer contexto interprocedural (código de funções chamadoras ou chamadas) melhora a detecção de vulnerabilidades por LLMs modernos e qual é o custo-benefício dessa abordagem em diferentes linguagens (C, C++ e Python).

2. Metodologia

Os autores conduziram um estudo empírico rigoroso utilizando os seguintes componentes:

Dataset: Foram extraídas 509 vulnerabilidades interprocedurais do conjunto de dados ReposVul, cobrindo CVEs reais em projetos de código aberto.
Modelos Avaliados: Quatro LLMs modernos de diferentes provedores:
- Claude Haiku 4.5 (Anthropic)
- GPT-4.1 Mini e GPT-5 Mini (OpenAI)
- Gemini 3 Flash (Google)
Configurações de Contexto (Variável Independente): Para cada função alvo, foram testadas três configurações de entrada:
1. Code Only (CO): Apenas o código da função alvo.
2. Code + Callees (CC): Função alvo + código das funções que ela chama.
3. Code + Callers (CK): Função alvo + código das funções que a chamam.
Métricas de Avaliação:
- Eficácia: Precisão, Recall (equivalente à precisão neste subseto de dados) e F1-score.
- Custo: Estimativa financeira baseada no consumo de tokens (input/output) e preços de API (março de 2026).
- Qualidade da Explicação: Avaliação manual (escala 0-2) da correção (identificação correta do tipo e local) e compreensibilidade (detalhes sobre vetor de ataque e reparo) das explicações geradas.
Análise Estatística: Uso do teste de McNemar com correção de Holm-Bonferroni para determinar significância estatística nas diferenças de desempenho entre configurações.

3. Principais Contribuições

Avaliação de Contexto Interprocedural: Demonstra empiricamente que adicionar contexto de chamadores ou chamadas não melhora consistentemente a detecção e, em muitos casos, degrada o desempenho.
Análise Multilingue e Custo-Efetividade: Compara o desempenho e o custo financeiro em C, C++ e Python, revelando que a relação custo-benefício varia drasticamente entre modelos e linguagens.
Avaliação de Explicabilidade: Fornece uma análise qualitativa detalhada sobre a capacidade dos LLMs de justificar suas decisões de segurança, mostrando uma correlação entre a qualidade da detecção e a qualidade da explicação.
Reprodutibilidade: O pacote de replicação (código, dados filtrados e prompts) é disponibilizado publicamente.

4. Resultados Chave

Impacto do Contexto (RQ1):
- A configuração com menos contexto (Code Only - CO) foi consistentemente a mais eficaz para a maioria dos modelos.
- Adicionar contexto interprocedural (CC ou CK) degradou significativamente o desempenho dos modelos da família GPT (especialmente GPT-4.1 Mini e GPT-5 Mini) em C, com quedas de precisão de até 25 pontos percentuais. A hipótese é que o contexto extra introduz "ruído" que confunde o modelo.
- Modelos como Claude Haiku 4.5 e Gemini 3 Flash mostraram-se robustos, mantendo desempenho estável independentemente do contexto, mas sem ganhos significativos com a adição de mais código.
Influência da Linguagem (RQ2):
- C: Os modelos GPT sofreram degradação severa com contexto adicional.
- Python: A tendência de degradação foi observada, mas menos pronunciada e sem significância estatística para todos os modelos.
- C++: O tamanho da amostra foi insuficiente para conclusões estatísticas robustas, embora os modelos tenham performado bem em CO.
Eficiência e Custo (RQ3):
- Adicionar contexto interprocedural quase duplicou o consumo de tokens e o custo de inferência.
- Gemini 3 Flash apresentou o melhor equilíbrio custo-desempenho, alcançando F1 ≥ 0.978 para vulnerabilidades em C com um custo estimado de $0.50–$ 0.58 por configuração.
- Claude Haiku 4.5 teve o desempenho de detecção mais alto, mas a um custo mais de duas vezes superior.
- GPT-4.1 Mini foi o mais barato, mas com a menor precisão, especialmente em C.
Qualidade das Explicações (RQ4):
- Claude Haiku 4.5 liderou na qualidade das explicações, obtendo pontuação máxima (2,2) em 93.6% dos casos avaliados manualmente.
- Os modelos GPT apresentaram taxas de "zero-score" (explicações fundamentalmente incorretas) cinco vezes maiores que Haiku e Gemini.
- Existe uma correlação clara: modelos que classificam incorretamente com mais frequência também tendem a gerar explicações de baixa qualidade.

5. Significado e Implicações Práticas

Desafio ao Dogma "Mais Contexto é Melhor": O estudo refuta a suposição comum de que fornecer mais contexto de código sempre melhora a detecção de LLMs. Para modelos menores ou específicos (como GPT-4.1 Mini), o contexto extra pode ser prejudicial.
Seleção de Modelos Orientada a Prioridades:
- Para explicabilidade completa e alta confiança: Claude Haiku 4.5.
- Para o melhor equilíbrio custo-desempenho (especialmente em C): Gemini 3 Flash.
- Para custo mínimo com aceitação de menor precisão: GPT-4.1 Mini.
Design de Ferramentas: Ferramentas de segurança assistidas por IA devem calibrar dinamicamente o nível de contexto interprocedural com base na linguagem alvo e no modelo específico utilizado, evitando o custo desnecessário de tokens sem ganho de precisão.

Em suma, o trabalho fornece evidências empíricas de que a detecção de vulnerabilidades interprocedurais com LLMs é complexa e depende fortemente da arquitetura do modelo e da linguagem de programação, onde a simplicidade (menos contexto) muitas vezes supera a complexidade (mais contexto) em termos de custo e eficácia.