💻 computer science

Words Speak Louder Than Code: Investigating Cognitive Heuristics in LLM-Based Code Vulnerability Detection

Este artigo apresenta a primeira investigação sistemática demonstrando que a detecção de vulnerabilidades de código baseada em LLM é significativamente suscetível a heurísticas cognitivas semelhantes às humanas (efeitos de enquadramento, ancoragem e halo), as quais podem alterar os vereditos do modelo e ser exploradas para suprimir até 97% das vulnerabilidades detectadas.

Autores originais: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Publicado 2026-06-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Asif Shahriar, Hongyu Cai, Hadjer Benkraouda, Gang Wang, Z. Berkay Celik

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô segurança superinteligente cujo trabalho é olhar para um código de computador e decidir: "Isso é seguro ou é uma bomba relógio?".

Por muito tempo, assumimos que esse robô olhava apenas para o próprio código — a lógica, a matemática, a estrutura. Mas este artigo revela uma verdade surpreendente: o robô não apenas lê o código; ele lê a história ao redor do código. E, assim como os humanos, esse robio possui atalhos mentais (chamados de "heurísticas cognitivas") que podem enganá-lo, fazendo-o tomar a decisão errada.

Aqui está o detalhamento das descobertas deles, usando analogias simples.

As Três Maneiras de Enganar o Robô

Os pesquisadores testaram três formas específicas de "hackear" a mente do robô sem alterar uma única linha de código. Eles simplesmente mudaram o contexto (os metadados) que cercava o código.

1. O Efeito Halo (O Viés da "Celebridade")

A Analogia: Imagine um juiz em um tribunal. Se o réu for um CEO famoso e respeitado, o juiz pode pensar subconscientemente: "Ele é uma boa pessoa, não faria nada de errado", e ser mais leniente. Se o réu for um estagiário jovem e desconhecido, o juiz pode pensar: "Ele é inexperiente, provavelmente cometeu um erro", e ser mais rigoroso.

A Descoberta:

Quando o código foi atribuído a um "Engenheiro de Segurança Principal" (um especialista de alto status), o robô tornou-se preguiçoso e confiante demais. Ele deixou passar vulnerabilidades reais porque assumiu que: "Um especialista não escreveria um código ruim".
Quando o mesmo código foi atribuído a um "Desenvolvedor Júnior" (um novato de baixo status), o robô tornou-se suspeito e paranoico. Ele encontrou as vulnerabilidades que havia perdido antes, mas também começou a gritar "Lobo!" para códigos seguros, criando alarmes falsos.
A Reviravolta: Alguns robôs (como o chamado Claude) fizeram exatamente o oposto, confiando mais no júnior do que no especialista, mas o viés ainda estava lá.

2. O Efeito de Enquadramento (O Viés do "Rótulo de Advertência")

A Analogia: Pense em um frasco de remédio.

Rótulo A: "Este remédio cura 90% dos pacientes." (Enquadramento positivo)
Rótulo B: "Este remédio falha em curar 10% dos pacientes." (Enquadramento negativo)
Embora a matemática seja a mesma, sua reação muda.

A Descoberta:

Enquadramento Positivo: Quando o robô foi instruído: "Seu trabalho é garantir que o pipeline funcione sem problemas e evitar alarmes falsos", ele ficou relaxado demais. Ele ignorou bugs perigosos para manter as coisas funcionando rapidamente.
Enquadramento Negativo: Quando o robô foi instruído: "Seu trabalho é encontrar ameaças de segurança antes que elas destruam o sistema", ele tornou-se hipervigilante. Ele encontrou mais bugs, mas também começou a sinalizar códigos seguros como perigosos.
O Resultado: Este foi o truque mais forte de todos. Todos os robôs testados foram influenciados pela forma como a tarefa era descrita.

3. O Efeito de Ancoragem (O Viés da "Primeira Impressão")

A Analogia: Se você pergunta a um amigo: "Esta casa vale 500 mil dólares?" e ele diz "Sim", você pode pensar que é uma pechincha. Se você perguntar: "Esta casa vale 1 milhão de dólares?" e ele disser "Não", você pode pensar que está barata. O primeiro número que você ouve "ancora" seu julgamento.

A Descoberta:

Se o robô foi informado que uma varredura anterior disse que este código é SEGURO, ele tendeu a concordar e perder novos bugs.
Se foi informado que uma varredura anterior disse que este código é VULNERÁVEL, ele tendeu a concordar e encontrar bugs (mesmo que não existissem).
O robô estava essencialmente dizendo: "Bem, o outro cara disse que é seguro, então vou confiar nisso", em vez de fazer seu próprio trabalho independente.

Os Grandes Problemas Descobertos

Os pesquisadores encontraram três problemas principais na forma como esses robôs funcionam:

1. O Problema do "Botão de Volume"
Os robôs não ficaram mais inteligentes ou mais burros ao encontrar bugs. Eles apenas ficaram mais altos ou mais baixos.

Quando o contexto os tornava suspeitos, eles aumentavam o "Botão de Volume": Eles sinalizavam tudo como perigoso (encontrando bugs reais, mas também muitos alarmes falsos).
Quando o contexto os tornava confiantes, eles abaixavam o "Botão de Volume": Eles não sinalizavam nada (perdendo bugs reais, mas também tendo menos alarmes falsos).
A Lição: O robô não aprendeu de fato a distinguir melhor o código bom do código ruim; ele apenas mudou de humor.

2. A Armadilha da "Alucinação"
Quando o robô era enganado a pensar que um código seguro era perigoso (devido ao rótulo de "Desenvolvedor Júnior" ou a uma âncora de "Vulnerável"), ele não dizia apenas "É perigoso". Ele frequentemente inventava um motivo falso.

Exemplo: O robô via um código seguro mas, por estar em um "humor suspeito", afirmava: "Isso parece um vazamento de memória!", quando não havia vazamento algum. Ele era confiante, mas completamente errado.

3. O Código "Inteligente" vs. "Burro"

Bugs Fáceis: Alguns bugs são óbvios, como um erro de digitação ou um ponto e vírgula faltando. O robô encontrava esses facilmente, não importava o contexto.
Bugs Difíceis: Alguns bugs exigem pensamento profundo (como rastrear como uma variável muda ao longo do tempo). Foram esses os bugs que o robô mais caiu em armadilhas. Se o contexto era de "confiança", ele perdia os bugs difíceis. Se o contexto era de "suspeita", ele inventava falsos bugs difíceis.

O "Ataque Cognitivo" (O Perigo no Mundo Real)

Os pesquisadores não pararam apenas nos testes; eles construíram um projeto de prova de conceito de ataque.

Imagine que um hacker quer infiltrar um pedaço de código perigoso no software de uma empresa. Em vez de tentar hackear o cérebro do robô diretamente (o que é difícil), o hacker apenas falsifica a papelada.

Ele escreve o código.
Ele anexa um e-mail falso dizendo que o código vem de um famoso especialista em segurança (Halo).
Ele escreve uma nota dizendo: "Vamos manter o pipeline fluindo, não seja muito exigente" (Enquadramento).
Ele anexa um relatório falso dizendo: "Varreduras anteriores disseram que isso é seguro" (Ancoragem).

O Resultado: O robô, vendo este pacote "tranquilizador", decidiu que o código perigoso era SEGURO. O ataque conseguiu suprimir até 97% das vulnerabilidades que o robô normalmente teria detectado.

A Conclusão

Este artigo prova que os Modelos de Linguagem Grande (LLMs) usados para segurança não são máquinas objetivas. Eles são influenciados pelos mesmos truques psicológicos que influenciam os humanos.

Eles confiam nas pessoas erradas (especialistas demais, juniores de menos).
Eles reagem à forma como você faz a pergunta (medo vs. conforto).
Eles ficam presos em primeiras impressões (relatórios anteriores).

A parte mais perigosa? Você não precisa ser um hacker genial para quebrá-los. Você só precisa saber escrever um e-mail convincente ou uma mensagem de commit que pareça boa. O robô não está quebrado; ele é apenas humano em suas falhas.

Resumo Técnico: Palavras Falam Mais Alto que Código

Definição do Problema
Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados como guardiões de segurança automatizados em fluxos de trabalho do mundo real, como pipelines de CI/CD e revisões de pull requests. Embora pesquisas anteriores tenham estabelecido que os LLMs exibem heurísticas cognitivas em raciocínio geral e tarefas subjetivas, nenhuma investigação sistemática examinou se essas heurísticas enviesam os LLMs na tarefa objetiva de detecção de vulnerabilidades de código. Na prática, scanners de vulnerabilidade não analisam o código isoladamente; eles ingerem metadados contextuais de não-código, incluindo identidade do autor, mensagens de commit, diretrizes de tarefa e resultados de análises anteriores. Este artigo postula que tal contexto orgânico e não-adversário pode, inadvertidamente, desencadear heurísticas cognitivas (efeito halo, enquadramento e ancoragem), levando a vereditos de segurança inconsistentes em códigos idênticos. O problema central é que esses vieses podem ser explorados para suprimir a detecção de vulnerabilidades ou inflar falsos positivos sem alterar o código em si.

Metodologia
Os autores apresentam um framework controlado para isolar o impacto do contexto de não-código nos vereditos dos LLMs.

Design Experimental: O estudo mantém o trecho de código ( $S$ ) fixo enquanto varia apenas o contexto circundante ( $C$ ) para desencadear heurísticas cognitivas específicas. A função do detector é definida como $f(C, S) \rightarrow \{0, 1\}$ , onde o veredito depende da interação entre código e contexto.
Heurísticas Investigadas:
1. Efeito Halo: Manipulado via atribuição de autor. As variantes incluem prestígio relevante para segurança (ex: "Engenheiro de Segurança Principal do Project Zero" vs. "Desenvolvedor Júnior") e prestígio não relacionado à segurança (ex: "Contribuidor de longa data" vs. "Primeira contribuição").
2. Efeito de Enquadramento (Framing): Manipulado via diretrizes de tarefa e declarações de consequência. As variantes incluem enquadramento de ganho-perda (enfatizando os benefícios de um código seguro vs. os custos de violações) e enquadramento de objetivo (verificação de conformidade vs. identificação de violações).
3. Efeito de Ancoragem: Manipulado via resultados de análises anteriores. As variantes incluem âncoras rígidas (vereditos explícitos de "SEGURO" ou "VULNERÁVEL") e âncoras suaves (resultados implícitos como "passou" ou "não passou" em verificações pré-merge).
Configuração de Avaliação: O framework foi aplicado a oito LLMs de última geração (cinco de código aberto, três comerciais) em três linguagens de programação (C/C++, Java, Python). Os conjuntos de dados utilizados foram PRIMEVUL (C/C++ com amostras benignas e vulneráveis) e CLEANVUL (Python e Java, apenas vulneráveis).
Métricas: O estudo mediu Recall ( $R$ ), Taxa de Falso Positivo (FPR), Precisão e F1-score. Crucialmente, introduziu o Gap de Recall ( $\Delta R$ ) e o Gap de FPR ( $\Delta FPR$ ) para quantificar a magnitude do viés entre polaridades (ex: alto vs. baixo halo). Um Índice de Utilidade (UI) foi calculado para determinar se uma heurística melhorou a detecção de forma construtiva (aumentando o recall mais do que o FPR).

Principais Contribuições

Primeira Investigação Sistemática: Este trabalho é o primeiro a explorar sistematicamente heurísticas cognitivas na detecção de vulnerabilidades de código impulsionada por LLM, avaliando três heurísticas distintas em oito modelos e três linguagens.
Análise Granular: Os autores fornecem uma análise ao nível de código revelando que as heurísticas não melhoram a capacidade analítica de um modelo. Em vez disso, elas atuam como um "botão de volume", deslocando a disposição do modelo em sinalizar o código como vulnerável sem melhorar sua capacidade de distinguir vulnerabilidades reais de código benigno.
Demonstração Adversária: O artigo demonstra um ataque cognitivo de caixa-preta de prova de conceito. Ao forjar metadados de aparência benigna (identidade do autor, descrições de PR e mensagens de commit), um atacante pode suprimir até 97% das vulnerabilidades previamente detectadas em um fluxo de trabalho de CI/CD simulado.

Resultos

Suscetibilidade Universal: Todos os oito modelos avaliados exibiram suscetibilidade a heurísticas cognitivas. A suscetibilidade média entre os modelos foi maior para Enquadramento (33,2%), seguida por Ancoragem (23,5%) e Halo (18,4%).
Direcionalidade:
- Enquadramento: Todos os modelos responderam na direção esperada (enquadramento negativo aumentou o recall, enquadramento positivo o diminuiu).
- Halo e Ancoragem: As respostas variaram. Modelos de código aberto geralmente mostraram as respostas esperadas (baixo prestígio/âncora de segurança reduziu a detecção), enquanto modelos comerciais como Claude e GPT mostraram respostas inversas ou mistas (ex: o GPT tornou-se mais suspeito sob atribuição de autor de alto prestígio).
Ausência de Utilidade Construtiva: As heurísticas cognitivas não melhoraram a capacidade de detecção. O Índice de Utilidade foi negativo ou próximo de zero para a maioria dos modelos. Quando o recall aumentava, o FPR aumentava em uma magnitude quase idêntica, deixando a Precisão estagnada (0,48–0,55). Os modelos frequentemente alternavam os vereditos de "Seguro" para "Vulnerável" (ou vice-versa) com base no contexto, mas falhavam em identificar a vulnerabilidade real, muitas vezes alucinando problemas plausíveis, porém incorretos.
Vulnerabilidades Dependentes de Raciocínio: Vulnerabilidades que exigem raciocínio semântico (ex: rastreamento de estado do programa, tratamento de exceções) foram significativamente mais suscetíveis a heurísticas (gap 1,5x–2x maior) do que aquelas identificáveis via correspondência de padrões (pattern matching).
Sucesso do Ataque: O ataque cognitivo suprimiu com sucesso a detecção em um modelo de ameaça realista. Defesas baseadas em prompts padrão (ex: instruir o modelo a ignorar metadados) falharam em mitigar o ataque.

Significância
O artigo conclui que a suscetibilidade cognitiva é uma propriedade consistente e explorável da detecção de vulnerabilidades baseada em LLM. Os achados desafiam a confiabilidade de guardiões de segurança automatizados que dependem de LLMs, demonstrando que o contexto de não-código pode enviesar sistematicamente os vereditos de segurança. O estudo destaca que os modelos atuais não estão meramente "cometendo erros", mas são suscetíveis a vieses psicológicos que podem ser usados como arma para contornar verificações de segurança. Isso sugere que a implantação de LLMs em funções críticas de segurança requer uma avaliação rigorosa de sua robustez contra manipulação contextual, não apenas da qualidade do código.

As Três Maneiras de Enganar o Robô

1. O Efeito Halo (O Viés da "Celebridade")

2. O Efeito de Enquadramento (O Viés do "Rótulo de Advertência")

3. O Efeito de Ancoragem (O Viés da "Primeira Impressão")

Os Grandes Problemas Descobertos

O "Ataque Cognitivo" (O Perigo no Mundo Real)

A Conclusão

Mais como este