Persistent Human Feedback, LLMs, and Static Analyzers for Secure Code Generation and Vulnerability Detection

Resumo Técnico: Feedback Humano Persistente, LLMs e Analisadores Estáticos para Geração de Código Seguro e Detecção de Vulnerabilidades

Declaração do Problema
O artigo aborda a crescente dependência de Grandes Modelos de Linguagem (LLMs) para a geração de código seguro e detecção de vulnerabilidades, destacando uma lacuna crítica nas metodologias de avaliação atuais. Embora os LLMs sejam cada vez mais utilizados no desenvolvimento de software, eles frequentemente geram código inseguro mesmo quando instruídos explicitamente a não o fazer. A literatura existente avalia predominantemente esses modelos usando ferramentas de análise estática automatizada (ex: CodeQL, Semgrep) como a única verdade fundamental (ground truth). Os autores argumentam que essa abordagem é falha porque os analisadores estáticos exibem altas taxas de falsos positivos e frequentemente não se alinham com o julgamento de especialistas humanos em relação a vulnerabilidades de segurança reais. Além disso, os frameworks atuais carecem de mecanismos para armazenar e reutilizar persistentemente o feedback de especialistas, limitando a capacidade dos LLMs de aprender com correções passadas.

Metodologia
O estudo emprega uma metodologia de duas frentes: uma revisão abrangente da literatura e um estudo de validação empírica.

1. Revisão da Literatura: Os autores pesquisaram 2025 publicações em conferências de alto nível (A/A*) de engenharia de software para caracterizar as tendências atuais de pesquisa. Eles analisaram benchmarks, linguagens de programação alvo, famílias de modelos e ferramentas de avaliação utilizadas em estudos de geração de código seguro e detecção de vulnerabilidades.
2. Validação Empírica:
   • Construção do Dataset: Utilizando a técnica de prompting Recursive Critiques Improvement (RCI) com o GPT-4o, os autores geraram 1.080 amostras de código baseadas em 108 tarefas únicas mapeadas para o CWE Top 25.
   • Criação da Verdade Fundamental (Ground Truth): Dois revisores treinados (um doutorando e um mestrando), sob supervisão docente, inspecionaram manualmente as amostras para rotulá-las como vulneráveis ou seguras em relação ao seu CWE alvo específico. Desacordos foram resolvidos por meio de discussão ou arbitragem de especialistas, alcançando um alto acordo entre avaliadores (Cohen's $\kappa = 0,94$).
   • Comparação de Ferramentas: A verdade fundamental validada manualmente foi comparada com os resultados de duas ferramentas de análise estática amplamente utilizadas, CodeQL e Semgrep.
   • Proposta de Framework: Com base nos achados, os autores propõem um framework conceitual que integra o feedback humano em um pipeline de Geração Aumentada por Recuperação (RAG).

Principais Resultados
O estudo empírico revelou discrepâncias significativas entre as ferramentas automatizadas e os especialistas humanos:

• Verdade Fundamental: 61% das amostras geradas eram genuinamente seguras, enquanto 39% continham vulnerabilidades.
• Desempenho das Ferramentas: O Semgrep classificou 60% das amostras como seguras e o CodeQL classificou 80% como seguras. Embora a taxa agregada do Semgrep parecesse próxima ao julgamento humano, a análise por amostra mostrou desentendimentos substanciais.
• Métricas de Precisão: Apenas 65% dos relatórios do Semgrep e 61% dos relatórios do CodeQL corresponderam corretamente aos rótulos da verdade fundamental.
• Cobertura de CWE: Ambas as ferramentas falharam em detectar os CWEs alvo em uma fração substancial dos casos de verdade fundamental e frequentemente reportaram descobertas para CWEs não alvos (cuja validade permaneceu desconhecida neste estudo).
• Autocrítica: O estudo observou que LLMs que forneciam autocríticas "específicas" (feedback direcionado e acionável) produziam código mais seguro (64% seguro) em comparação com críticas "gerais" (56% seguro).

Framework Proposto: Feedback Humano Persistente
Para abordar as limitações das ferramentas estáticas e a natureza transitória dos loops de feedback atuais, os autores propõem um framework conceitual (ilustrado na Figura 3) que integra um agente Human-in-the-Loop (HIL) em um pipeline RAG dinâmico. O framework consiste em quatro agentes:

1. Agente de Prompt: Orquestra a geração de código recuperando orientações de segurança relevantes de um RAG de Fonte Dupla (Feedback Humano e Conhecimento Externo de Vulnerabilidade) para refinar o prompt do desenvolvedor.
2. Agente de Segurança: Avalia o código gerado usando analisadores estáticos e LLMs, produzindo relatórios legíveis por máquina e por humanos.
3. Agente Human-in-the-Loop (HIL): Atua como o decisor final. Especialistas revisam os relatórios do Agente de Segurança. Em casos de desacordo, o feedback do especialista é armazenado persistentemente no RAG.
   • Ponderação de Confiança (Trust Weighting): O sistema atribui pesos de confiança dinâmicos ao feedback com base no consenso dos revisores e no sucesso empírico histórico (usando uma Média Móvel Exponencial).
   • Revisão Dupla: Para evitar a contaminação de dados (data poisoning), o novo feedback requer aprovação de dois revisores distintos antes de entrar no pool de recuperação ativo.
4. RAG de Fonte Dupla: Um serviço de conhecimento compartilhado que prioriza o feedback validado por humanos (HF) sobre o conhecimento externo geral (EVK) usando uma função de pontuação composta que penaliza contradições entre o conselho geral e o feedback do especialista.

Significância e Alegações
O artigo afirma que confiar apenas em ferramentas de análise estática para avaliar o código gerado por LLMs é pouco confiável e apresenta riscos à validade da pesquisa de segurança. Os autores asseveram que o feedback de especialistas não é necessário apenas para instâncias individuais, mas pode generalizar para casos futuros semelhantes. Consequentemente, o framework proposto visa permitir que os LLMs reutilizem o feedback humano prévio dinamicamente, melhorando tanto a geração de código seguro quanto a detecção de vulnerabilidades. O estudo conclui que a comunidade de engenharia de software deve ir além da avaliação puramente automatizada e incorporar loops de feedback persistentes e conduzidos por especialistas para garantir a confiabilidade dos LLMs em contextos críticos de segurança.

Limitações (Ameaças à Validade)
Os autores reconhecem diversas limitações:

• Validade de Construto: A revisão da literatura foi restrita a publicações de 2025 em conferências de engenharia de software, potencialmente perdendo padrões em conferências específicas de segurança (ex: USENIX Security, CCS).
• Validade Interna: Os rótulos de verdade fundamental dependem de avaliação manual, que está sujeita ao viés humano, apesar do alto acordo entre revisores.
• Validade Externa: Os experimentos focaram em código Python gerado pelo GPT-4o usando prompting RCI. Os resultados podem não se generalizar para outras linguagens (particularmente linguagens de baixo nível como C/C++), diferentes domínios ou outros LLMs e ferramentas de análise estática.