Is Vibe Coding Safe? Benchmarking Vulnerability of Agent-Generated Code in Real-World Tasks

Título: O "Vibe Coding" é Seguro? Avaliando a Vulnerabilidade de Código Gerado por Agentes em Tarefas do Mundo Real

1. O Problema

O "Vibe Coding" é um novo paradigma de programação onde engenheiros humanos fornecem solicitações em linguagem natural para agentes de Grandes Modelos de Linguagem (LLMs), que executam tarefas de codificação complexas com pouca supervisão. Embora a adoção seja crescente (com 75% dos respondentes de uma pesquisa relatando uso), há uma preocupação crítica: o código gerado por esses agentes é seguro para implantação em produção?

O problema central é que, embora os agentes sejam eficazes em gerar código funcional, eles podem introduzir vulnerabilidades de segurança graves que passam despercebidas, especialmente quando o código parece comportar-se corretamente em testes funcionais básicos. A literatura existente sobre benchmarks de segurança de IA foca em arquivos únicos ou funções isoladas, não capturando a complexidade de projetos reais com múltiplos arquivos e interações com o ambiente de execução.

2. Metodologia: O Benchmark SUSVIBES

Para abordar essa lacuna, os autores propõem o SUSVIBES, um benchmark projetado especificamente para avaliar a segurança de agentes de codificação em nível de repositório.

• Construção Automática: O SUSVIBES foi construído através de um pipeline automatizado que minera repositórios open-source do GitHub contendo correções de vulnerabilidades reais.

  1. Seleção e Reversão: O pipeline seleciona um commit que corrige uma vulnerabilidade, reverte para o estado anterior (vulnerável) e identifica os testes de segurança e funcionalidade associados.
  2. Mascaramento (Masking): Um agente (SWE-Agent) é usado para "mascarar" (remover) a implementação da funcionalidade fixada, criando um contexto onde a funcionalidade está ausente.
  3. Geração de Tarefa: Com base no código mascarado, é gerada uma descrição de tarefa (estilo issue do GitHub) solicitando a implementação da funcionalidade, sem revelar a solução segura original.
  4. Ambiente de Execução: O pipeline cria automaticamente ambientes Docker para executar os testes funcionais e de segurança gerados.

• Estatísticas do Dataset:

  • 200 tarefas reais de solicitação de recursos.
  • Derivadas de 108 projetos open-source em 10 domínios (Web, DevOps, IoT, etc.).
  • Cobre 77 tipos de fraquezas (CWEs) diferentes.
  • Contexto complexo: Média de 172 linhas editadas em múltiplos arquivos por tarefa (contexto de repositório completo, não apenas arquivo único).

• Métricas de Avaliação:

  • FUNCPASS: Taxa de sucesso em testes funcionais (o código faz o que deve?).
  • SECPASS: Taxa de sucesso em testes de segurança (o código é seguro?).
  • SECPASS ⊥ FUNCPASS: Taxa de segurança apenas entre as soluções que já passaram nos testes funcionais (mede a segurança do código "funcional").

3. Principais Contribuições

1. Pipeline de Curadoria Automática: Desenvolvimento de um sistema escalável para criar tarefas de engenharia de software focadas em segurança a partir de correções de vulnerabilidades reais.
2. Benchmark SUSVIBES: A criação do primeiro benchmark de nível de repositório com 200 tarefas cobrindo 77 CWEs, superando benchmarks anteriores em complexidade e abrangência.
3. Avaliação Abrangente: Teste de 3 frameworks de agentes (SWE-Agent, OpenHands, Claude Code) com 3 modelos de ponta (Claude 4 Sonnet, Kimi K2, Gemini 2.5 Pro).
4. Análise de Mitigação: Investigação de estratégias de prompting para melhorar a segurança (orientação genérica, auto-seleção de CWE e fornecimento de CWE "oracle").

4. Resultados Chave

Os resultados são alarmantes e revelam uma lacuna significativa entre funcionalidade e segurança:

• Desempenho Geral:

  • O melhor desempenho funcional foi alcançado pelo SWE-Agent com Claude 4 Sonnet, resolvendo 61% das tarefas corretamente.
  • No entanto, apenas 10,5% das soluções totais foram seguras.
  • 82,8% das soluções que eram funcionalmente corretas continham vulnerabilidades exploráveis.

• Comparação entre Modelos e Agentes:

  • Claude 4 Sonnet superou os outros modelos em funcionalidade, mas falhou drasticamente em segurança.
  • Gemini 2.5 Pro mostrou-se ligeiramente mais seguro, mas ainda com taxas de falha altas.
  • Diferentes agentes e modelos tendem a evitar diferentes categorias de CWEs, indicando "pontos cegos" complementares, mas nenhum agente é robusto em todas as categorias.

• Falha das Estratégias de Mitigação Simples:

  • Adicionar orientações de segurança genéricas, pedir ao agente para identificar riscos (auto-seleção) ou fornecer o tipo de vulnerabilidade alvo (oracle) não melhorou a segurança de forma consistente.
  • Pelo contrário, essas estratégias causaram uma queda significativa na funcionalidade (cerca de 7 pontos percentuais). Os agentes, ao focarem excessivamente em evitar riscos hipotéticos, deixaram de implementar funcionalidades corretas, resultando em menos soluções que são ao mesmo tempo funcionais e seguras.

• Análise Qualitativa:

  • Exemplos reais mostram vulnerabilidades críticas, como:
    • Vazamento de Tempo (Timing Side-Channel): Implementações que retornam imediatamente para senhas inválidas, permitindo ataques de enumeração de usuários.
    • Injeção de Cabeçalho (CRLF): Falha em sanitizar URLs em redirecionamentos HTTP.
    • XSS Armazenado: Falha em validar esquemas de URL em links externos.
    • Expiração de Sessão Ignorada: Sessões que nunca expiram porque a verificação de max_age foi omitida.

5. Significado e Conclusão

O estudo conclui que o Vibe Coding, na sua forma atual, apresenta riscos de segurança inaceitáveis para aplicações sensíveis.

• Alerta de Segurança: A alta taxa de vulnerabilidades em código funcionalmente correto sugere que a confiança cega em agentes de IA para produção é perigosa.
• Limitação das Soluções Atuais: Estratégias simples de prompting não são suficientes para alinhar a segurança com a funcionalidade. Há uma necessidade urgente de desenvolver estratégias de mitigação mais sofisticadas, possivelmente envolvendo ferramentas de análise estática, fuzzing ou recompensas de treinamento específicas para segurança.
• Implicação para a Indústria: Organizações que planejam adotar agentes de codificação em domínios críticos (autenticação, manipulação de dados, infraestrutura) devem implementar processos obrigatórios de revisão de segurança humana e não depender apenas da saída do modelo.

Em resumo, o SUSVIBES demonstra que, embora os agentes de IA sejam poderosos para a produtividade, eles ainda não são confiáveis para garantir a segurança do software sem supervisão rigorosa e ferramentas especializadas.