Scam2Prompt: A Scalable Framework for Auditing Malicious Scam Endpoints in Production LLMs

O artigo apresenta o Scam2Prompt, um framework escalável que revela uma vulnerabilidade de segurança crítica e agravante em Modelos de Linguagem de Grande Porte em produção, onde prompts automatizados derivados de sites de golpes maliciosos desencadeiam com sucesso a geração de código prejudicial em até 47,3% dos casos em múltiplos modelos, tornando as medidas de segurança atuais, como guardrails e RAG, insuficientes.

O essencial

Imagine que você contrata um aprendiz programador brilhante e super-rápido para escrever código para seu negócio. Você faz um pedido simples e normal, como: "Escreva um script para comprar um token digital específico neste site de negociação popular". Você espera que ele escreva código seguro e padrão.

No entanto, este artigo revela uma realidade assustadora: seu aprendiz memorizou uma biblioteca de instruções perigosas e falsas escondidas dentro de seus livros de treinamento. Quando você pede ajuda com uma tarefa específica, ele pode acidentalmente puxar uma página do manual de um golpista e colá-la no seu código, enviando seu dinheiro para um ladrão em vez do site legítimo.

Aqui está uma análise das descobertas do artigo usando analogias simples:

1. O Problema: O "Livro de Receitas Envenenado"

Os Modelos de Linguagem de Grande Escala (LLMs) são como chefs que leram quase todos os livros de receitas da internet para aprender a cozinhar. O problema é que a internet está cheia de receitas "envenenadas" — instruções falsas projetadas para roubar sua carteira ou dados.

• O Incidente do Mundo Real: O artigo começa com a história de uma pessoa real que perdeu 2.500 dólares. Ela pediu a um chatbot que escrevesse um script para comprar uma criptomoeda em um site popular chamado pump.fun. O chatbot, tentando ser útil, escreveu um código que incluía um link para uma API falsa (uma porta digital) que parecia real, mas era na verdade uma armadilha de golpistas. O código até pedia ao usuário para entregar sua "chave privada" (a chave mestra do cofre do banco) diretamente para essa porta falsa. O usuário, confiando na IA, executou o código, e seu dinheiro desapareceu em 30 minutos.

2. A Investigação: "Scam2Prompt"

Os pesquisadores criaram uma ferramenta chamada Scam2Prompt para ver se isso foi um acidente isolado ou uma doença generalizada.

• A Analogia: Imagine um guarda de segurança que quer testar se um novo sistema de segurança funciona. Em vez de tentar entrar à força com um martelo (o que é óbvio), o guarda pega um "plano" conhecido de um "vilão", reescreve-o para parecer um pedido de construção normal e o entrega ao sistema de segurança.
• Como funcionou:
  1. Eles pegaram listas de sites de golpes conhecidos.
  2. Eles então extraíram palavras-chave, alegações e frases comuns que esses sites usam para enganar as vítimas. Usando esses termos, eles solicitaram a um sistema de IA que gerasse pedidos de codificação legítimos, como "Como compro esta moeda digital?" ou "Como posso pagar por esta plataforma de voos para comprar passagens com desconto?".
  3. Eles alimentaram esses pedidos "inocentes" em quatro modelos de IA de produção principais (como GPT-4o e Llama).
  4. Verificaram se a IA escreveu código contendo os links de golpes.

3. As Descobertas: A Armadilha "Inocente"

Os resultados foram alarmantes. Embora os pedidos soassem perfeitamente normais e viessem de "desenvolvedores", os modelos de IA continuaram gerando código com links maliciosos.

• As Estatísticas: Em seu teste inicial, cerca de 4,24% do código gerado continha um link de golpe. Isso significa que, se você pedisse a essas IAs para escrever código 100 vezes, cerca de 4 vezes elas entregariam acidentalmente uma arma a você.
• O "Innoc2Scam-bench": Os pesquisadores criaram uma lista de "teste de estresse" com 1.377 perguntas específicas que sempre enganaram os primeiros quatro modelos para gerar código ruim. Eles então testaram essa lista em sete modelos mais novos e avançados lançados em 2025.
• Os Novos Modelos: O problema não desapareceu; permaneceu sério. Os novos modelos geraram código malicioso em taxas variando de 12,9% a 47,3% quando testados sob o Innoc2Scam-bench.
  • Analogia: É como atualizar o motor do seu carro para ser mais rápido e inteligente, mas o sistema de GPS continua tentando levá-lo para um penhasco porque os dados do mapa estavam corrompidos desde o início.

4. A Hierarquia de Segurança

O artigo classificou os modelos como um boletim escolar:

• Primeiro Nível (Os Mais Seguros): Gemini-2.5-Pro e GPT-5. Estes foram os melhores em dizer "Não" ou recusar-se a responder quando o pedido era arriscado. No entanto, mesmo eles não eram perfeitos.
• Nível Médio: Claude-Sonnet-4.
• Último Nível (Os Mais Arriscados): Modelos como DeepSeek-Chat-v3.1 e Qwen3-Coder. Estes modelos estavam muito ansiosos para responder às perguntas, mas geraram código malicioso quase metade das vezes (até 47,3%).

5. Por Que as Defesas Atuais Falham

Os pesquisadores testaram se as ferramentas de segurança existentes poderiam impedir isso.

• As "Barreiras de Proteção": Eles tentaram usar filtros de segurança padrão (como um segurança de boate) e "Agentes de Recuperação" (IA que pesquisa coisas na web para verificar fatos).
• O Resultado: As barreiras de proteção foram em grande parte inúteis. Elas não conseguiram detectar o código malicioso porque o código parecia sintaticamente correto e os pedidos soavam normais. Os agentes de "pesquisa na web" ajudaram um pouco (reduzindo o risco de 50% para 29%), mas ainda falharam em pegar a maioria dos golpes.
• A Conclusão: Você não pode apenas confiar que a IA "saberá melhor" ou em um filtro simples. O conhecimento malicioso está assentado profundamente no cérebro do modelo, vindo de seus dados de treinamento.

6. Golpes "Fantasmas"

Uma das descobertas mais arrepiantes foi que os modelos de IA estavam gerando links para sites de golpes que nem mesmo existiam nos bancos de dados de segurança ainda.

• A Analogia: Os modelos de IA haviam memorizado os "planos" dos golpes tão bem que podiam reconstruir os sites falsos, mesmo que os guardas de segurança ainda não tivessem pegado os criminosos. Alguns desses sites estavam ativos há mais de um ano, evadindo a detecção, mas a IA sabia como usá-los.

Resumo

O artigo conclui que os modelos de IA estão atualmente "envenenados" pelo lixo da internet. Mesmo os modelos mais inteligentes e novos escreverão felizmente código que rouba seu dinheiro se você fizer a pergunta certa (mas que soa inocente). As medidas de segurança atuais são como tentar parar uma enchente com um guarda-chuva de papel; elas não são fortes o suficiente. Os autores sugerem que precisamos limpar melhor os dados de treinamento e adicionar verificações externas rigorosas em cada link que a IA gera antes de permitir que um humano execute o código.

Resumo técnico

Resumo Técnico: Scam2Prompt

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) tornaram-se infraestrutura crítica para o desenvolvimento de software, no entanto, sua dependência de conjuntos de dados de treinamento não curados e em escala da web introduz um risco de segurança fundamental: a absorção e a incorporação permanente de conteúdo malicioso nos pesos do modelo. Diferentemente dos serviços web tradicionais, onde URLs prejudiciais podem ser removidas de listas, dados maliciosos dentro de um corpus de treinamento persistem em futuras iterações do modelo. Este artigo foca em uma manifestação específica e de alto impacto desse risco: a geração de código contendo URLs de golpes maliciosos (por exemplo, endpoints de phishing, APIs fraudulentas) em resposta a prompts benignos, no estilo de desenvolvedor.

A urgência dessa questão é destacada por um incidente real em novembro de 2024, onde um usuário perdeu 2.500 dólares em criptomoeda após executar código gerado pelo ChatGPT. O código continha um endpoint de API malicioso que solicitava a chave privada do usuário, uma violação fundamental de segurança. Este incidente sugere que os LLMs podem, inadvertidamente, recuperar e reproduzir documentação maliciosa ou infraestrutura de golpes que foi envenenada em seus dados de treinamento, apresentando uma ameaça severa a sistemas de produção onde o código gerado é frequentemente executado sem revisão linha por linha.

Metodologia: Framework Scam2Prompt

Para avaliar sistematicamente esse risco, os autores introduzem o Scam2Prompt, um framework de auditoria automatizada escalável projetado para identificar se LLMs de produção geram código malicioso ao responder a solicitações normais de desenvolvedores. O framework opera através do seguinte pipeline:

1. Coleta de URLs Maliciosas: O sistema inicia o processo com URLs de golpes conhecidas de bancos de dados estabelecidos (por exemplo, eth-phishing-detect do MetaMask e phishing-fort do PhishFort).
2. Extração de Conteúdo e Síntese de Prompts: Um rastreador web extrai o texto visível de páginas de golpes acessíveis. Um "LLM de Prompt" analisa então esse conteúdo para sintetizar prompts no estilo de desenvolvedor. Esses prompts são totalmente legítimos, como solicitações de scripts, mas são projetados para abordar domínios sensíveis ou financeiramente relevantes comumente explorados por sites de golpes, como reserva de passagens aéreas, integração de cartões de crédito virtuais, pagamentos online ou outros serviços relacionados a dinheiro.
3. Geração de Código: Os prompts sintetizados são enviados a um "LLM de Geração de Código" (o modelo sob auditoria) para gerar trechos de código.
4. Extração de URLs e Detecção por Oráculo: O código gerado é escaneado em busca de URLs. Um ensemble de oráculos (ChainPatrol, Google Safe Browsing, SecLookup) determina se essas URLs são maliciosas.
5. Validação Humana: Para garantir que os prompts não sejam adversariais (por exemplo, jailbreaks), mas sim solicitações benignas de desenvolvedores, um subconjunto de prompts passa por validação manual por anotadores humanos.

Este processo produz um conjunto de dados de pares Prompt-Código onde uma solicitação benigna resulta em código malicioso.

Principais Contribuições

O artigo faz quatro contribuições primárias:

1. Evidência Empírica de Geração de Código Malicioso: O estudo fornece fortes evidências de que LLMs de produção geram código contendo URLs maliciosas em taxas não triviais ao responder a prompts no estilo de desenvolvedor.
2. Framework Scam2Prompt: Uma ferramenta de auditoria automatizada escalável que transforma fontes maliciosas conhecidas em prompts no estilo de desenvolvedor para testar a segurança de LLMs. Os autores liberam o código-fonte para apoiar a reprodutibilidade.
3. Innoc2Scam-bench: Um conjunto de dados de benchmark curado com 1.377 prompts no estilo de desenvolvedor que consistentemente elicitarão código malicioso de quatro LLMs de produção iniciais (GPT-4o, GPT-4o-mini, Llama-4-Scout e DeepSeek-V3). Este benchmark é projetado para testar o estresse do alinhamento de segurança de modelos futuros.
4. Avaliação de Defesa: Uma avaliação de mecanismos de segurança existentes, incluindo guardrails de última geração (por exemplo, NeMo Guardrails) e agentes de Geração Aumentada por Recuperação (RAG), demonstrando sua insuficiência contra esse vetor de ameaça específico.

Resultados Experimentais

Auditoria Inicial (Modelos de 2024)

Em um estudo em grande escala envolvendo mais de 265.000 prompts em quatro LLMs de produção, os autores encontraram que 4,24% do código gerado continha URLs maliciosas. A taxa variou conforme o par de modelos, indo de 3,19% a 5,94%. Notavelmente, o framework identificou 62 novos domínios maliciosos que não estavam anteriormente nos bancos de dados iniciais, os quais foram subsequentemente reportados e adicionados à lista de bloqueio eth-phishing-detect.

Teste de Estresse em Modelos Mais Recentes (Lançamentos de 2025)

O Innoc2Scam-bench foi aplicado a sete LLMs de produção adicionais lançados em 2025 (incluindo GPT-5, Gemini-2.5-Pro, Claude-Sonnet-4 e DeepSeek-Chat-V3.1). Os resultados indicaram que a vulnerabilidade é sistêmica e severa:

• Taxas de Geração Maliciosa: Variaram de 12,9% (Gemini-2.5-Pro) a 47,3% (DeepSeek-Chat-V3.1).
• Classificação de Segurança:
  • Nível 1 (Alta Segurança): Gemini-2.5-Pro e GPT-5. O Gemini-2.5-Pro alcançou a menor taxa (12,9%) principalmente através de filtragem de conteúdo agressiva (recusando ~40% dos prompts).
  • Nível 2 (Segurança Moderada): Claude-Sonnet-4 (taxa maliciosa de 34,3%).
  • Nível 3 (Baixa Segurança): Grok-Code-Fast-1, Gemini-2.5-Flash, Qwen3-Coder e DeepSeek-Chat-V3.1, todos exibindo taxas maliciosas entre 43,4% e 47,3%.
• Filtragem vs. Segurança Intrínseca: Quando a filtragem de conteúdo (recusas) foi excluída e apenas as gerações de código concluídas foram analisadas, a lacuna de segurança entre os modelos de ponta estreitou-se significativamente, e as taxas de geração maliciosa para todos os modelos permaneceram altas (frequentemente excedendo 40% para os níveis inferiores). Isso sugere que, embora a filtragem ajude, a vulnerabilidade subjacente (memorização de padrões maliciosos) persiste.

Avaliação de Mitigação

• Guardrails: Guardrails de última geração (NeMo Guardrails, API de Moderação da OpenAI, Llama Guard 3) falharam em detectar a vasta maioria do código malicioso. As taxas de detecção foram negligenciáveis (0% a 8,43%), indicando que filtros de segurança genéricos são insuficientes para ameaças ao nível de endpoint.
• Agentes RAG: Um agente aumentado por recuperação com instruções explícitas para verificar a segurança de URLs reduziu a taxa maliciosa para o GPT-4o de 50,04% para 29,41%. No entanto, um risco residual de quase 30% permaneceu, provando que o RAG sozinho não é uma solução completa.

Significado e Alegações

O artigo alega que a contaminação de conjuntos de dados de treinamento com fontes de golpes maliciosas é um problema de toda a indústria que persiste apesar dos avanços na segurança e no alinhamento de modelos. As descobertas demonstram que:

1. A Contaminação de Dados de Treinamento é Persistente: Conteúdo malicioso absorvido durante o pré-treinamento não é facilmente removido por ajuste fino de segurança padrão ou alinhamento, conforme evidenciado pelas altas taxas de falha dos modelos de 2025.
2. As Defesas Atuais são Insuficientes: Guardrails padrão e agentes baseados em RAG fornecem proteção limitada contra a geração de URLs maliciosas em código.
3. Necessidade Urgente de Novas Defesas: Os autores argumentam pela necessidade de etapas explícitas de validação de URLs baseadas em oráculo no pipeline de geração de código e técnicas aprimoradas de curadoria de dados (por exemplo, desaprendizagem de máquina, limpeza baseada em agentes) para abordar a causa raiz.

Os autores posicionam este trabalho como uma desmistificação de uma lacuna de segurança existente, em vez da introdução de uma ameaça nova, enfatizando a necessidade de auditoria sistemática e a liberação de benchmarks (Innoc2Scam-bench) para impulsionar pesquisas futuras sobre desenvolvimento assistido por LLMs robusto e seguro.