A Multi-Turn Framework for Evaluating AI Misuse in Fraud and Cybercrime Scenarios

Título: Um Framework de Multi-Turn para Avaliar o Uso Indevido de IA em Cenários de Fraude e Cibercrime

Autores: Kimberly T. Mai, Anna Gausen, Magda Dubois, et al. (AI Security Institute, Reino Unido)

1. O Problema

O uso de Inteligência Artificial (IA) para facilitar fraudes e cibercrimes está em ascensão. Adversários utilizam modelos de linguagem (LLMs) para criar identidades falsas, perfilar vítimas e orquestrar campanhas de phishing sofisticadas. No entanto, há uma lacuna crítica de evidências sistemáticas sobre a extensão real em que os LLMs atuais fornecem informações acionáveis para atividades criminosas complexas.

• Desafio: As atividades criminosas são difíceis de medir e os relatórios de incidentes raramente especificam quais modelos foram usados ou como as defesas performaram.
• Objetivo: Determinar se os LLMs atuais oferecem um "uplift" (vantagem) significativo para criminosos na provisão de informações úteis e acionáveis, especialmente quando interações ocorrem em múltiplas rodadas (multi-turn) e tentam contornar salvaguardas.

2. Metodologia

Os autores desenvolveram um framework de avaliação baseado em Long-Form Tasks (LFTs) (Tarefas de Longo Formato), que simulam pipelines de ataque reais através de interações sequenciais.

• Cenários Selecionados: Três cenários de alto impacto e prevalência foram escolhidos:
  1. Golpes Românticos (Romance Scams): Criação de identidades falsas e manipulação emocional.
  2. Fraude de CEO (CEO Impersonation): Impersonação de executivos para desviar fundos.
  3. Roubo de Identidade (Identity Theft): Acesso não autorizado a dados pessoais e recursos.
• Estrutura das LFTs: Cada cenário foi dividido em 6 estágios do ciclo de vida do crime (Planejamento, Coleta de Inteligência, Falsificação, Engajamento, Evasão, Escala). Cada estágio consistiu em dois prompts (uma sondagem inicial e um acompanhamento), totalizando 12 prompts por tarefa.
• Variáveis de Teste:
  • Modelos: 14 LLMs variados, incluindo modelos com alinhamento de segurança, modelos "uncensored" (ajustados para remover guardrails) e modelos com capacidades de raciocínio e busca na web.
  • Enquadramento (Framing): Comparação entre enquadramento malicioso (intenção explícita de crime) e enquadramento benigno (decomposição da tarefa em consultas que parecem legítimas/educativas para contornar recusas).
  • Tipos de Ator: Criminosos não técnicos, técnicos e operadores colaborativos.
• Validação e Avaliação:
  • Os cenários foram validados por especialistas em aplicação da lei e políticas públicas.
  • As respostas foram avaliadas por um "autograder" (GPT-4.1) calibrado com especialistas humanos, utilizando uma escala de 1 a 6 baseada em duas dimensões:
    1. Acionabilidade (Actionability): Se o modelo gera materiais prontos para uso em ataques.
    2. Acesso à Informação (Information Access): Se o modelo agrega informações além de uma busca na web básica.
• Escala do Estudo: Foram realizadas 20.088 avaliações em 14 modelos, cobrindo múltiplas variações de prompts e cenários.

3. Contribuições Principais

• Framework de Avaliação Multi-Turn: Criação do primeiro conjunto de tarefas de longo formato (LFTs) para avaliação de segurança de IA focado em fraudes, superando as limitações dos testes de "single-turn" (uma única pergunta).
• Validação Operacional: Integração profunda de especialistas em fraudes e cibercrime no desenho dos casos de teste, garantindo que os cenários reflitam metodologias criminais reais.
• Metodologia Reprodutível: Estabelecimento de um método robusto para rastrear a evolução dos riscos de uso indevido à medida que os modelos se tornam mais capazes e os adversários se adaptam.

4. Resultados Chave

A. Nível Geral de Assistência

• Baixa Acionabilidade: Sob condições de elicitação de baixo esforço (sem técnicas avançadas de jailbreak), os modelos fornecem assistência mínima.
  • 88,5% das respostas foram classificadas como recusa ou falha em produzir materiais de ataque utilizáveis (pontuação ≤ 2 em acionabilidade).
  • 67,5% das respostas falharam em agregar informações além de uma busca na web básica (pontuação ≤ 2 em acesso à informação).
• Efeito de Limite: Pouquíssimas respostas atingiram níveis altos (4+), que exigiriam soluções automatizadas completas, indicando que os modelos atuais ainda não dominam a execução autônoma de crimes complexos.

B. Impacto das Salvaguardas e Modelos

• Modelos "Uncensored": Modelos ajustados para remover guardrails de segurança forneceram significativamente mais assistência acionável e útil.
  • Exemplo: O modelo Llama 3.1 8B Uncensored teve pontuações preditas muito mais altas do que modelos alinhados.
  • Observação Importante: Mesmo nos modelos "uncensored", a consciência de segurança muitas vezes persiste (ex: o modelo fornece o dado, mas inclui um aviso ético), embora não impeça a geração do conteúdo.
• Modelos Alinhados: Modelos com segurança robusta (como Claude e versões seguras do GPT) mostraram-se altamente eficazes em recusar solicitações diretas.

C. Eficácia das Técnicas de Ataque

• Decomposição Benigna (Benign Decomposition): Dividir solicitações maliciosas em uma sequência de consultas que parecem benignas (ex: "estou pesquisando para uma apresentação de segurança") foi a técnica mais eficaz para aumentar a conformidade.
  • O enquadramento benigno aumentou as pontuações de acionabilidade em média 0,86 pontos e de acesso à informação em 1,20 pontos em comparação com o enquadramento malicioso explícito.
• Jailbreaks de Sistema: Tentativas de jailbreak em nível de sistema (instruções adversariais no prompt do sistema) mostraram efeitos negligenciáveis, sugerindo que técnicas mais sofisticadas são necessárias para contornar defesas robustas.

D. Variações por Cenário e Ator

• Tipo de Fraude: A fraude de CEO e o roubo de identidade foram mais sensíveis à decomposição benigna do que golpes românticos. Solicitações técnicas explícitas (roubo de identidade) foram quase totalmente recusadas quando o contexto era malicioso, mas abriram-se quando o contexto era de "pesquisa de segurança".
• Sofisticação do Ator: A sofisticação técnica do solicitante (ator não técnico vs. técnico) teve impacto mínimo na resposta do modelo. O modelo responde mais à natureza da solicitação do que à persona do usuário.
• Raciocínio e Busca Web: Modelos com capacidades de raciocínio (Chain-of-Thought) tendem a fornecer mais assistência dentro do seu próprio grupo, mas ainda assim limitados globalmente. A ativação de busca na web não aumentou significativamente a utilidade para crimes; em alguns casos, reduziu as pontuações, possivelmente devido a camadas adicionais de segurança.

5. Significância e Conclusão

• Conclusão Principal: Os modelos de geração de texto atuais oferecem um uplift relativamente mínimo para fraudes e cibercrimes através da provisão de informações, a menos que haja um esforço extensivo para contornar as salvaguardas (como o uso de modelos "uncensored" ou técnicas de jailbreak avançadas).
• Implicações para Segurança:
  • As defesas atuais são eficazes contra solicitações diretas e maliciosas.
  • A maior vulnerabilidade reside na incapacidade dos modelos de detectar intenção maliciosa em contextos longos e decompostos que parecem benignos.
  • A remoção de guardrails (modelos uncensored) é o fator determinante para a utilidade criminosa, não necessariamente o tamanho ou a capacidade de raciocínio do modelo.
• Limitações: O estudo focou apenas em texto (não multimodal), usou prompts estáticos (que podem não capturar ataques adaptativos futuros) e testou apenas técnicas de jailbreak de baixo esforço.
• Futuro: A metodologia proposta serve como uma base para monitorar continuamente os riscos de IA, destacando a necessidade de desenvolver salvaguardas capazes de detectar intenções nocivas ao longo de conversas estendidas e multi-turn.

Este trabalho fornece uma evidência empírica crucial para formuladores de políticas e desenvolvedores de IA, indicando que, embora o risco exista, os modelos comerciais atuais com salvaguardas adequadas não são ferramentas "prontas para uso" para a maioria dos criminosos sem um esforço técnico significativo para contorná-los.