Resumo Técnico: Medindo e Avaliando o Desempenho de Modelos de IA Generativa para Detecção de Golpes

Declaração do Problema

Os golpes online representam uma ameação crescente, causando danos financeiros e pessoais substanciais ao explorar a confiança e as emoções humanas. Embora técnicas tradicionais de aprendizado de máquina (ex: Regressão Logística, SVM, Naive Bayes) tenham sido amplamente aplicadas à detecção de golpes, elas frequentemente generalizam mal para ataques novos ou inéditos. Consequentemente, há uma adoção rapidamente acelerada de Grandes Modelos de Linguagem (LLMs) em produtos de segurança, impulsionada pela crença comum de que suas fortes capacidades de compreensão de intenção, contexto e raciocínio as tornam amplamente adequadas para a detecção de golpes. No entanto, este artigo argumenta que, apesar da popularidade da IA generativa em domínios como detecção de vulnerabilidades e bugs, uma avaliação rigorosa e abrangente de LLMs especificamente para detecção de golpes está atualmente ausente.

Metodologia

Os autores conduziram o primeiro estudo empírico abrangente avaliando a eficácia e as limitações de LLMs populares para detecção de golpes. A metodologia envolveu os seguintes componentes principais:

1. Curadoria de Conjunto de Dados (ScamBenchmark)

Os pesquisadores curaram e lançaram um conjunto de dados de benchmark único composto por 2.742 amostras exclusivas de três fontes primárias:

• Reddit: 1.270 postagens do subreddit "Is this a scam?", processadas via OCR.
• Google Images: 615 imagens coletadas via consultas específicas (ex: "hi mom scams"), processadas via OCR.
• MTurk: 857 capturas de tela de mensagens legítimas enviadas por participantes.
• Dados Proprietários: Um conjunto de validação de 59.991 amostras do mundo real fornecido por uma empresa de segurança.

Cada amostra foi rotulada como Golpe (Scam), Limpa (Clean) ou Incerta (Uncertain) (para casos ambíguos que exigem metadados externos). Os dados foram further categorizados em 25 tipos de golpes detalhados.

2. Seleção de Modelos

O estudo avaliou nove LLMs de variados tamanhos e arquiteturas, juntamente com um classificador baseado em BERT ajustado (fine-tuned):

• Código Aberto: Mistral (7B, 8x7B), Llama 3 (8B), Llama 3.1 (8B, 70B), Llama 3.2 (11B).
• Proprietário: OpenAI ChatGPT (4 Turbo, 4o, 4o1).
• Baseline: BERT ajustado (fine-tuned).

3. Design Experimental

A avaliação focou em diversas variáveis:

• Estratégias de Prompting: Zero-shot, Few-shot (1, 5, 10 shots), Chain-of-Thought (CoT), prompts incorporando "Sinais Comuns" de golpes e prompts aumentados com "Inteligência de URL" (usando avaliações de segurança externas).
• Ajuste de Hiperparâmetros: Avaliação dos valores de temperatura e top-p (0.1, 0.5, 0.9) para avaliar o impacto da estocasticidade da saída.
• Ajuste Fino (Fine-Tuning): Ajuste supervisionado de Mistral 7B, Llama 3.1 8B e BERT usando conjuntos de treinamento equilibrados (400 amostras por classe).
• Análise de Ensemble: Avaliação do acordo entre modelos usando o Kappa de Cohen e teste de combinações de ensemble.

Principais Resultados

Desempenho e Tamanho do Modelo

• Modelos Maiores Superam: Geralmente, modelos maiores alcançaram melhores resultados. ChatGPT 4o1 e Llama 3.1 70B atingiram os maiores escores de micro-F1 (64% e 65%, respectivamente) sob prompting zero-shot.
• Sensibilidade ao Prompt: Estratégias de prompting impactaram significativamente o desempenho, mas o efeito dependeu do modelo.
  • Modelos Pequenos: O prompting eficaz (ex: "Sinais Comuns") impulsionou substancialmente os modelos menores. Por exemplo, o micro-F1 do Llama 3.1 8B subiu de 50% para 57% com prompts personalizados.
  • Modelos Grandes: Alguns modelos grandes (ex: ChatGPT 4o1) viram degradação de desempenho ou resultados mistos com estratégias de prompting complexas como Chain-of-Thought.
• Aprendizado Few-Shot: Aumentar o número de shots geralmente melhorou o desempenho, mas não universalmente. Para alguns modelos (ex: Llama 3.2 11B), configurações de 1-shot ou 5-shot superaram as configurações de 10-shot.

Generalização vs. Ajuste Fino (Fine-Tuning)

• Generalização: Os LLMs demonstraram uma generalização superior para dados não vistos em comparação com modelos ajustados. Ao serem testados em um grande conjunto de dados proprietário, o desempenho do modelo BERT ajustado caiu significativamente (micro-F1 0.393), enquanto o Llama 3.1 70B manteve um escore estável (0.596).
• Limites do Ajuste Fino: Embora o ajuste fino tenha melhorado o desempenho de LLMs menores (ex: Mistral 7B melhorou de 0.470 para 0.543 micro-F1), eles ainda ficaram aquém dos melhores modelos zero-shot de grande escala.
• Competitividade do BERT: Em ambientes controlados, o BERT ajustado apresentou desempenho competitivo (0.59 micro-F1), superando LLMs menores, mas careceu da robustez dos LLMs diante de mudanças de distribuição.

Categorias Específicas

• Golpe vs. Limpo: A maioria dos modelos teve dificuldade em categorizar amostras "Limpas", com alguns atingindo recall tão baixo quanto 0.019. ChatGPT 4o1 foi um ponto fora da curva, com 58% de recall para amostras limpas.
• Classe Incerta: Muitos modelos tiveram dificuldade em classificar amostras como "Incerteza", embora o ChatGPT 4 Turbo tenha tido o melhor desempenho nesta categoria.

Principais Contribuições

1. Primeiro Estudo Abrangente: O artigo apresenta a primeira avaliação de LLMs populares para detecção de golpes usando várias técnicas de prompting e hiperparâmetros.
2. Dataset ScamBenchmark: O lançamento do primeiro conjunto de dados de benchmark especificamente para avaliar LLMs na detecção de golpes, incluindo amostras do mundo real em múltiplos formatos e tópicos.
3. Limitações Empíricas: O estudo demonstra empiricamente que os atuais LLMs não são uma "bala de prata" para a detecção de golpes; sua eficácia é altamente contingente ao modelo e à configuração de prompting.
4. Avaliação de Ajuste Fino: Os autores ajustaram o Mistral 7B, Llama 3.1 8B e BERT, fornecendo uma análise comparativa de seu desempenho contra modelos zero-shot de grande escala.

Significância e Alegações

O artigo conclui que, embora os LLMs maiores (ex: ChatGPT 4o1, Llama 3.1 70B) atualmente forneçam o melhor desempenho, eles não são uma solução universal. Os autores alegam que o caminho a seguir não reside simplesmente em escalar o tamanho do modelo, mas em arquiteturas híbridas que combinam a compreensão semântica dos LLMs com a eficiência e precisão dos métodos clássicos de ML.

O estudo enfatiza que:

• LLMs generalizam melhor para golpes não vistos do que modelos ajustados, sugerendo que o conhecimento pré-treinado é valioso.
• A engenharia de prompt é crítica, mas deve ser adaptada a modelos específicos, pois estratégias que ajudam modelos pequenos podem prejudicar os grandes.
• Nenhum modelo ou abordagem única resolve a detecção de golpes universalmente; o deployment ideal provavelmente requer um pipeline onde LLMs lidam com entradas ambíguas ou extração de características, enquanto modelos clássicos lidam com classificação determinística.

Os autores disponibilizam seu conjunto de dados e modelos ajustados para facilitar pesquisas futuras em detecção robusta de golpes, visando ir além da "crença comum" de uma adequação ampla em direção a uma estratégia de implementação mais matizada e baseada em evidências.