A Synthetic Conversational Smishing Dataset for Social Engineering Detection

1. O Problema

O Smishing (phishing via SMS) é uma ameaça cibernética crescente que visa principalmente idosos e indivíduos com baixa alfabetização digital, resultando em perdas financeiras significativas e erosão da confiança.

• Limitação da Pesquisa Atual: A maioria dos estudos existentes foca na classificação de mensagens individuais como maliciosas ou benignas. No entanto, atacantes reais utilizam estratégias de engenharia social multi-etapa, onde o ataque se desenrola através de conversas prolongadas para "construir confiança" (grooming) antes de solicitar informações sensíveis.
• Falta de Dados: Não existem conjuntos de dados públicos robustos para detecção de smishing conversacional (multi-turn). A coleta de dados reais enfrenta barreiras éticas e de privacidade, especialmente envolvendo populações vulneráveis.

2. Metodologia Proposta (Framework COVA)

Os autores introduzem o framework COVA (Cognitive Operations Virtual Assistant), que opera em três fases principais para gerar e analisar dados sintéticos:

A. Geração de Conversas Multi-Agentes

Em vez de usar um único prompt para gerar toda a conversa, o sistema emprega dois agentes de IA independentes interagindo em tempo real:

• Agente Atacante: Configurado com um tipo de golpe, persona (nome, papel), parâmetros táticos (urgência, método de pagamento) e nível de conhecimento prévio sobre a vítima.
• Agente Vítima: Parametrizado com atributos demográficos (idade 65-85), traços de personalidade (nível de confiança, consciência de golpes) e um resultado-alvo que guia, mas não garante, o desfecho.
• Infraestrutura: Utilizou-se o modelo Qwen 2.5 14B rodando localmente (via Ollama) para evitar restrições de segurança de APIs comerciais e garantir privacidade total dos dados.

B. Categorias de Golpes e Qualidade dos Dados

• Categorias: O dataset cobre 8 categorias de golpes que afetam desproporcionalmente idosos (baseado em relatórios do FBI e FTC): Golpe do Avô, Sequestro Virtual, Fraude do Medicare, Romance, Impersonificação Governamental, Investimento, Loteria e Golpe Bancário.
• Auditoria de Qualidade: Inicialmente, um classificador baseado em regras atribuiu rótulos, resultando em uma taxa de erro de 49,8%. Foi desenvolvida uma pipeline de auditoria aprimorada (v2) com correções manuais e heurísticas, resultando em um dataset final de 3.201 conversas rotuladas corretamente.
• Estrutura do Dataset: Total de 25.643 trocas de mensagens (turns), com média de 16,2 turnos por conversa.

C. Classificação de Resultados

Os rótulos foram consolidados em 3 classes principais para modelagem:

1. Complied (Conforme): A vítima cumpriu totalmente o pedido.
2. Partial (Parcial): A vítima interagiu, mas não se comprometeu totalmente.
3. Rejected (Rejeitado): A vítima rejeitou o golpe ou terminou a chamada.

3. Contribuições Principais

1. Dataset Sintético Público: Introdução do maior conjunto de dados público (até onde se sabe) de conversas de engenharia social multi-turno focado em idosos, contendo 3.201 interações rotuladas.
2. Framework de Geração: Um pipeline reprodutível usando agentes LLM locais para simular dinâmicas de conversa realistas, incluindo resistência da vítima e táticas de escalada.
3. Benchmarks de Detecção: Avaliação comparativa de 8 modelos (ML tradicional e Transformers) utilizando tanto características engenhadas quanto representações textuais.
4. Análise de Desempenho: Demonstração de que, neste contexto específico, modelos baseados em TF-IDF superam arquiteturas Transformer modernas.

4. Resultados Experimentais

Os autores avaliaram 8 modelos (Logistic Regression, Random Forest, Linear SVM, XGBoost, DistilBERT e Longformer) usando duas abordagens de características: Características Engenharia (28 métricas numéricas) e TF-IDF (representação textual).

• Melhor Modelo: XGBoost combinado com TF-IDF.
  • Acurácia: 72,5%
  • Macro F1: 0,691
• Comparação com Transformers:
  • Modelos Transformer (DistilBERT e Longformer) performaram pior (aprox. 69,8% de acurácia), apesar de sua capacidade de compreensão contextual.
  • DistilBERT: Sofreu com o limite de 512 tokens, perdendo informações críticas do final da conversa (onde a decisão de compliance/rejeição ocorre).
  • Longformer: Apesar de suportar janelas maiores (4.096 tokens), não superou o XGBoost, provavelmente devido ao tamanho limitado do dataset de treinamento (2.556 conversas), causando overfitting.
• Fator Decisivo: Modelos baseados em TF-IDF superaram consistentemente os que usavam apenas características engenhadas (melhoria de 16 pontos percentuais no XGBoost), indicando que padrões lexicais são mais discriminativos para esta tarefa do que métricas estruturais.

5. Significado e Conclusão

• Importância do Dataset: Preenche uma lacuna crítica na pesquisa de segurança cibernética, permitindo o estudo de ataques de engenharia social complexos e multi-turno que antes eram impossíveis de analisar em escala devido à falta de dados.
• Insight Técnico: O estudo revela que, para conjuntos de dados conversacionais de escala moderada, modelos tradicionais de ML com TF-IDF podem ser mais eficazes e eficientes em termos de dados do que modelos Transformer finamente ajustados, que exigem corpora muito maiores e janelas de contexto extensas para superar abordagens baseadas em "sacola de palavras" (bag-of-words).
• Futuro: Os autores planejam expandir o dataset para mais de 10.000 conversas, explorar classificação incremental (para detecção em tempo real) e adicionar mais categorias e idiomas.

Em resumo, o trabalho fornece uma base fundamental para o desenvolvimento de defesas mais robustas contra golpes de engenharia social, destacando a necessidade de analisar o contexto conversacional completo e não apenas mensagens isoladas.