An Expanded Synthetic Conversation Dataset for Multi-Turn Smishing Detection

Resumo Técnico: Um Conjunto de Dados de Conversas Sintéticas Expandido para Detecção de Smishing Multi-turno

Declaração do Problema
Ataques de engenharia social conversacional (smishing) que visam indivíduos idosos representam uma crescente ameaça à cibersegurança, desenrolando-se ao longo de múltiplos turnos de diálogo. Diferente do phishing de mensagem única, esses ataques dependem da construção gradual de confiança, o que os torna difíceis de detectar com classificadores tradicionais de mensagem única. Dados do mundo real para tais interações são escassos devido a restrições de privacidade e ética. O trabalho anterior dos autores, COVA, introduziu um conjunto de dados sintéticos de 3.201 conversas, mas revelou uma limitação crítica: modelos transformer (DistilBERT e Longformer) tiveram desempenho inferior ao XGBoost com recursos TF-IDF. Essa lacuna foi atribuída ao truncamento de entrada, que descarta turnos finais críticos para o desfecho, e à insuficiência de dados de treinamento para um ajuste fino (fine-tuning) eficaz de transformers.

Metodologia: Expansão COVA-X e Ciclo de Vida de Qualidade
Este artigo apresenta o COVA-X, um conjunto de dados sintéticos expandido contendo 10.985 conversas multi-turno (um aumento de 3,43× em relação ao original), abrangendo oito categorias de golpes direcionados a idosos (Romance, Personificação de Governo, Medicare, Avô/Avó, Personificação Bancária, Sequestro Virtual, Investimento e Loteria).

O pipeline de geração utilizou Qwen 2.5 14B via Ollama em hardware de GPU local, empregando dois agentes de LLM independentes (atacante e vítima). As principais melhorias metodológicas sobre a primeira iteração incluem:

• Expansão de Perfil: Introdução de cinco perfis de vítima por tipo de golpe, incluindo dois perfis "com desfecho fixo" (Carol para rejeição_rápida, George para golpe_detectado) para garantir diversidade comportamental e força de sinal.
• Correções de Engenharia de Prompt: Implementação de "Trava de Identidade de Nome" (Name Identity Lock) para evitar mistura de personagens, injeções de "REGRA DE SAÍDA ABSOLUTA" para suprimir vazamentos de direções de cena, e reescritas para eliminar a contaminação de "abertura de avô/avó" em golpes que não são de avô/avó.
• Intervenção Arquitetural para Sequestro Virtual: Para abordar as altas taxas de artefatos na categoria "Sequestro Virtual" (que envolve três partes: atacante, vítima e refém), os autores mudaram de uma arquitetura de dois papéis (atacante gerando a voz do refém dentro de seu próprio turno) para uma arquética de três papéis (Caminho B). No Caminho B, o refém é um agente distinto com seu próprio prompt de sistema e turno, incorporado de volta ao turno do atacante no momento da escrita do JSON.
• Ciclo de Vida de Qualidade: Um pipeline abrangente incluindo varredura de contaminação, remoção de direções de cena, rotulagem automatizada e uma auditoria de pós-limpeza.

Principais Contribuições

1. Expansão do Conjunto de Dados: O lançamento do COVA-X (10.985 conversas) com cinco perfis de vítima/atacante por categoria, abordando a escassez de dados que anteriormente prejudicava o desempenho dos transformers.
2. Documentação do Ciclo de Vida de Qualidade: Uma análise quantificada do processo de construção do conjunto de dados, demonstrando uma melhoria de 12,7× nas taxas de correção de rótulos (reduzindo as incompatibilidades de 49,8% na primeira iteração para 3,9%).
3. Validação Arquitetural: Evidência de que a intervenção de três papéis para Sequestro Virtual reduziu as taxas de sinalização de artefatos de 67,1% para 46,5%, com a maior parte da redução (20,4 pontos percentuais) atribuída à mudança arquitetural e não ao pós-processamento.
4. Comparação de Modelos: Um retreinamento de todos os classificadores (XGBoost, DistilBERT, Longformer) no conjunto de dados expandido para testar a hipótese de que corpora maiores permitem que os transformers aproveitem suas vantagens contextuais.
5. Caracterização do Modelo de Geração: Documentação de limites específicos de capacidade do Qwen 2.5 14B sob pressão emocional sustentada, incluindo falha em adotar tags estruturais, viés de saliência em engenharia de prompt (onde listar padrões proibidos aumentou sua ocorrência) e quebras de conformidade de perfil.

Resultos
O retreinamento dos classificadores no conjunto de dados limpo COVA-X rendeu os seguintes resultados na tarefa de previsão de desfecho de 3 classes (cumpriu, parcial, rejeitou):

• Longformer (Contexto Total): Alcançou 79,71% de acurácia e 0,7786 macro F1.
• XGBoost + TF-IDF: Alcançou 78,43% de acurácia e 0,7563 macro F1.
• DistilBERT v2 (Truncamento de Cauda): Alcançou 77,53% de acurácia e 0,7632 macro F1.

Principais Descobertas:

• Confirmação da Hipótese: O Longformer superou o XGBoost em todas as métricas pela primeira vez, confirmando que os modelos transformer requerem corpora conversacionais maiores (>5.000 conversas) para realizar suas vantagens contextuais. O Longformer mostrou uma melhoria de 11,16 pontos percentuais no macro F1 em comparação com o primeiro artigo, ultrapassando significativamente a melhoria de 6,53 pontos do XGBoost.
• Consistência entre Arquiteturas: Uma análise de sensibilidade pré/pós-limpeza mostrou que todas as três arquiteturas melhoraram no conjunto de dados limpo. Isso sugere que o pipeline de limpeza recuperou sinais genuínos relevantes para o rótulo, acessíveis através de diferentes substratos de representação (bag-of-words vs. embeddings de transformer).
• Dinâmicas por Tipo de Golpe: As distribuições de desfecho variaram conforme o mecanismo do golpe. O Sequestro Virtual teve a maior taxa de golpe_bem_sucedido (33%) devido à pressão emocional, enquanto os golpes de Avô/Avó tiveram a maior taxa de tentativa_de_verificação (63%). Golpes de Medicare e Bancários mostraram altas taxas de rejeição_rápida, refletindo a conscientização pública.

Significância e Alegações
O artigo alega que a descoberta central — a superioridade do Longformer sobre o XGBoost no conjunto de dados expandido — valida diretamente a hipótese do tamanho dos dados do trabalho anterior dos autores. Além disso, os autores argumentam que a documentação transparente dos desafios iterativos na construção de conjuntos de dados sintéticos (incluindo a melhoria de 12,7× nos rótulos e os modos de falha específicos do modelo de geração) constitui uma contribuição metodológica por si só. Isso fornece um roteiro prático para futuros esforços de conjuntos de dados sintéticos, destacando que refinamentos de pipeline e intervenções arquiteturais (como a geração de três papéis para Sequestro Virtual) são críticos para a integridade do conjunto de dados.

Os autores observam modestamente as limitações, incluindo o fato de o conjunto de dados ser apenas em inglês e centrado nos EUA, a falta de capacidades de classificação incremental em tempo real e a persistência de limitações específicas do modelo de geração (ex: a incapacidade do Qwen 2.5 14B de seguir consistentemente tags estruturais sob pressão emocional), o que motiva futuros estudos de comparação de modelos.