Resumo Técnico: Robustez Adversária na Detecção de Smishing

Declaração do Problema

Os sistemas de detecção de smishing (phishing via SMS) são predominantemente treinados e avaliados em textos limpos e monolíngues. No entanto, em cenários de baixos recursos, caracterizados pela diversidade linguística e dados rotulados limitados, atacantes frequentemente contornam esses sistemas utilizando táticas de evasão sofisticadas: ofuscação de caracteres (homóglifos, erros ortográficos), perturbação estrutural (manipulação de espaçamento) e alternância de código (code-switching) translinguística. A literatura atual frequentemente trata essas estratégias de evasão como casos extremos teóricos, em vez de variáveis ambientais persistentes. Consequentemente, há uma falta de evidência empírica sobre como diferentes arquiteturas de modelos — desde modelos lexicais clássicos até transformers modernos — degradam-se sob condições adversárias, e se a alta acurácia em textos limpos prevê de forma confiável a robustez adversária.

Metodologia

O estudo avalia a robustez adversária de cinco arquiteturas de modelos utilizando um conjunto de dados de 27.037 mensagens de SMS (356 maliciosas, 1,3% de prevalência), compreendendo conteúdo em inglês e suaíli. Os modelos são divididos em dois níveis:

1. Modelos Lexicais Clássicos: Random Forest, XGBoost (ambos baseados em TF-IDF) e um híbrido CNN+BiLSTM.
2. Transformers Multilíngues: mBERT e XLM-RoBERTa.

Geração de Ataque e Estratégia:

• Modelos Clássicos: Avaliados sob um modelo de ameaça de caixa-preta (black-box). Exemplos adversários foram gerados usando a API Gemini para aplicar três tipos de ataque em três níveis de intensidade (baixo, médio, alto):
  • Ofuscação de Caracteres: Substituição por homóglifos e caracteres não imprimíveis.
  • Perturbação Estrutural: Inserção/remoção de espaços para interromper a tokenização.
  • Alternância de Código (Code-Switching): Substituição de frases gatilho por traduções no outro idioma.
• Modelos Transformer: Avaliados usando direcionamento guiado pela atenção. Testes preliminares mostraram que ataques genéricos resultaram em degradação negligenciável; portanto, as perturbações foram aplicadas exclusivamente aos top-K tokens identificados pelos pesos de atenção da camada final ($K=3, 6, 10$ para baixa, média, alta intensidade) para simular cenários de pior caso de caixa-branca (white-box).

Métrica de Avaliação:
A métrica primária é a Razão de Degradação de Robustez (RDR), definida como $(F1_{limpo} - F1_{adversário}) / F1_{limpo}$. Isso normaliza a degradação em relação ao baseline de cada modelo, permitindo a comparação direta da fragilidade arquitetônica independentemente do desempenho absoluto.

Validação Estatística:
Testes não paramétricos (Mann-Whitney U, Friedman e Cliff's $\delta$) foram empregados para confirmar que as diferenças observadas são atribuíveis à arquitetura e não a artefatos de amostragem.

Resultados Principais

1. Divisão Arquitetônica

Existe uma fronteira distinta entre arquiteturas clássicas e transformers:

• Modelos Clássicos: Exibem falha quase catastrófica sob ofuscação de caracteres e perturbação estrutural. Random Forest e XGBoost atingiram valores de RDR de 0,9533 e 0,9877, respectivamente, sob ofuscação de caracteres de alta intensidade, indicando colapso total do sinal. O CNN+BiLSTM mostrou melhor resiliência (RDR ~0,48) devido à recuperação contextual, mas ainda sofreu severa degradação.
• Transformers: Demonstraram significativamente maior resiliência, com valores máximos de RDR limitados a 0,3511 (XLM-RoBERTa sob perturbação estrutural). Eles permaneceram robustos contra ofuscação de caracteres (RDR < 0,24) e alternância de código (RDR < 0,05).

2. Especificidade do Ataque

• Modelos Clássicos: Mais vulneráveis à ofuscação de caracteres (colapso do sinal TF-IDF) e perturbação estrutural (fragmentação de fronteiras de n-gramas). A alternância de código causou a maior divergência dentro deste nível, com o Random Forest (RDR 0,70) falhando significativamente mais que o CNN+BiLSTM (RDR 0,27) devido ao viés lexical monolíngue.
• Transformers: Mais vulneráveis à perturbação estrutural, que interrompe a tokenização de subpalavras (subword). Curiosamente, a alternância de código foi o ataque menos eficaz (RDR < 0,05), pois o pré-treinamento multilíngue mapeia equivalentes translinguísticos para regiões de embedding próximas.

3. Desacoplamento Desempenho-Robustez

O estudo encontrou nenhuma correlação entre o desempenho em texto limpo e a robustez adversária:

• XLM-RoBERTa alcançou o maior F1 de texto limpo (0,9565), mas sofreu maior degradação (RDR 0,2326) sob ofuscação de caracteres de alta intensidade do que o mBERT (F1 0,9429, RDR 0,1515).
• Dentro do nível clássico, o CNN+BiLSTM teve o menor F1 de texto limpo (0,897), mas o menor RDR (0,4868) sob ofuscação de caracteres em comparação aos modelos baseados em árvores.

4. Significância Estatística

• Teste Mann-Whitney U: Confirmou que os modelos clássicos exibem RDR significativamente maior que os transformers ($U=50,0, p=0,0024$), com um tamanho de efeito grande (Cliff's $\delta = 0,85$).
• Teste de Friedman: Validou que a degradação escala de forma não linear com a intensidade, confirmando um limiar crítico onde o desempenho cai abruptamente.

Principais Contribuições

1. Comparação Empírica Sistemática: O estudo fornece a primeira comparação direta de fragilidade adversária através do espectro de modelos lexicais clássicos até transformers em um cenário multilíngue de baixos recursos.
2. Aplicação da Métrica RDR: Introduz e aplica a Razão de Degradação de Robustez para isolar pontos de falha arquitetônica da capacidade baseline, demonstrando que a acurácia em texto limpo é um mau preditor de segurança.
3. Refinamento da Estratégia de Ataque: Demonstra que ataques genéricos de caixa-preta subestimam a fragilidade dos transformers, necessitando de direcionamento guiado pela atenção para revelar vulnerabilidades de pior caso.
4. Identificação de Modos de Falha: Vincula explicitamente modos de falha específicos às propriedades arquitetônicas:
   • TF-IDF: Colapso devido à dependência exata da forma superficial.
   • Transformers: Vulnerabilidade à interrupção da tokenização de subpalavras, em vez de mudanças de caracteres superficiais.

Significância e Alegações

O artigo postula que a detecção de smishing deve ser enquadrada como um desafio de cibersegurança adversária, e não como uma tarefa de classificação estática. Os achados enfatizam que:

• O desempenho em texto limpo não é um proxy confiável para segurança. Otimizar para acurácia pode gerar modelos que são mais frágeis sob ataque direcionado.
• Defesas específicas de arquitetura são necessárias. Não existe uma solução universal; modelos TF-IDF requerem normalização Unicode e aumento de n-gramas, enquanto transformers requerem treinamento adversário consciente da atenção.
• Embeddings contextuais oferecem isolamento parcial. Em ambientes de recursos limitados onde transformers são computacionalmente proibitivos, arquiteturas CNN+BiLSTM servem como a alternativa clássica mais viável, oferecendo melhor resiliência do que modelos de bag-of-words.

Os autores concluem que os profissionais de segurança devem avaliar os modelos com base em métricas de resiliência adversária, em vez de acurácia baseline, pois modelos com desempenhos comparáveis em texto limpo podem exibir capacidades defensivas reais drasticamente diferentes.