Detecting Coordinated Bot Campaigns through Time-Series Anomaly Detection: A Comparative Study of GAN-Based and Reconstruction-Based Models

Resumo Técnico: Detecção de Campanhas de Bots Coordenados através de Detecção de Anomalias em Séries Temporais

Definição do Problema
Os bots sociais operam cada vez mais não como entidades isoladas, mas como campanhas coordenadas, impulsionando mensagens e manipulando tendências em uníssono. Embora os métodos de detecção existentes analisem efetivamente metadados de perfil, conteúdo de postagem e estruturas de grafos sociais, eles frequentemente tratam as contas como objetos estáticos, negligenciando a dimensão temporal da atividade. Este artigo aborda a lacuna na compreensão de se o tempo de atividade de uma conta, por si só, é suficiente para distinguir bots coordenados de usuários genuínos. Além disso, busca determinar qual classe de modelos de detecção de anomalias em séries temporais — especificamente comparando abordagens adversariais generativas contra modelos baseados em reconstrução — é mais eficaz para esta tarefa.

Metodologia
O estudo utiliza o dataset Cresci-2017, focando em contas genuínas como a classe "normal" e em spambots sociais como a classe "bot-coordenado". A metodologia procede através de quatro estágios principais:

1. Reconstrução de Séries Temporais: Para cada conta, o autor reconstrói duas representações a partir de carimbos de data/hora (timestamps) brutos de tweets:

   • Um perfil de atividade semanal: um vetor de 168 pontos (7 dias × 24 horas) mapeando a frequência de tweets para uma distribuição de probabilidade normalizada.
   • Um vetor de características temporais: um vetor de 9 dimensões, interpretável, capturando:
     • Intervalos de postagem (média, mediana, desvio padrão, mínimo).
     • Padrões de surto (burst patterns) (coeficiente de burstiness de Goh-Barabasi e fração de intervalos abaixo de 60 segundos).
     • Ciclo diurno (participação no período noturno, entropia de Shannon da distribuição horária e coeficiente de variação para contagens diárias).
   • Nota: O estudo descobriu explicitamente que pontuar modelos no perfil bruto de 168 pontos resultava em um desempenho inferior ao acaso, pois os bots coordenados ocupavam uma região mais simples e repetitiva do espaço. Consequentemente, todos os resultados relatados utilizam o vetor de características de 9 dimensões, onde os bots aparecem como outliers genuínos.

2. Formulação do Problema: A detecção é formulada como um problema de detecção de anomalias não supervisionada. Os modelos são treinados exclusivamente em contas genuínas para aprender o comportamento temporal "normal". No momento do teste, qualquer conta que se desvie deste padrão recebe uma pontuação de anomalia elevada.

3. Comparação de Modelos: Quatro detectores são comparados através de cinco divisões independentes de treino-teste (60% treino, 40% teste):

   • GAN estilo TAnoGAN: Um modelo adversarial utilizando um gerador LSTM e um discriminador. As pontuações de anomalia são derivadas via inversão latente (descida do gradiente para encontrar o melhor código latente) e medição do erro de reconstrução residual.
   • Autoencoder LSTM: Um codificador-decodificador recorrente usando o erro de reconstrução como pontuação de anomalia.
   • Autoencoder de CNN Temporal (TCN): Um autoencoder convolucional 1D com convoluções dilatadas, usando o erro de reconstrução como pontuação.
   • Isolation Forest: Uma linha de base clássica, não neural.

4. Verificação de Coordenação: Para verificar se as anomalias detectadas correspondem a campanhas reais, as contas com as maiores pontuações são agrupadas usando DBSCAN com base em suas impressões digitais de atividade de 24 horas. A pureza desses clusters (fração de membros que são rotulados como bots) é medida.

Principais Contribuições

• Engenharia de Características: A reconstrução das séries temporais por conta a partir de timestamps brutos em um conjunto compacto e interpretável de características temporais que descrevem intervalos, burstiness e ritmo diurno.
• Comparação Sistemática: Uma comparação rigorosa e não supervisionada de um detector baseado em GAN contra três modelos baseados em reconstrução (LSTM, TCN e Isolation Forest) na tarefa específica de detecção de bots coordenados.
• Análise de Resultado Negativo: Uma investigação detalhada da falha consistente do detector baseado em GAN neste domínio específico, em vez de apenas descartá-lo como um ponto fora da curva.
• Validação de Pipeline: A demonstração de que um pipeline de "detecção de anomalias seguida de agrupamento" consegue recuperar grupos densos de bots coordenados.

Resultados
O estudo reporta o desempenho como média e desvio padrão sobre cinco divisões independentes, utilizando ROC-AUC como métrica primária:

• Autoencoder de CNN Temporal: Alcançou o melhor desempenho com um ROC-AUC de 0,976 ± 0,002 altamente estável. Também liderou em PR-AUC (0,989) e F1 (0,973).
• Isolation Forest & Autoencoder LSTM: Desempenharam de forma comparável, com ROC-AUCs médios de 0,930 ± 0,012 e 0,927 ± 0,015, respectivamente.
• GAN estilo TAnoGAN: Desempenhou no nível ou abaixo do acaso, com um ROC-AUC médio de 0,472 ± 0,066. O modelo foi marcadamente instável, com valores de ROC-AUC variando de 0,347 a 0,531 entre as divisões. O autor observa que o alto F1-score aparente (0,893) foi um artefato do equilíbrio de classes no conjunto de teste, não de uma verdadeira capacidade discriminativa.

Agrupamento e Coordenação:
Quando as contas sinalizadas foram agrupadas por atividade diária, os modelos baseados em reconstrução e o Isolation Forest recuperaram clusters com 100% de pureza de bots. A GAN recuperou clusters com 95–99% de pureza. Esses clusters continham centenas de contas compartilhando cronogramas diários quase idênticos, confirmando que as anomalias temporais detectadas correspondem a um comportamento coordenado genuíno.

Significância e Alegações
O artigo alega que sinais temporais sozinhos são altamente discriminativos para detectar campanhas de bots coordenados, alcançando uma separação quase perfeita sem depender de dados de perfil, conteúdo ou rede. Isso é significativo porque os timestamps são leves, estão disponíveis mesmo quando o conteúdo é obscurecido e são difíceis de serem disfarçados pelos operadores sem sacrificar a eficiência da automação.

Crucialmente, o estudo conclui que modelos de reconstrução mais simples (especificamente a CNN Temporal) superam significativamente os modelos adversariais nesta tarefa. O autor atribui a falha da GAN à baixa dimensionalidade dos recursos de entrada (9 dimensões), que oferece pouca estrutura para um gerador adversarial explorar, combinada com a instabilidade inerente do treinamento adversarial e a variância adicionada da etapa de pontuação por inversão latente. O artigo postula que, em representações temporais compactas, modelos "mais simples" não são apenas mais fortes, mas também muito mais confiáveis, desafiando a suposição de que modelos mais elaborados são automaticamente superiores.

Limitações
O autor reconhece que o estudo utiliza uma amostra balanceada de contas de um único dataset (Cresci-2017) e foca apenas na classe de spambots sociais. Trabalhos futuros são propostos para validar esses achados em datasets completos, incluir outras classes de bots e testar representações sequenciais mais ricas que possam permitir que modelos adversariais se tornem competitivos.