Detecting Coordinated Bot Campaigns through Time-Series Anomaly Detection: A Comparative Study of GAN-Based and Reconstruction-Based Models

Resumen Técnico: Detección de Campañas de Bots Coordinados mediante la Detección de Anomalías en Series Temporales

Planteamiento del Problema
Los bots sociales operan cada vez más no como entidades aisladas, sino como campañas coordinadas, impulsando mensajes y manipulando tendencias de forma unísona. Aunque los métodos de detección existentes analizan eficazmente los metadatos de los perfiles, el contenido de las publicaciones y las estructuras de los grafos sociales, a menudo tratan a las cuentas como objetos estáticos, descuidando la dimensión temporal de la actividad. Este artículo aborda la brecha en la comprensión de si el momento de la actividad de una cuenta por sí solo es suficiente para distinguir a los bots coordinados de los usuarios genuinos. Además, busca determinar qué clase de modelos de detección de anomalías en series temporales —comparando específicamente los enfoques adversarios generativos contra los modelos basados en reconstrucción— es más efectiva para esta tarea.

Metodología
El estudio utiliza el conjunto de datos Cresci-2017, centrándose en cuentas genuinas como la clase "normal" y en bots de spam social como la clase "bot-coordinado". La metodología avanza a través de cuatro etapas clave:

1. Reconstrucción de Series Temporales: Para cada cuenta, el autor reconstruye dos representaciones a partir de las marcas de tiempo (timestamps) de los tweets originales:

   • Un perfil de actividad semanal: un vector de 168 puntos (7 días × 24 horas) que mapea la frecuencia de tweets a una distribución de probabilidad normalizada.
   • Un vector de características temporales: un vector interpretable de 9 dimensiones que captura:
     • Intervalos de publicación (media, mediana, desviación estándar, mínimo).
     • Patrones de ráfaga (burst patterns) (coeficiente de ráfaga de Goh-Barabasi y fracción de intervalos inferiores a 60 segundos).
     • Ciclo diurno (participación nocturna, entropía de Shannon de la distribución horaria y coeficiente de variación para los recuentos diarios).
   • Nota: El estudio encontró explícitamente que calificar los modelos con el perfil de 168 puntos original arrojaba un rendimiento inferior al azar porque los bots coordinados ocupaban una región más simple y repetitiva del espacio. Por consiguiente, todos los resultados reportados utilizan el vector de características de 9 dimensiones, donde los bots aparecen como valores atípicos (outliers) genuinos.

2. Formulación del Problema: La detección se enmarca como un problema de detección de anomalías no supervisada. Los modelos se entrenan exclusivamente con cuentas genuinas para aprender el comportamiento temporal "normal". En el momento de la prueba, cualquier cuenta que se desvíe de esta norma recibe una puntuación de anomalía alta.

3. Comparación de Modelos: Se comparan cuatro detectores a través de cinco divisiones independientes de entrenamiento-prueba (60% entrenamiento, 40% prueba):

   • GAN estilo TAnoGAN: Un modelo adversario que utiliza un generador LSTM y un discriminador. Las puntuaciones de anomalía se derivan mediante la inversión latente (descenso de gradiente para encontrar el mejor código latente) y la medición del error de reconstrucción residual.
   • Autoencoder LSTM: Un codificador-decodificador recurrente que utiliza el error de reconstrucción como puntuación de anomalía.
   • Autoencoder de Red Neuronal Convolucional Temporal (TCN): Un autoencoder convolucional de 1D con convoluciones dilatadas, que utiliza el error de reconstrucción como puntuación.
   • Isolation Forest: Una línea base clásica no neuronal.

4. Verificación de la Coordinación: Para verificar que las anomalías detectadas corresponden a campañas reales, las cuentas con las puntuaciones más altas se agrupan mediante DBSCAN basándose en sus huellas digitales de actividad de 24 horas. La pureza de estos grupos (la fracción de miembros etiquetados como bots) se mide de esta forma.

Contribuciones Clave

• Ingeniería de Características: La reconstrucción de las series temporales por cuenta desde las marcas de tiempo originales hacia un conjunto compacto e interpretable de características temporales que describen intervalos, ráfagas y ritmo diurno.
• Comparación Sistemática: Una comparación riguro而且 no supervisada de un detector basado en GAN contra tres modelos basados en reconstrucción (LSTM, TCN e Isolation Forest) en la tarea específica de detección de bots coordinados.
• Análisis de Resultados Negativos: Una investigación detallada sobre el fallo constante del detector basado en GAN en este dominio específico, en lugar de simplemente descartarlo como un valor atípico.
• Validación del Pipeline: La demostración de que un pipeline de "detección de anomalías seguida de agrupamiento (clustering)" puede recuperar con éxito grupos densos de bots coordinados.

Resultados
El estudio reporta el rendimiento como media y desviación estándar sobre cinco divisiones independientes, utilizando ROC-AUC como métrica principal:

• Autoencoder de Red Neuronal Convolucional Temporal (TCN): Logró el mejor rendimiento con un ROC-AUC de 0.976 ± 0.002 altamente estable. También lideró en PR-AUC (0.989) y F1 (0.973).
• Isolation Forest y Autoencoder LSTM: Funcionaron de manera comparable, con ROC-AUC medios de 0.930 ± 0.012 y 0.927 ± 0.015, respectivamente.
• GAN estilo TAnoGAN: Funcionó en el nivel o por debajo del nivel del azar con un ROC-AUC medio de 0.472 ± 0.066. El modelo fue marcadamente inestable, con valores de ROC-AUC que variaron de 0.347 a 0.531 entre las divisiones. El autor señala que el alto F1 aparente (0.893) fue un artefacto del equilibrio de clases en el conjunto de prueba, no de una verdadera capacidad discriminativa.

Agrupamiento y Coordinación:
Cuando las cuentas señaladas fueron agrupadas por su actividad diaria, los modelos basados en reconstrucción y el Isolation Forest recuperaron grupos con un 100% de pureza de bots. La GAN recuperó grupos con un 95–99% de pureza. Estos grupos contenían cientos de cuentas que compartían horarios diarios casi idénticos, confirmando que las anomalías temporales detectadas corresponden a un comportamiento coordinado real.

Significado y Reivindicaciones
El artículo afirma que las señales temporales por sí solas son altamente discriminativas para detectar campañas de bots coordinados, logrando una separación casi perfecta sin depender de datos de perfil, contenido o red. Esto es significativo porque las marcas de tiempo son ligeras, están disponibles incluso cuando el contenido está oculto y son difíciles de disfrazar para los operadores sin sacrificar la eficiencia de la automatización.

Crucialmente, el estudio concluye que los modelos de reconstrucción más simples (específicamente el TCN Temporal) superan significativamente a los modelos adversarios en esta tarea. El autor atribuye el fallo de la GAN a la baja dimensionalidad de las características de entrada (9 dimensiones), lo que ofrece poca estructura para que un generador adversario la explote, combinado con la inestabilidad inherente del entrenamiento adversario y la varianza añadida del paso de puntuación por inversión latente. El artículo postula que, en representaciones temporales compactas, los modelos "más sencillos" no solo son más fuertes, sino también mucho más fiables, desafiando la suposición de que los modelos más elaborados son automáticamente superiores.

Limitaciones
El autor reconoce que el estudio utiliza una muestra equilibrada de cuentas de un único conjunto de datos (Cresci-2017) y se centra únicamente en la clase de spambots sociales. Se propone trabajo futuro para validar estos hallazgos en conjuntos de datos completos, incluir otras clases de bots y probar representaciones secuenciales más ricas que permitan a los modelos adversarios volverse competitivos.