Comparative Analysis of AutoML and BiLSTM Models for Cyberbullying Detection on Indonesian Instagram Comments

Aquí se presenta un resumen técnico detallado del artículo "Análisis Comparativo de Modelos AutoML y BiLSTM para la Detección de Ciberacoso en Comentarios de Instagram Indone­sios".

1. Planteamiento del Problema

El ciberacoso en plataformas de redes sociales, particularmente en Instagram, representa una amenaza grave para la salud mental de los jóvenes indonesios. Si bien existen sistemas de detección automatizada, la mayoría de las investigaciones se centran en datos de Twitter/X. Los comentarios de Instagram presentan desafíos únicos debido a su naturaleza informal, el uso intensivo de jerga, emojis, alargamiento de caracteres y lenguas mixtas. Además, existe una falta de estudios comparativos que evalúen las compensaciones entre los enfoques tradicionales de Aprendizaje Automático (ML) y las arquitecturas de Aprendizaje Profundo (DL) específicamente para contenido de Instagram en idioma indonesio.

2. Metodología

Conjunto de Datos

• Fuente: 650 comentarios de Instagram extraídos de cuentas de artistas e influencers indonesios.
• Estructura: Conjunto de datos de clasificación binaria equilibrado con 325 etiquetas de "Acoso" y 325 de "No Acoso".
• Características: Texto informal en indonesio con una longitud promedio de 63 caracteres. El conjunto de datos está limpio (sin duplicados ni valores faltantes) y abarca diversos contextos lingüísticos.

Pipeline de Preprocesamiento

Se desarrolló un pipeline especializado para manejar los matices lingüísticos indonesios utilizando bibliotecas específicas (indoNLP, nlp-id, PySastrawi):

1. Normalización de Mayúsculas/Minúsculas (Case Folding): Conversión a minúsculas.
2. Limpieza: Eliminación de menciones, hashtags, URLs y caracteres no alfabéticos.
3. Normalización de Jerga: Reemplazo de jerga y alargamientos de caracteres (por ejemplo, "bgt" $\rightarrow$ "banget").
4. Eliminación de Palabras Vacías (Stopwords): Eliminación de palabras comunes no discriminatorias.
5. Astemación (Stemming): Reducción de palabras a sus formas raíz basadas en la morfología indonesia.
6. Tokenización: División del texto en tokens.

Enfoques de Modelado

El estudio comparó dos rutas de modelado distintas:

• Ruta de Aprendizaje Automático (ML) (AutoML):

  • Herramientas: Marco PyCaret con Búsqueda en Cuadrícula (Grid Search) para el ajuste de hiperparámetros.
  • Extracción de Características: TF-IDF (Frecuencia de Término-Frecuencia Inversa de Documento).
  • Algoritmos Probados: Naive Bayes, Regresión Logística y Máquina de Vectores de Soporte (SVM).
  • Validación: Validación Cruzada de 5 Pliegues.

• Ruta de Aprendizaje Profundo (DL):

  • Herramientas: PyTorch.
  • Arquitecturas:
    1. Bi-LSTM: Memoria a Corto y Largo Plazo Bidireccional para capturar el contexto secuencial.
    2. Bi-LSTM + Atención Bahdanau: Añade un mecanismo de atención para ponderar palabras clave significativas.
  • Configuración: Tamaño de lote 32, tamaño de incrustación 128, optimizador Adam, Pérdida de Entropía Cruzada, Parada Temprana (patience=3).
  • Validación: División estática 80/10/10 (Entrenamiento/Validación/Prueba) con semilla aleatoria 42.

3. Contribuciones Clave

1. Análisis Comparativo: Una comparación directa de tres algoritmos clásicos de ML contra dos arquitecturas de DL específicamente para comentarios de Instagram indonesios, llenando un vacío en la literatura que a menudo se centra en Twitter.
2. Preprocesamiento Específico del Dominio: Demostración del impacto crítico de un pipeline de PLN personalizado (normalización de jerga y astemación morfológica) en el rendimiento del modelo para texto informal indonesio.
3. Marco Práctico: Identificación del modelo óptimo para diferentes escenarios de implementación (alta precisión vs. restricciones de recursos), proporcionando una base para sistemas automatizados de moderación de contenido en Indonesia.

4. Resultados Experimentales

Rendimiento de Aprendizaje Automático:

• La Regresión Logística surgió como el modelo de ML con mejor rendimiento.
  • Precisión: 85.25%
  • Puntuación F1: 85.22%
• SVM siguió con una precisión del 82.61%.
• Naive Bayes obtuvo el rendimiento más bajo con una precisión del 77.99%.

Rendimiento de Aprendizaje Profundo:

• Bi-LSTM + Atención logró el rendimiento general más alto.
  • Precisión: 84.62%
  • F1-Macro: 84.58%
• Bi-LSTM Estándar quedó rezagado con una precisión del 78.46%, destacando el impulso significativo (aproximadamente 6%) proporcionado por el mecanismo de atención.

Perspectiva Comparativa:

• Precisión: La Regresión Logística (ML) superó ligeramente a Bi-LSTM+Atención (DL) por 0.63 puntos porcentuales.
• Comprensión Contextual: Si bien los modelos de ML fueron altamente competitivos, los modelos de DL demostraron una capacidad superior para capturar dependencias secuenciales complejas y contexto emocional, evidenciado por el salto significativo en el rendimiento al añadir el mecanismo de Atención.
• Eficiencia: Los modelos de ML ofrecieron tiempos de entrenamiento más rápidos y menores requisitos computacionales, haciéndolos viables para entornos con recursos limitados.

5. Significado y Conclusión

• Selección de Modelo: Para requisitos de alta precisión donde los recursos computacionales están disponibles, Bi-LSTM con Atención es el enfoque recomendado. Sin embargo, para una implementación rápida y ligera, la Regresión Logística ofrece un rendimiento comparable con una sobrecarga significativamente menor.
• Importancia del Preprocesamiento: El estudio confirma que el preprocesamiento específico del dominio (normalización de jerga y astemación) no es opcional, sino esencial para lograr un alto rendimiento en datos de redes sociales indonesios informales.
• Limitaciones y Trabajo Futuro: El estudio está limitado por un conjunto de datos relativamente pequeño (650 muestras) y un esquema de etiquetas binarias que no captura categorías matizadas (por ejemplo, acoso corporal vs. discurso de odio). La investigación futura debería utilizar conjuntos de datos más grandes y explorar modelos basados en Transformadores (por ejemplo, variantes de BERT) para mejorar aún más las capacidades de detección.

Conclusión: El artículo establece que, si bien los modelos de Aprendizaje Profundo con mecanismos de atención son teóricamente superiores para la comprensión contextual, los modelos tradicionales de Aprendizaje Automático siguen siendo altamente efectivos y competitivos para la detección de ciberacoso en redes sociales indonesias, siempre que se aplique un preprocesamiento riguroso y específico del idioma.