Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data

A continuación se presenta un resumen técnico detallado del artículo "Benchmarking PyCaret AutoML Against IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian IKN Twitter Data".

1. Enunciado del Problema

La reubicación de la capital de Indonesia a Ibu Kota Nusantara (IKN) ha generado un discurso público significativo en las redes sociales, particularmente en Twitter/X. Comprender el sentimiento público hacia esta política es crucial para los responsables políticos y los investigadores. Sin embargo, analizar estos datos presenta desafíos específicos:

• Complejidad del Idioma: Los datos consisten en texto informal en indonesio que contiene jerga, abreviaturas y estructuras de oraciones variables.
• Restricciones de Recursos: Los enfoques tradicionales de Aprendizaje Automático (ML) a menudo luchan con los matices contextuales en idiomas de bajos recursos en comparación con los modelos de Aprendizaje Profundo (DL).
• Brecha Metodológica: Existe la necesidad de comparar empíricamente la eficiencia y la efectividad de los marcos de ML automatizado (AutoML) frente a los modelos basados en Transformers más avanzados, específicamente para el sentimiento en redes sociales indonesias.

2. Conjunto de Datos

• Fuente: Comentarios en Twitter/X en idioma indonesio relacionados con IKN.
• Tamaño: 1.472 muestras etiquetadas manualmente.
• Clases: Clasificación binaria (Positivo: 692 muestras, 47%; Negativo: 780 muestras, 53%).
• Características: El texto es corto (longitud media ~50 caracteres) e informal.
• Preprocesamiento: Involucró la conversión a minúsculas, la eliminación de valores faltantes (NaN) y el cálculo de características de longitud de texto. Los datos se dividieron en conjuntos de Entrenamiento (70%), Validación (15%) y Prueba (15%) utilizando muestreo estratificado.

3. Metodología

El estudio empleó un enfoque de doble canal para evaluar el rendimiento:

A. Canal de Aprendizaje Automático (AutoML)

• Marco: PyCaret (v3.x), una biblioteca AutoML de código abierto.
• Extracción de Características: Vectorización automática TF-IDF desde la columna de texto.
• Algoritmos Evaluados:
  1. Regresión Logística (LR)
  2. Naive Bayes (NB)
  3. Máquina de Vectores de Soporte (SVM) con kernel lineal.
• Proceso:
  • Validación cruzada estratificada de 10 pliegues para la evaluación inicial.
  • Ajuste de hiperparámetros utilizando Optuna (10 candidatos) en el modelo de mejor rendimiento.
  • Finalización del modelo.
• Hardware: CPU Intel Core i5 (Python 3.9).

B. Canal de Aprendizaje Profundo (Ajuste Fino de IndoBERT)

• Modelo: indobenchmark/indobert-base-p1 (111M de parámetros, 12 capas Transformer).
• Marco: PyTorch con Hugging Face Transformers.
• Arquitectura: Cabeza de clasificación BERT estándar añadida al token [CLS].
• Hiperparámetros:
  • Longitud Máxima: 128 tokens.
  • Tamaño de Lote: 16.
  • Épocas: 5.
  • Optimizador: AdamW (LR: $2 \times 10^{-5}$, decaimiento de peso: 0.01).
  • Programador: Calentamiento lineal (10%) seguido de decaimiento lineal.
  • Recorte de Gradiente: Norma máxima 1.0.
• Hardware: Misma CPU Intel Core i5 (no se utilizó aceleración GPU).

4. Contribuciones Clave

1. Creación de Conjunto de Datos: Un conjunto de datos curado y etiquetado manualmente de 1.472 tuits indonesios sobre el sentimiento hacia IKN.
2. Evaluación de AutoML: Una evaluación exhaustiva de tres algoritmos clásicos de ML (LR, NB, SVM) utilizando el canal automatizado de PyCaret.
3. Implementación de Transformer: Una implementación completa de ajuste fino de IndoBERT para el análisis de sentimiento binario en este dominio específico.
4. Análisis Comparativo: Una comparación directa de rendimiento que responde si el DL basado en Transformers supera al ML clásico para texto informal indonesio, destacando las compensaciones entre precisión y costo computacional.
5. Reproducibilidad: El estudio utilizó codificación asistida por IA (Claude) para generar cuadernos reproducibles para los canales de EDA, PyCaret y PyTorch.

5. Resultados

Rendimiento de Aprendizaje Automático (PyCaret)

• Mejor Modelo: Regresión Logística.
• Métricas (Validación Cruzada de 10 Pliegues):
  • Precisión: 77.57%
  • Puntuación F1: 77.17%
  • AUC: 0.8563
• Otros Modelos: Naive Bayes alcanzó una precisión de ~70.6%. La SVM Lineal inicial tuvo un rendimiento deficiente (52.72%) debido a la alta variación léxica en el texto informal, aunque el ajuste la mejoró a ~71.2%.

Rendimiento de Aprendizaje Profundo (IndoBERT)

• Mejor Modelo: IndoBERT (Ajustado Fino).
• Métricas (Conjunto de Prueba):
  • Precisión: 89.59%
  • Puntuación F1 (Macro): 89.37%
  • Precisión/Exhaustividad: Alta exhaustividad para las clases Negativa (96%) y Positiva (83%).
• Observaciones: El modelo mostró signos de sobreajuste después de la primera época (la pérdida de validación aumentó mientras la pérdida de entrenamiento disminuía), un problema común al ajustar finamente modelos grandes en conjuntos de datos de tamaño medio sin GPU.

Evaluación Comparativa

• Brecha de Rendimiento: IndoBERT superó al mejor modelo de ML (Regresión Logística) en 12.02 puntos porcentuales en precisión.
• Compensación de Eficiencia: Aunque IndoBERT ofreció una precisión superior, requirió significativamente más recursos computacionales y tiempo de entrenamiento en comparación con los modelos de ML ligeros.

6. Significado y Conclusión

• Superioridad del Contexto: El estudio confirma que los modelos basados en Transformers (IndoBERT) son significativamente superiores al ML clásico para el análisis de sentimiento en indonesio. Esto se atribuye a la capacidad de IndoBERT para capturar contexto bidireccional, manejar jerga/abreviaturas mediante el preentrenamiento y gestionar mejor las palabras Fuera del Vocabulario (OOV) en comparación con los enfoques de bolsa de palabras TF-IDF.
• Implicaciones Prácticas:
  • Escenarios de Alto Riesgo: Para aplicaciones que requieren precisión máxima (por ejemplo, monitoreo de políticas), IndoBERT es la opción recomendada a pesar de los mayores costos de recursos.
  • Escenarios con Recursos Limitados: La Regresión Logística a través de PyCaret sigue siendo una alternativa viable y pragmática para el prototipado rápido o entornos con potencia computacional limitada, ofreciendo una precisión respetable de ~77%.
• Direcciones Futuras: Los autores sugieren explorar la augmentación de datos para mitigar el sobreajuste en modelos de DL y comparar IndoBERT con arquitecturas más ligeras como DistilBERT o LSTM para encontrar un equilibrio entre rendimiento y eficiencia.

Veredicto Final: Para el análisis de sentimiento en texto informal indonesio, el Aprendizaje Profundo (IndoBERT) es el claro ganador en términos de precisión, pero AutoML (PyCaret/Regresión Logística) ofrece una línea base fuerte y eficiente para escenarios donde los recursos computacionales son limitados.