Benchmarking LightGBM and BiLSTM for Sentiment Analysis on Indonesian E-Commerce Reviews

Resumen Técnico: Evaluación Comparativa de LightGBM y BiLSTM para Análisis de Sentimiento en E-commerce Indonesio

Planteamiento del Problema
La rápida expansión del comercio electrónico en Indonesia ha generado vastas cantidades de datos textuales no estructurados en forma de reseñas de productos. Analizar estos datos es fundamental para que las empresas evalúen automáticamente la satisfacción del cliente. Sin embargo, las reseñas de comercio electrónico en Indonesia presentan desafíos lingüísticos únicos, incluido el uso intensivo de lenguaje informal, mezcla de códigos, jerga y expresiones emocionales implícitas como la ironía (por ejemplo, vocabulario positivo que enmascara experiencias negativas). El problema central abordado por este estudio es determinar si los enfoques tradicionales de Aprendizaje Automático (ML), específicamente aquellos optimizados mediante marcos automatizados, o las arquitecturas de Aprendizaje Profundo (DL) son más efectivos para capturar el contexto secuencial y los matices necesarios para una clasificación precisa de sentimientos en este dominio específico.

Metodología
El estudio emplea un diseño experimental comparativo que utiliza un conjunto de datos de 15.000 reseñas de comercio electrónico en Indonesia obtenidas de Hugging Face, equilibrado entre las clases Positiva, Negativa y Neutral. Los datos pasaron por un preprocesamiento riguroso, que incluyó normalización de mayúsculas y minúsculas (case folding), eliminación de ruido, filtrado de caracteres y normalización de jerga para mapear términos abreviados al vocabulario estándar.

La investigación compara dos pipelines distintos:

1. Pipeline de Aprendizaje Automático (ML): Utilizando el marco AutoML de PyCaret, el estudio automatiza el entrenamiento y ajuste de tres algoritmos: LightGBM, Regresión Logística y Máquina de Vectores de Soporte (SVM) con kernel lineal. La extracción de características se realizó utilizando TF-IDF (Frecuencia de Término-Frecuencia Inversa de Documento), limitada a 5.000 características. Los modelos se evaluaron mediante validación cruzada estratificada de 10 pliegues con ajuste automático de hiperparámetros optimizado para la puntuación F1.
2. Pipeline de Aprendizaje Profundo (DL): Se implementó una arquitectura de Memoria a Corto y Largo Plazo Bidireccional (BiLSTM) utilizando el marco PyTorch. El modelo consta de una capa de incrustación (dimensión 128), una capa BiLSTM (tamaño del estado oculto 64), capas de dropout espacial (tasa 0.3) para prevenir el sobreajuste y capas totalmente conectadas con activación Softmax. El modelo se entrenó con el optimizador Adam (tasa de aprendizaje $1 \times 10^{-3}$) durante 20 épocas con un tamaño de lote de 32.

Resultados Clave
Los resultados experimentales demuestran que, aunque ambos enfoques rinden un alto desempeño, el modelo de Aprendizaje Profundo logra una precisión superior:

• BiLSTM (DL): Logró el mejor rendimiento con una precisión del 98,87% y una puntuación F1 de 98,87%. El modelo mostró una precisión y recuperación consistentes (0,99) para las clases Negativa y Neutral, y 0,98/0,99 para la clase Positiva. El tiempo de entrenamiento fue de aproximadamente 3,7 minutos.
• LightGBM (ML): Surgió como el modelo de ML mejor rendimiento con una precisión del 98,23% y una puntuación F1 de 0,9823. Demostró una eficiencia computacional excepcional, completando el proceso de entrenamiento y validación cruzada en solo 4,932 segundos.
• Otros Modelos ML: La Regresión Logística y la SVM (Kernel Lineal) lograron precisiones del 97,67% y 97,56%, respectivamente, estableciendo líneas base sólidas pero quedando ligeramente por debajo de LightGBM.

Contribuciones Clave

• Evaluación Comparativa Empírica: El estudio proporciona evidencia empírica directa que compara el ML automatizado (PyCaret) contra una arquitectura DL personalizada (BiLSTM) específicamente para el análisis de sentimiento en comercio electrónico indonesio.
• Manejo de Matices Lingüísticos: La investigación valida que la arquitectura BiLSTM es particularmente efectiva para capturar dependencias secuenciales y matices contextuales (como la ironía y la negación) inherentes al texto informal en indonesio, superando a los modelos ML basados en TF-IDF que se basan en supuestos de bolsa de palabras.
• Accesibilidad para Despliegue: Los autores proporcionan el código fuente completo, el conjunto de datos y enlaces a modelos desplegados en Hugging Face a través de un repositorio público de GitHub, junto con una interfaz web interactiva para el despliegue del modelo.

Significado y Afirmaciones
El documento concluye que la arquitectura BiLSTM es el modelo superior para esta tarea de clasificación específica debido a su capacidad para mantener un alto equilibrio entre precisión y recuperación en todas las clases de sentimiento. Los autores afirman que, aunque los modelos ML como LightGBM ofrecen una solución altamente escalable y rápida (ideal para entornos que requieren reentrenamiento frecuente), el modelo BiLSTM es la opción óptima cuando se prioriza la máxima calidad de predicción y la capacidad de interpretar un lenguaje complejo y heterogéneo.

El estudio no afirma resolver todos los desafíos en el Procesamiento del Lenguaje Natural (NLP) en indonesio, sino que destaca específicamente que, para reseñas de comercio electrónico caracterizadas por jerga y sentimiento implícito, el mecanismo de aprendizaje secuencial bidireccional de BiLSTM proporciona una ventaja medible sobre los métodos tradicionales de boosting de gradientes. La investigación subraya la compensación entre la eficiencia computacional y el matiz predictivo, sugiriendo que la elección del modelo debe estar dictada por el contexto específico de despliegue (velocidad frente a precisión).