Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Resumen Técnico: Evaluación Comparativa de Regresión Logística, SVM, Naive Bayes e IndoBERT para Análisis de Sentimiento en Indonecio

Planteamiento del Problema
La rápida expansión del comercio electrónico en Indonesia ha generado un volumen masivo de reseñas de productos no estructuradas y generadas por usuarios. Analizar el sentimiento de estas reseñas es fundamental para evaluar la satisfacción del cliente e identificar problemas de productos a escala. Sin embargo, el texto en indonecio presenta desafíos únicos, como ortografía informal, jerga, puntuación inconsistente y expresiones contextuales. Además, los datos reales de mercados digitales exhiben un desequilibrio de clases severo, donde las reseñas positivas superan en gran número a los comentarios neutrales y negativos. Este desequilibrio complica el entrenamiento de modelos, lo que a menudo conduce a métricas de alta precisión que enmascaran un rendimiento deficiente en las clases minoritarias. El problema central abordado es determinar si los enfoques tradicionales de Aprendizaje Automático (ML), que son computacionalmente eficientes, pueden superar o igualar a los modelos modernos de Aprendizaje Profundo basados en Transformers (específicamente IndoBERT) en este contexto ruidoso, desequilibrado y específico del dominio.

Metodología
El estudio implementa un marco de evaluación comparativa utilizando el conjunto de datos Tokopedia Product Reviews 2025, que contiene decenas de miles de reseñas cortas y ruidosas etiquetadas en tres clases: positif (positivo), netral (neutral) y negatif (negativo).

1. Pipeline de Preprocesamiento: Se desarrolló un pipeline robusto para limpiar la vernácula del comercio electrónico indonecio. Los pasos incluyeron convertir el texto a minúsculas, eliminar URL y caracteres no alfanuméricos (incluidos los emojis), normalizar espacios en blanco y mapear etiquetas heterogéneas a clases estandarizadas.
2. Modelos de Referencia (ML Tradicional): Se implementaron tres algoritmos utilizando extracción de características TF-IDF con unigramas y bigramas ($ngram\_range=(1,2)$). El vocabulario se limitó a 50.000 características. Los modelos incluyeron:
   • Regresión Logística
   • Máquina de Vectores de Soporte Lineal (Linear SVC)
   • Naive Bayes Multinomial
   • Manejo del Desequilibrio: Los modelos lineales discriminativos utilizaron class_weight="balanced" para penalizar los errores en las clases minoritarias.
3. Modelo de Aprendizaje Profundo (IndoBERT): El estudio ajustó fino el modelo indobenchmark/indobert-base-p1.
   • Arquitectura: Un codificador Transformer seguido de una cabeza de clasificación de secuencia, procesando entradas de hasta 256 tokens.
   • Manejo del Desequilibrio: Se diseñó una función de pérdida personalizada de entropía cruzada ponderada, donde los pesos de clase ($W_c$) son inversamente proporcionales a la frecuencia de clase ($W_c = \frac{N}{C \times n_c}$).
   • Entrenamiento: El modelo se entrenó durante 3 épocas con un tamaño de lote de 16, una tasa de aprendizaje de $2 \times 10^{-5}$ y una relación de calentamiento de 0.1.
4. Discrepancia Experimental: Una nota metodológica crítica es la diferencia en los regímenes de datos. Los modelos de referencia se entrenaron con el conjunto de datos completo (65.335 registros), mientras que el modelo IndoBERT se vio restringido a un subconjunto estratificado (~1.800 registros de entrenamiento) debido a limitaciones computacionales.

Contribuciones Clave
El artículo detalla cinco contribuciones específicas:

1. Un pipeline de preprocesamiento adaptado mediante expresiones regulares para texto ruidoso de comercio electrónico en indonecio.
2. Una evaluación comparativa exhaustiva de líneas base TF-IDF (Regresión Logística, LinearSVC, Naive Bayes).
3. Una implementación detallada del ajuste fino de IndoBERT con una pérdida ponderada calculada dinámicamente para abordar el desequilibrio de clases.
4. Un análisis cuantitativo en profundidad que compara el rendimiento agregado contra métricas sensibles a las clases.
5. Una estrategia de despliegue reproducible utilizando Gradio en Hugging Face Spaces.

Resultados
La evaluación utilizó Precisión, Puntuación F1 Macro y Puntuación F1 Ponderada. Contrario a la expectativa de que los modelos de Aprendizaje Profundo superarían a los métodos tradicionales, los resultados mostraron que Linear SVC superó significativamente al modelo IndoBERT ajustado fino en esta configuración experimental específica.

• Linear SVC: Logró una Precisión del 97,60% y una Puntuación F1 Macro de 0,5510.
• IndoBERT: Logró una Precisión del 88,70% y una Puntuación F1 Macro de 0,5088.
• Otras Líneas Base: La Regresión Logística (94,36% Prec, 0,5164 F1 Macro) y Naive Bayes (97,50% Prec, 0,3290 F1 Macro) también rindieron bien, aunque Naive Bayes tuvo dificultades significativas con el reconocimiento de clases minoritarias.

El análisis reveló que, aunque los modelos de referencia lograron una alta precisión general, aún tuvieron dificultades con las clases netral y negatif, a menudo confundirlas con la clase dominante positif. Sin embargo, la brecha de rendimiento entre las líneas base e IndoBERT se atribuyó principalmente al régimen de muestreo de datos: las líneas base utilizaron el corpus completo, mientras que el Transformer se vio restringido a un subconjunto pequeño, lo que le impidió aprovechar plenamente sus capacidades de modelado contextual.

Significado y Afirmaciones
El artículo afirma que para el análisis de sentimiento en reseñas de comercio electrónico en indonecio, los enfoques tradicionales de Aprendizaje Automático (específicamente TF-IDF con Linear SVC) siguen siendo altamente efectivos y robustos, a menudo superando a los Transformers de última generación cuando las limitaciones computacionales restringen los datos de entrenamiento de estos últimos.

Los autores enfatizan que la "ventaja del Transformer" no es automática; depende en gran medida del volumen de datos, el equilibrio de clases y configuraciones de evaluación justas. El estudio concluye que, si bien IndoBERT ofrece un modelado contextual teórico superior, su rendimiento empírico en este estudio se vio limitado por el subconjunto de entrenamiento restringido. En consecuencia, para aplicaciones que priorizan la velocidad y un rendimiento de referencia robusto, TF-IDF con Linear SVC se presenta como una solución altamente viable. El artículo aboga por futuras investigaciones que aseguren comparaciones justas entrenando todos los modelos en divisiones de datos a gran escala idénticas y empleando estrategias avanzadas conscientes del desequilibrio para mejorar el reconocimiento de clases minoritarias.