Hybrid TF--IDF Logistic Regression and MLP Neural Baseline for Indonesian Three-Class Sentiment Analysis on Social Media Text

Resumen Técnico: Regresión Logística Híbrida TF–IDF y Línea Base de Red Neuronal MLP para Análisis de Sentimiento de Tres Clases en Indoneo

Planteamiento del Problema
Este estudio aborda el desafío del análisis de sentimiento para texto de redes sociales en indonesio, un dominio caracterizado por contenido generado por usuarios ruidoso, con mezcla de códigos, abreviado y semánticamente ambiguo. Aunque la literatura reciente suele priorizar modelos transformadores grandes, este artículo argumenta que, para conjuntos de datos pequeños, desequilibrados y de bajos recursos, la necesidad inmediata es un pipeline reproducible, interpretable y desplegable, en lugar de una mayor complejidad arquitectónica. La tarea específica implica mapear un conjunto de datos de 191 etiquetas de emociones de granularidad fina en tres clases operativas: positivo, negativo y neutral. Las dificultades principales identificadas son un desequilibrio de clases severo (dominado por instancias positivas), ambigüedad semántica introducida por la compresión de etiquetas (por ejemplo, mapear "sorpresa" o "dulce y amargo" a una sola clase) y las limitaciones de tamaños de muestra pequeños para el aprendizaje profundo.

Metodología
Los autores proponen un enfoque centrado en la producción que compara una línea base clásica de aprendizaje automático contra una línea base neuronal ligera, ambas utilizando un mismo espacio de características híbrido.

• Preprocesamiento de Datos: El conjunto de datos crudo (732 filas) se limpió para eliminar duplicados y textos vacíos, resultando en 707 muestras. El preprocesamiento incluyó minúsculas, eliminación de URL y menciones, normalización de leetspeak y expansión de jerga indonesia (por ejemplo, gak a tidak). Crucialmente, las 191 etiquetas de emociones originales se remapearon en las tres clases objetivo, un proceso que se señaló que introduce ruido semántico.
• Ingeniería de Características: El sistema emplea una representación híbrida que combina:
  1. Características de Texto: Vectores TF–IDF utilizando unigramas y bigramas (máximo 3.000 características, escalado sublineal de frecuencia de términos).
  2. Metadatos Numéricos: Tres características estandarizadas derivadas del texto y los datos de participación: conteo de palabras, participación total (me gusta + retweets) y conteo de hashtags.
• Modelos:
  • Modelo de Producción: Un clasificador de Regresión Logística multinomial entrenado con class_weight=balanced para mitigar el desequilibrio, utilizando una división estratificada 80/20.
  • Línea Base Neuronal: Un Perceptrón Multicapa (MLP) con dos capas ocultas (256, 64 neuronas), activación ReLU y optimización Adam. Fue entrenado sobre el mismo vector de características híbrido exacto para aislar el efecto de la arquitectura del clasificador en lugar de la representación de características.
  • Líneas Base Comparativas: El estudio también preservó resultados para SVM Lineal y Random Forest para la evaluación comparativa.

Contribuciones Clave
El artículo realiza tres contribuciones específicas:

1. Flujo de Trabajo Reproducible: Formaliza un pipeline de extremo a extremo para el análisis de sentimiento de tres clases en indonesio, que abarca la limpieza, el remapeo de etiquetas, la construcción de características híbridas y la inferencia lista para producción.
2. Comparación Controlada: Evalúa un modelo lineal clásico y una red neuronal superficial bajo la misma representación de entrada, proporcionando una comparación controlada de familias de clasificadores en un entorno de bajos recursos.
3. Perspectiva Metodológica: Destaca las implicaciones de la compresión de etiquetas y el desequilibrio de datos, demostrando que un preprocesamiento cuidadoso y una ingeniería de características interpretable pueden seguir siendo competitivas frente a enfoques neuronales para conjuntos de datos pequeños.

Resultados
Los experimentos se realizaron en un conjunto de prueba retenido (142 muestras) utilizando precisión, F1 ponderado y F1 macro como métricas.

• Regresión Logística (Producción): Logró una precisión de 0.8028, un F1 ponderado de 0.8003 y un F1 macro de 0.7276. Rindió mejor en la clase mayoritaria "positiva" pero tuvo dificultades con la clase minoritaria "neutral" debido a la ambigüedad semántica y al bajo conteo de muestras.
• Línea Base MLP: Alcanzó una mayor precisión (0.8451) y F1 ponderado (0.8304), pero no superó significativamente a la Regresión Logística en F1 macro (0.7263). Esto sugiere que, aunque el modelo neuronal mejoró el rendimiento en las clases mayoritarias, no resolvió la ambigüedad de las clases minoritarias.
• SVM Lineal: Registró el mejor rendimiento entre todos los modelos preservados (0.8521 de precisión, 0.7553 de F1 macro), aunque no fue seleccionado como el modelo principal de producción.
• Random Forest: Rindió sustancialmente peor, particularmente en F1 macro (0.4821), lo que indica un sesgo hacia la clase mayoritaria.

Significado y Afirmaciones
El artículo afirma modestamente que, para conjuntos de datos de sentimiento indonesio compactos, un pipeline clásico cuidadosamente diseñado sigue siendo una opción altamente efectiva y preferible para entornos de producción. El estudio argumenta que la Regresión Logística ofrece un compromiso pragmático: es más fácil de serializar, interpretar y reentrenar que los modelos neuronales, al tiempo que ofrece salidas probabilísticas estables.

Los autores concluyen que, aunque las líneas base neuronales (y el SVM Lineal) ofrecen potencial para una mayor precisión, las ganancias a menudo son impulsadas por el rendimiento en la clase mayoritaria en lugar de resolver el desafío central de la ambigüedad de la clase minoritaria. Por lo tanto, la línea base neuronal debe tratarse mejor como un experimento comparativo en lugar del modelo de implementación predeterminado. El estudio enfatiza que, en entornos de bajos recursos, la calidad del preprocesamiento, el remapeo de etiquetas y el equilibrio de clases suele ser más crítica que la elección de una arquitectura de modelo compleja. Se sugiere que el trabajo futuro incluya validación cruzada, análisis cualitativo de errores y la prueba de modelos contextuales más fuertes como IndoBERT, pero el trabajo actual establece una línea base robusta e interpretable.