A Comparative Analysis of Classical Machine Learning and Deep Learning Approaches for Sentiment Classification on IMDb Movie Reviews

Resumen Técnico: Un Análisis Comparativo de Enfoques de Aprendizaje Automático Clásico y Aprendizaje Profundo para la Clasificación de Sentimientos en Reseñas de Películas de IMDb

Planteamiento del Problema
El análisis de sentimientos es una tarea crítica en el Procesamiento del Lenguaje Natural (PLN) dirigida a determinar la polaridad de datos textuales, como las reseñas de películas. Si bien los enfoques de aprendizaje profundo (DL) han ganado prominencia por su capacidad para aprender automáticamente representaciones de características y capturar dependencias secuenciales, a menudo requieren recursos computacionales significativos y tiempo de entrenamiento. Por el contrario, los métodos clásicos de aprendizaje automático (ML) son conocidos por su eficiencia, pero dependen en gran medida de la ingeniería manual de características. Este estudio aborda la necesidad de comprender las compensaciones entre estos dos paradigmas en términos de rendimiento, eficiencia y practicidad al aplicarse al conjunto de datos de reseñas de películas de IMDb.

Metodología
La investigación emplea un marco comparativo que evalúa los flujos de trabajo de ML clásico y DL en un subconjunto equilibrado del conjunto de datos de IMDb (50,000 muestras, divididas equitativamente entre sentimientos positivos y negativos).

• Preprocesamiento de Datos:
  • Flujo de trabajo de ML: Utilizó un flujo de trabajo basado en EDA que involucraba normalización de texto y extracción de características TF-IDF (Frecuencia de Término–Frecuencia Inversa de Documento).
  • Flujo de trabajo de DL: Implementó limpieza de texto (minúsculas, eliminación de URL/HTML, filtrado de no alfabéticos), muestreo estratificado de 10,000 instancias, codificación de etiquetas y relleno de secuencias.
• Enfoque de Aprendizaje Automático:
  • Implementado utilizando PyCaret AutoML con vectorización TF-IDF.
  • Los modelos evaluados incluyeron Regresión Logística, Naïve Bayes y Máquina de Vectores de Soporte (SVM).
• Enfoque de Aprendizaje Profundo:
  • Implementado utilizando PyTorch en un subconjunto de 10,000 muestras.
  • Se evaluaron dos arquitecturas:
    1. LSTM Bidireccional (BiLSTM): Para capturar dependencias secuenciales en ambas direcciones, hacia adelante y hacia atrás.
    2. BiLSTM con Mecanismo de Atención: Para mejorar la representación contextual al centrarse en palabras significativas dentro de la secuencia.
  • Los hiperparámetros incluyeron un tamaño de vocabulario de 5,000, dimensión de incrustación de 64, 1 capa oculta, tasa de abandono (dropout) de 0.3 y entrenamiento durante 3 épocas con parada temprana.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Flujos de trabajo de Preprocesamiento Duales: Flujos de trabajo distintos para ML (EDA basado en Jupyter Notebook y TF-IDF) y DL (limpieza basada en script de Python y muestreo estratificado).
2. Despliegue de Modelo de ML: Un modelo de aprendizaje automático construido con PyCaret y serializado como sentiment_model.pkl para una inferencia eficiente.
3. Marco de DL: Una implementación comparativa de las arquitecturas BiLSTM y BiLSTM con Atención.
4. Despliegue Interactivo: Ambos modelos están disponibles a través de un Espacio interactivo de Hugging Face.

Resultados
Los resultados experimentales indican una divergencia en el rendimiento basada en el tamaño del conjunto de datos y la complejidad del modelo:

• Rendimiento de ML Clásico: El modelo SVM logró la mayor precisión de 0.8530, seguido de cerca por la Regresión Logística (0.8518). Naïve Bayes tuvo un rendimiento significativamente menor (0.6106).
• Rendimiento de Aprendizaje Profundo: El BiLSTM estándar logró una precisión de 0.626. El mecanismo BiLSTM con Atención mejoró el rendimiento a 0.706, demostrando una mejor comprensión contextual que el BiLSTM estándar.
• Comparación: Contrario a cierta literatura que sugiere la superioridad de DL, los modelos de ML clásico superaron a los modelos de DL en esta configuración experimental específica.

Significado y Afirmaciones
El estudio concluye que, si bien los modelos de aprendizaje profundo poseen la capacidad teórica de capturar dependencias secuenciales complejas, los enfoques de aprendizaje automático clásico siguen siendo líneas base sólidas para la clasificación de sentimientos, particularmente cuando se combinan con una ingeniería de características efectiva como TF-IDF.

Los autores afirman que el rendimiento superior de los modelos de ML en este estudio se debe probablemente a:

1. Restricciones de Datos: Los modelos de DL fueron entrenados en un subconjunto reducido (10,000 muestras) en comparación con el conjunto de datos completo utilizado para ML, lo cual pudo haber sido insuficiente para aprender representaciones complejas.
2. Limitaciones de Entrenamiento: Los modelos de DL fueron entrenados durante un número limitado de épocas (3), lo que potencialmente impidió la convergencia hacia un rendimiento óptimo.
3. Eficiencia: Los modelos de ML ofrecen un rendimiento sólido con menores costos computacionales y tiempos de entrenamiento más rápidos.

El artículo enfatiza que la selección del modelo debe estar dictada por las restricciones específicas de la aplicación, incluido el tamaño del conjunto de datos, los recursos computacionales disponibles y la necesidad de interpretabilidad. Sugiere que, para escenarios con recursos limitados o conjuntos de datos más pequeños, los modelos clásicos de ML bien optimizados pueden ser más prácticos que las alternativas de aprendizaje profundo.