A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

Resumen Técnico: Un Análisis Comparativo de Modelos de Aprendizaje Automático y Aprendizaje Profundo para la Clasificación de Sentimientos en Tweets

Planteamiento del Problema
El crecimiento exponencial de las redes sociales, particularmente Twitter (X), ha generado grandes volúmenes de texto no estructurado e informal caracterizado por jerga, abreviaturas y sarcasmo implícito. Si bien el análisis automatizado de sentimientos es esencial para la monitorización en tiempo real de la opinión pública, existe un debate continuo sobre la eficacia de los modelos complejos de Aprendizaje Profundo (DL) frente a los enfoques tradicionales de Aprendizaje Automático (ML) cuando se aplican a conjuntos de datos restringidos o de escala media. Los modelos de aprendizaje profundo a menudo requieren volúmenes masivos de datos para optimizar millones de parámetros sin sobreajuste, mientras que los modelos tradicionales dependen de una extracción robusta de características. Este estudio aborda la cuestión de si una arquitectura sofisticada de Memoria a Corto y Largo Plazo Bidireccional (BiLSTM) puede superar a un modelo clásico de Regresión Logística cuando se entrena en un subconjunto limitado de datos de tweets informales.

Metodología
La investigación utilizó un subconjunto de 10.000 tweets del conjunto de datos público Sentiment140, que originalmente contenía 1,6 millones de tweets anotados mediante supervisión distante. El conjunto de datos era estrictamente binario (Clase 0: Negativo, Clase 1: Positivo).

El estudio implementó un pipeline completo de Procesamiento de Lenguaje Natural (NLP) comparando dos arquitecturas distintas:

1. Preprocesamiento de Datos: Se aplicó un pipeline riguroso a todo el texto, que incluía normalización de mayúsculas y minúsculas, limpieza de datos (eliminación de URLs, menciones, hashtags y caracteres no ASCII), tokenización y relleno/recorte hasta una longitud máxima de secuencia de 50 tokens. Se estableció un vocabulario de 4.425 tokens únicos.
2. Modelo Base (Aprendizaje Automático): Se entrenó un clasificador de Regresión Logística utilizando la vectorización TF-IDF (Frecuencia de Término - Frecuencia Inversa de Documento). Los pesos TF-IDF se calcularon para enfatizar palabras raras a nivel global pero frecuentes en documentos específicos, creando vectores dispersos de alta dimensión adecuados para la clasificación lineal.
3. Modelo de Aprendizaje Profundo: Se construyó una arquitectura LSTM Bidireccional (BiLSTM) utilizando PyTorch. Las configuraciones clave incluyeron:
   • Dimensión de incrustación: 128
   • Dimensión oculta: 128
   • Número de capas: 2 (Bidireccional)
   • Probabilidad de Dropout: 0.3
   • Optimizador: Adam con pérdida de Entropía Cruzada Binaria
   • Duración del entrenamiento: 6 épocas con un tamaño de lote de 64.
4. Evaluación: Los modelos se evaluaron utilizando Precisión, Recall, Exactitud y Puntuación F1. Se analizaron las curvas de aprendizaje para diagnosticar las capacidades de generalización y el sobreajuste.
5. Despliegue: Ambos modelos se integraron en una aplicación web interactiva utilizando Streamlit y se alojaron en Hugging Face Spaces para demostrar su preparación para producción.

Resultados Clave
Los resultados experimentales indicaron que el enfoque tradicional de Aprendizaje Automático superó al enfoque de Aprendizaje Profundo en este conjunto de datos específico:

• Regresión Logística (TF-IDF): Logró una exactitud del 73,5%. El modelo demostró una generalización estable, con la brecha entre la exactitud de entrenamiento y validación estrechándose a medida que aumentaba el tamaño de la muestra de entrenamiento.
• BiLSTM: Logró una exactitud del 69,17%. El modelo exhibió signos claros de sobreajuste. Si bien la exactitud de entrenamiento aumentó bruscamente hasta casi el 95% en la última época, la exactitud de validación se estancó alrededor del 70% después de la segunda época.

Análisis de la Curva de Aprendizaje
El estudio destacó una divergencia crítica en la dinámica de aprendizaje:

• El modelo de Regresión Logística mostró una convergencia saludable, donde el aumento del volumen de datos mejoró el rendimiento de validación, lo que sugiere que aprendió con éxito límites de decisión lineales en el espacio semántico disperso.
• El modelo BiLSTM, por el contrario, falló en generalizar debido a la escasez de datos. El enorme espacio de parámetros (más de 1,2 millones de parámetros entrenables) en relación con el conjunto de datos de 10.000 muestras hizo que la red memorizara el ruido y las idiosincrasias en lugar de extraer reglas lingüísticas generalizadas.

Significado y Afirmaciones
El artículo afirma que, para datos de texto de escala media y altamente informales, el aprendizaje automático clásico con extracción robusta de características (TF-IDF) puede producir resultados superiores a las arquitecturas complejas de aprendizaje profundo. Los hallazgos desafían la suposición de que algoritmos más complejos garantizan universalmente un mejor rendimiento, particularmente cuando los datos son limitados.

El estudio concluye que la ventaja teórica de la BiLSTM para capturar el contexto secuencial fue opacada por la "trampa de memorización" causada por el volumen restringido del conjunto de datos. La investigación cierra con éxito la brecha entre la ciencia de datos teórica y la ingeniería práctica al desplegar ambos modelos en interfaces web funcionales y accesibles, demostrando su viabilidad operativa a pesar de la disparidad de rendimiento.

Futuras Direcciones
Los autores sugieren modestamente que escalar los datos de entrenamiento a las 1,6 millones de muestras completas del conjunto de datos Sentiment140 permitiría probablemente que la BiLSTM superara la línea base lineal. Además, proponen que la integración de incrustaciones contextuales preentrenadas (por ejemplo, Word2Vec, GloVe) o la transición a arquitecturas basadas en Transformers (por ejemplo, BERT) podrían mejorar la comprensión semántica de tweets sarcásticos o implícitos en futuras iteraciones.