A Comparative Analysis of Machine Learning and Deep Learning Models for Tweet Sentiment Classification: A Case Study on the Sentiment140 Dataset

Résumé Technique : Analyse Comparative des Modèles d'Apprentissage Automatique et d'Apprentissage Profond pour la Classification de la Sentimentalité des Tweets

Énoncé du Problème
La croissance exponentielle des médias sociaux, en particulier Twitter (X), a généré d'énormes quantités de textes non structurés et informels caractérisés par l'argot, les abréviations et l'ironie implicite. Bien que l'analyse automatique des sentiments soit essentielle pour la surveillance en temps réel de l'opinion publique, un débat persiste concernant l'efficacité des modèles complexes d'apprentissage profond (DL) par rapport aux approches traditionnelles d'apprentissage automatique (ML) lorsqu'ils sont appliqués à des jeux de données contraints ou de taille moyenne. Les modèles d'apprentissage profond nécessitent souvent des volumes massifs de données pour optimiser des millions de paramètres sans surapprentissage, tandis que les modèles traditionnels reposent sur une extraction robuste de caractéristiques. Cette étude aborde la question de savoir si une architecture sophistiquée de mémoire à court et long terme bidirectionnelle (BiLSTM) peut surpasser un modèle classique de régression logistique lorsqu'il est entraîné sur un sous-ensemble limité de données de tweets informels.

Méthodologie
La recherche a utilisé un sous-ensemble de 10 000 tweets du jeu de données public Sentiment140, contenant à l'origine 1,6 million de tweets annotés par supervision à distance. Le jeu de données était strictement binaire (Classe 0 : Négatif, Classe 1 : Positif).

L'étude a mis en œuvre un pipeline complet de traitement du langage naturel (NLP) comparant deux architectures distinctes :

1. Prétraitement des Données : Un pipeline rigoureux a été appliqué à l'ensemble du texte, incluant la normalisation de la casse, le nettoyage des données (suppression des URL, des mentions, des hashtags et des caractères non-ASCII), la tokenisation, et le remplissage/troncature jusqu'à une longueur de séquence maximale de 50 tokens. Un vocabulaire de 4 425 tokens uniques a été établi.
2. Modèle de Référence (Apprentissage Automatique) : Un classifieur de Régression Logistique a été entraîné en utilisant la vectorisation TF-IDF (Fréquence du Terme-Fréquence Inverse de Document). Les poids TF-IDF ont été calculés pour mettre l'accent sur les mots rares au niveau global mais fréquents dans des documents spécifiques, créant des vecteurs creux de haute dimension adaptés à la classification linéaire.
3. Modèle d'Apprentissage Profond : Une architecture LSTM Bidirectionnelle (BiLSTM) a été construite en utilisant PyTorch. Les configurations clés comprenaient :
   • Dimension d'embedding : 128
   • Dimension cachée : 128
   • Nombre de couches : 2 (Bidirectionnelle)
   • Probabilité de Dropout : 0,3
   • Optimiseur : Adam avec une perte d'entropie croisée binaire
   • Durée d'entraînement : 6 époques avec une taille de lot de 64.
4. Évaluation : Les modèles ont été évalués à l'aide de la Précision, du Rappel, de la F-mesure et de la Précision globale. Les courbes d'apprentissage ont été analysées pour diagnostiquer les capacités de généralisation et le surapprentissage.
5. Déploiement : Les deux modèles ont été intégrés dans une application web interactive utilisant Streamlit et hébergée sur Hugging Face Spaces pour démontrer leur préparation à la production.

Résultats Clés
Les résultats expérimentaux ont indiqué que l'approche traditionnelle d'apprentissage automatique a surpassé l'approche d'apprentissage profond sur ce jeu de données spécifique :

• Régression Logistique (TF-IDF) : A atteint une précision globale de 73,5 %. Le modèle a démontré une généralisation stable, l'écart entre la précision d'entraînement et la précision de validation se réduisant à mesure que la taille de l'échantillon d'entraînement augmentait.
• BiLSTM : A atteint une précision globale de 69,17 %. Le modèle a présenté des signes clairs de surapprentissage. Bien que la précision d'entraînement ait augmenté rapidement pour atteindre près de 95 % à la dernière époque, la précision de validation s'est stabilisée autour de 70 % après la deuxième époque.

Analyse de la Courbe d'Apprentissage
L'étude a mis en évidence une divergence critique dans les dynamiques d'apprentissage :

• Le modèle de régression logistique a montré une convergence saine, où l'augmentation du volume de données améliorait les performances de validation, suggérant qu'il a appris avec succès des frontières de décision linéaires dans l'espace sémantique creux.
• Le modèle BiLSTM, en revanche, n'a pas réussi à généraliser en raison de la rareté des données. L'espace massif des paramètres (plus de 1,2 million de paramètres entraînables) par rapport au jeu de données de 10 000 échantillons a amené le réseau à mémoriser le bruit et les particularités plutôt qu'à extraire des règles linguistiques généralisées.

Signification et Revendications
L'article revendique que pour des données textuelles de taille moyenne et hautement informelles, l'apprentissage automatique classique avec une extraction robuste de caractéristiques (TF-IDF) peut produire des résultats supérieurs à ceux des architectures complexes d'apprentissage profond. Les résultats remettent en question l'hypothèse selon laquelle des algorithmes plus complexes garantissent universellement de meilleures performances, en particulier lorsque les données sont limitées.

L'étude conclut que l'avantage théorique du BiLSTM dans la capture du contexte séquentiel a été éclipsé par le « piège de la mémorisation » causé par le volume contraint du jeu de données. La recherche comble avec succès le fossé entre la science des données théorique et l'ingénierie pratique en déployant les deux modèles dans des interfaces web fonctionnelles et accessibles, prouvant leur viabilité opérationnelle malgré la disparité de performance.

Perspectives Futures
Les auteurs suggèrent modestement que l'extension des données d'entraînement à l'ensemble des 1,6 million d'échantillons du jeu de données Sentiment140 permettrait probablement au BiLSTM de surpasser la référence linéaire. De plus, ils proposent que l'intégration d'embeddings contextuels pré-entraînés (par exemple, Word2Vec, GloVe) ou la transition vers des architectures basées sur les Transformers (par exemple, BERT) pourraient améliorer la compréhension sémantique des tweets sarcastiques ou implicites dans les itérations futures.