Benchmarking Logistic Regression, SVM, Naive Bayes, and IndoBERT Fine-Tuning for Sentiment Analysis on Indonesian Product Reviews

Résumé Technique : Évaluation comparative de la Régression Logistique, des SVM, des Naïves Bayésiennes et d'IndoBERT pour l'analyse des sentiments en indonésien

Énoncé du Problème
L'expansion rapide du commerce électronique en Indonésie a généré un volume massif d'avis produits non structurés et générés par les utilisateurs. L'analyse du sentiment de ces avis est cruciale pour évaluer la satisfaction client et identifier les problèmes de produits à grande échelle. Cependant, le texte indonésien présente des défis uniques, notamment une orthographe informelle, de l'argot, une ponctuation incohérente et des expressions contextuelles. De plus, les données réelles des places de marché présentent un déséquilibre de classe sévère, où les avis positifs dépassent largement les retours neutres et négatifs. Ce déséquilibre complique l'entraînement des modèles, conduisant souvent à des métriques de haute précision qui masquent une mauvaise performance sur les classes minoritaires. Le problème central abordé est de déterminer si les approches d'apprentissage automatique (ML) traditionnelles, qui sont efficaces sur le plan computationnel, peuvent surpasser ou égaler les modèles modernes d'apprentissage profond basés sur les Transformers (spécifiquement IndoBERT) dans ce contexte bruyant, déséquilibré et spécifique au domaine.

Méthodologie
L'étude met en œuvre un cadre d'évaluation comparative utilisant le jeu de données Tokopedia Product Reviews 2025, qui contient des dizaines de milliers d'avis courts et bruyants étiquetés en trois classes : positif (positif), netral (neutre) et negatif (négatif).

1. Pipeline de Prétraitement : Un pipeline robuste a été développé pour nettoyer le vernaculaire du commerce électronique indonésien. Les étapes comprenaient la conversion du texte en minuscules, la suppression des URL et des caractères non alphanumériques (y compris les émojis), la normalisation des espaces blancs et la mise en correspondance d'étiquettes hétérogènes vers des classes standardisées.
2. Modèles de Référence (ML Traditionnel) : Trois algorithmes ont été implémentés en utilisant l'extraction de caractéristiques TF-IDF avec des unigrammes et des bigrammes ($ngram\_range=(1,2)$). Le vocabulaire a été limité à 50 000 caractéristiques. Les modèles comprenaient :
   • Régression Logistique
   • Machine à Vecteurs de Support Linéaire (Linear SVC)
   • Naïve Bayes Multinomiale
   • Gestion du Déséquilibre : Les modèles linéaires discriminants ont utilisé class_weight="balanced" pour pénaliser les erreurs sur les classes minoritaires.
3. Modèle d'Apprentissage Profond (IndoBERT) : L'étude a affiné le modèle indobenchmark/indobert-base-p1.
   • Architecture : Un encodeur Transformer suivi d'une tête de classification de séquence, traitant des entrées jusqu'à 256 tokens.
   • Gestion du Déséquilibre : Une fonction de perte de cross-entropy pondérée personnalisée a été conçue, où les poids de classe ($W_c$) sont inversement proportionnels à la fréquence de classe ($W_c = \frac{N}{C \times n_c}$).
   • Entraînement : Le modèle a été entraîné pendant 3 époques avec une taille de lot de 16, un taux d'apprentissage de $2 \times 10^{-5}$ et un ratio de warmup de 0,1.
4. Discrépance Expérimentale : Une note méthodologique critique concerne la différence dans les régimes de données. Les modèles de référence ont été entraînés sur le jeu de données complet (65 335 enregistrements), tandis que le modèle IndoBERT a été contraint à un sous-ensemble stratifié (~1 800 enregistrements d'entraînement) en raison de limitations computationnelles.

Contributions Clés
L'article détaille cinq contributions spécifiques :

1. Un pipeline de prétraitement adapté via des expressions régulières pour le texte bruyant du commerce électronique indonésien.
2. Une évaluation comparative complète des références TF-IDF (Régression Logistique, LinearSVC, Naïve Bayes).
3. Une implémentation détaillée de l'affinage d'IndoBERT avec une perte pondérée calculée dynamiquement pour traiter le déséquilibre des classes.
4. Une analyse quantitative approfondie comparant la performance globale aux métriques sensibles aux classes.
5. Une stratégie de déploiement reproductible utilisant Gradio sur Hugging Face Spaces.

Résultats
L'évaluation a utilisé la Précision (Accuracy), le score F1 Macro et le score F1 Pondéré. Contrairement à l'attente selon laquelle les modèles d'apprentissage profond surpasseraient les méthodes traditionnelles, les résultats ont montré que le Linear SVC surpassait significativement le modèle IndoBERT affiné dans cette configuration expérimentale spécifique.

• Linear SVC : A atteint 97,60 % de Précision et un score F1 Macro de 0,5510.
• IndoBERT : A atteint 88,70 % de Précision et un score F1 Macro de 0,5088.
• Autres Références : La Régression Logistique (94,36 % de Précision, 0,5164 F1 Macro) et la Naïve Bayes (97,50 % de Précision, 0,3290 F1 Macro) ont également bien performé, bien que la Naïve Bayes ait eu des difficultés significatives avec la reconnaissance des classes minoritaires.

L'analyse a révélé que, bien que les modèles de référence aient atteint une précision globale élevée, ils continuaient de lutter avec les classes netral et negatif, les confondant souvent avec la classe dominante positif. Cependant, l'écart de performance entre les références et IndoBERT a été attribué principalement au régime d'échantillonnage des données : les références ont utilisé le corpus complet, tandis que le Transformer a été restreint à un petit sous-ensemble, l'empêchant de tirer pleinement parti de ses capacités de modélisation contextuelle.

Signification et Revendications
L'article revendique que pour l'analyse des sentiments en indonésien sur les avis de commerce électronique, les approches traditionnelles d'apprentissage automatique (spécifiquement TF-IDF avec Linear SVC) restent hautement efficaces et robustes, surpassant souvent les Transformers de pointe lorsque les contraintes computationnelles limitent les données d'entraînement pour ces derniers.

Les auteurs soulignent que l'"avantage Transformer" n'est pas automatique ; il dépend fortement du volume de données, de l'équilibre des classes et de configurations d'évaluation équitables. L'étude conclut que, bien qu'IndoBERT offre une modélisation contextuelle théorique supérieure, sa performance empirique dans cette étude a été limitée par le sous-ensemble d'entraînement restreint. Par conséquent, pour les applications privilégiant la vitesse et une performance de référence robuste, TF-IDF avec Linear SVC est présenté comme une solution hautement viable. L'article plaide pour des recherches futures afin d'assurer des comparaisons équitables en entraînant tous les modèles sur des divisions de données à grande échelle identiques et en employant des stratégies avancées conscientes du déséquilibre pour améliorer la reconnaissance des classes minoritaires.