💬 NLP

A Comparative Study of PyCaret AutoML and CNN-BiLSTM for Binary Hate Speech Detection in Indonesian Twitter

Cette étude démontre qu'un modèle CNN-BiLSTM surpasse le meilleur classifieur conventionnel de PyCaret AutoML (Random Forest) dans la détection de discours haineux binaire sur Twitter indonésien, en obtenant une précision supérieure de 6,6 % et un score F1 supérieur de 4,2 % grâce à une exploitation efficace des représentations denses des tokens et du contexte bidirectionnel.

Auteurs originaux : Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Publié 2026-05-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tanty Widiyastuti, Mayada, Adisty Syawalda Ariyanto, Luluk Muthoharoh, Ardika Satria, Martin Clinton Tosima Manullang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à repérer des tweets « toxiques » sur Twitter indonésien. L'objectif est de déterminer si un message court est un discours de haine (mauvais) ou simplement un discours normal (acceptable).

Cet article est comme une course entre deux entraîneurs différents essayant de former un étudiant à réussir ce test.

Les Deux Entraîneurs

Entraîneur 1 : Le « Auto-Organisateur » (PyCaret)
Imaginez cet entraîneur comme un chef de projet ultra-efficace. Il n'invente pas de nouvelles façons de penser ; au lieu de cela, il prend une boîte à outils de méthodes classiques et éprouvées (comme le comptage de mots spécifiques mauvais ou l'examen de la fréquence des mots) et teste rapidement des dizaines de stratégies différentes pour voir laquelle fonctionne le mieux.

Comment ils travaillent : Ils considèrent le texte comme une liste d'ingrédients. Si le tweet contient un « mot interdit » connu d'un dictionnaire, ou si certains mots apparaissent souvent ensemble, ils le signalent.
Le Résultat : Cet entraîneur a constaté qu'une méthode appelée Random Forest (qui consiste à demander à un comité de décideurs de voter pour savoir si un tweet est mauvais) était la meilleure du lot. Ils ont obtenu une précision d'environ 77 %.

Entraîneur 2 : Le « Détective du Contexte » (CNN-BiLSTM)
Cet entraîneur est un expert en apprentissage profond. Au lieu de simplement compter les mots, il apprend à l'ordinateur à « lire » le tweet comme un humain, en prêtant attention à l'ordre des mots et à la façon dont leur sens change en fonction de ce qui précède ou suit.

Comment ils travaillent : Imaginez qu'une phrase est un puzzle. La partie « CNN » cherche des motifs locaux et spécifiques (comme une phrase de colère précise), tandis que la partie « BiLSTM » examine la phrase entière de gauche à droite et de droite à gauche pour comprendre le contexte. Par exemple, cela aide l'ordinateur à comprendre qu'un mot peut être mauvais dans une phrase mais inoffensif dans une autre à cause d'un « non » ou d'une blague à proximité.
Le Résultat : Cet entraîneur a construit un modèle qui a obtenu une précision de 83,8 %.

Les Conditions de la Course

Pour rendre la course équitable, les auteurs ont veillé à ce que les deux entraîneurs commencent avec exactement les mêmes ingrédients :

Mêmes Données : Ils ont utilisé les mêmes 13 000+ tweets d'un célèbre ensemble de données indonésien.
Même Nettoyage : Les deux entraîneurs ont nettoyé les tweets de la même manière (suppression des liens, correction de l'argot, mise en minuscules).
Même Objectif : Les deux tentaient de résoudre exactement le même problème binaire : S'agit-il d'un discours de haine (Oui/Non) ?

Le Gagnant

Le Détective du Contexte (CNN-BiLSTM) a gagné la course.

Il était 6,6 % plus précis que le meilleur Auto-Organisateur.
Il était meilleur pour attraper les mauvais tweets sans signaler accidentellement trop de bons.

Pourquoi le Détective a-t-il Gagné ?

L'article explique que les tweets indonésiens sont très courts et reposent souvent sur un contexte subtil.

Le Problème : Parfois, un tweet semble inoffensif si l'on compte simplement les mots, mais c'est en réalité un discours de haine à cause de la façon dont les mots sont arrangés. Ou bien, un mot mauvais peut être utilisé d'une manière qui n'est pas haineuse.
La Solution : L'« Auto-Organisateur » était bon pour repérer les mots mauvais évidents, mais il manquait la « vibe » subtile ou le contexte. Le « Détective du Contexte » était meilleur pour comprendre que les phrases courtes et désordonnées doivent souvent être lues comme une histoire entière, et non comme une simple liste de parties.

La Mise en Garde (Le problème du « Surapprentissage »)

L'article a également remarqué quelque chose d'intéressant concernant l'entraînement du Détective.

Le Détective a appris les données d'entraînement très rapidement et très bien, presque trop bien.
C'est comme un étudiant qui a mémorisé parfaitement le test d'entraînement mais qui pourrait avoir des difficultés si le vrai test comportait des questions légèrement différentes. L'article note que le modèle a commencé à « surapprendre » (mémoriser le bruit) un peu.
La Conclusion : Bien que le Détective soit toujours le gagnant, les auteurs suggèrent que, à l'avenir, nous devons apprendre au Détective à être plus prudent et à ne pas simplement mémoriser, afin qu'il fonctionne encore mieux sur de nouveaux tweets jamais vus.

L'Essentiel

PyCaret (L'Auto-Organisateur) est excellent si vous voulez une base de référence rapide, fiable et facile à comprendre. C'est une solution solide « suffisante ».
CNN-BiLSTM (Le Détective du Contexte) est le meilleur choix si vous avez besoin de la précision la plus élevée possible et que vous êtes prêt à gérer un système plus complexe qui comprend les nuances d'un texte court et désordonné.

L'article conclut que, bien que l'« Auto-Organisateur » soit un outil fantastique pour établir une norme, le « Détective du Contexte » est actuellement l'outil supérieur pour cette tâche spécifique de détection du discours de haine sur Twitter indonésien.

Résumé Technique : Étude Comparative de PyCaret AutoML et de CNN-BiLSTM pour la Détection Binaire de Discours Haineux sur Twitter Indonésien

Énoncé du Problème
L'article aborde le défi de la détection automatique de discours haineux sur Twitter indonésien. La tâche se caractérise par des textes courts, bruyants et informels où l'intention nuisible découle souvent du contexte, de la négation ou du cadrage pragmatique plutôt que des seuls insultes explicites. Les auteurs visent à déterminer si une approche d'apprentissage profond sensible aux séquences (CNN-BiLSTM) offre un avantage significatif par rapport à une branche d'apprentissage automatique conventionnelle renforcée, lorsque les deux sont évaluées dans des conditions identiques de prétraitement et de référence. L'étude utilise l'étiquette de discours haineux (HS) du corpus d'Ibrohim et Budi [1], reformulant le jeu de données multi-étiquettes en un problème de classification binaire contrôlé (Discours Haineux vs Non-Discours Haineux).

Méthodologie
L'étude emploie une conception de référence contrôlée où les branches conventionnelle et neuronale partagent un pipeline de prétraitement identique pour garantir que les différences de performance reflètent la capacité de modélisation plutôt que des incohérences dans la préparation des données.

Données et Prétraitement :
- Jeu de données : Un sous-ensemble de 13 130 tweets du corpus d'Ibrohim et Budi, avec une distribution de classes d'environ 58 % de non-discours haineux et 42 % de discours haineux.
- Prétraitement : Inclut la mise en minuscules, la suppression des URL/noms d'utilisateur, la normalisation des symboles, la normalisation de l'argot à l'aide de mappages fournis par le corpus, et la suppression des mots vides.
- Ingénierie des caractéristiques : Une caractéristique partagée de « décompte de mots abusifs » est dérivée du lexique abusif du corpus.
Branche Conventionnelle (PyCaret AutoML) :
- Représentation : Les tweets sont vectorisés à l'aide de TF-IDF (unigrammes et bigrammes, vocabulaire maximal de 5 000) concaténés avec le décompte de mots abusifs.
- Flux de travail : PyCaret AutoML est utilisé non pas comme un seul classifieur, mais comme une couche de référence pour standardiser la comparaison entre plusieurs estimateurs.
- Modèles : Le flux de travail évalue et classe les SVM linéaires, les Naïve Bayes et les Forêts Aléatoires. La Forêt Aléatoire émerge comme le candidat conventionnel le plus performant.
Branche Neuronale (CNN-BiLSTM) :
- Architecture : Une architecture compacte conçue pour les textes courts.
  - Embedding : Des embeddings de mots entraînables de 100 dimensions.
  - Couche CNN : Extrait des motifs de phrases locaux (taille de noyau 3) pour capturer les fragments abusifs et les intensificateurs.
  - Couche BiLSTM : Encode le contexte bidirectionnel pour interpréter les indices locaux au sein du texte environnant.
  - Sortie : Activation sigmoïde pour la probabilité binaire.
- Entraînement : Optimisé avec une perte de l'entropie croisée binaire, utilisant un taux d'apprentissage de $10^{-3}$ , une taille de lot de 64 et un dropout de 0,2.

Contributions Clés
L'article apporte quatre contributions spécifiques :

Reformulation de la Référence : Il convertit le corpus multi-étiquettes publié en une référence binaire contrôlée de discours haineux.
Référence Conventionnelle Opérationnalisée : Au lieu d'une seule référence faible, il utilise PyCaret AutoML pour établir une référence conventionnelle forte et systématique.
Évaluation Neuronale Compacte : Il évalue une architecture CNN-BiLSTM adaptée spécifiquement aux textes contextuels indonésiens courts.
Interprétation Complète : Il analyse les résultats à travers les statistiques du corpus, les courbes d'apprentissage et les matrices de confusion pour distinguer la qualité de la représentation de la stabilité de l'entraînement.

Résultats
L'étude compare les modèles sur un ensemble de test retenu de 20 % (2 626 tweets).

Métriques de Performance :
- CNN-BiLSTM : A atteint 83,8 % de Précision, 79,8 % de Précision, 82,7 % de Rappel et 81,2 % de Score F1.
- PyCaret-Forêt Aléatoire (Conventionnelle la plus forte) : A atteint 77,2 % de Précision, 75,8 % de Précision, 78,3 % de Rappel et 77,0 % de Score F1.
- PyCaret-SVM : 72,3 % de Précision (la plus faible).
- PyCaret-Naïve Bayes : 75,8 % de Précision.
Gain Comparatif : La branche neuronale a amélioré la précision de 6,6 points de pourcentage et le score F1 de 4,2 points de pourcentage par rapport au modèle conventionnel le plus fort.
Analyse des Erreurs :
- Le CNN-BiLSTM a montré des signes de surapprentissage (la perte de validation augmentant après les premières époques), suggérant que les gains pourraient être davantage optimisés via l'arrêt anticipé et la régularisation.
- La matrice de confusion indique que le modèle est quelque peu agressif mais équilibré, avec des erreurs concentrées sur des cas limites impliquant une hostilité implicite ou des références à des groupes plutôt que des tokens toxiques explicites.
- Une tâche auxiliaire sur le « langage abusif » (plus large que le discours haineux) a montré des courbes d'apprentissage plus stables, confirmant que la détection stricte de discours haineux est une frontière plus difficile et plus dépendante du contexte.

Signification et Revendications
L'article conclut par une distinction nuancée entre l'utilité des deux approches :

PyCaret AutoML comme Cadre : L'étude valide PyCaret comme un cadre efficace pour établir des références conventionnelles fortes et reproductibles. Elle démontre que même avec une base lexicale robuste (TF-IDF + décomptes abusifs) et une optimisation AutoML, la branche conventionnelle ne peut pas capturer pleinement les nuances du discours haineux indonésien.
CNN-BiLSTM comme Modèle Final Supérieur : Les résultats confirment que pour cette référence spécifique, l'architecture CNN-BiLSTM offre un avantage significatif. Les auteurs attribuent cela à la capacité du modèle à capturer à la fois les motifs lexicaux locaux (via CNN) et les interactions contextuelles à courte portée (via BiLSTM), qui sont cruciales pour les tweets indonésiens où l'intention dépend souvent du cadrage.
Implications Pratiques : L'article postule que PyCaret est préférable pour le dépistage rapide, l'expérimentation à faible coût et l'établissement de références reproductibles. En revanche, CNN-BiLSTM est le choix recommandé lorsque l'objectif principal est de maximiser l'équilibre prédictif sur la frontière du discours haineux et que le coût computationnel de l'apprentissage profond est acceptable.

Les auteurs déclarent explicitement que ces résultats sont spécifiques à la configuration de la référence (un jeu de données, un pipeline de prétraitement, une division) et ne revendiquent pas une supériorité universelle pour toutes les formes de discours haineux en ligne. Ils suggèrent que des travaux futurs pourraient explorer des espaces de recherche AutoML plus riches, une régularisation plus forte et des modèles basés sur des transformateurs comme IndoBERT.