💬 NLP

A Fusion of context-aware based BanglaBERT and Two-Layer Stacked LSTM Framework for Multi-Label Cyberbullying Detection

Cet article propose une architecture de fusion combinant BanglaBERT-Large et un LSTM empilé à deux couches pour améliorer la détection multilabel du cyberharcèlement en langue bengalie, en surmontant les limites des modèles existants concernant la compréhension contextuelle et les dépendances séquentielles.

Auteurs originaux : Mirza Raquib, Asif Pervez Polok, Kedar Nath Biswas, Rahat Uddin Azad, Saydul Akbar Murad, Nick Rahimi

Publié 2026-02-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mirza Raquib, Asif Pervez Polok, Kedar Nath Biswas, Rahat Uddin Azad, Saydul Akbar Murad, Nick Rahimi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌐 Le Problème : Le "Bruit" sur les Réseaux Sociaux

Imaginez les réseaux sociaux comme une immense place publique très animée. Tout le monde y parle, partage et discute. Mais parfois, certains gens utilisent cette place pour insulter, menacer ou harceler les autres. C'est ce qu'on appelle le cyberharcèlement.

Le problème, c'est que ce harcèlement est souvent complexe. Une seule phrase peut contenir plusieurs types d'agressions en même temps.

Exemple : Une personne écrit : "Tu es un menteur et tu devrais disparaître !"
- C'est une insulte (harcèlement).
- C'est une menace (disparaître).
- Si c'était en bengali, cela pourrait aussi contenir une haine religieuse.

Les anciens systèmes d'alerte étaient comme des gardiens un peu bêtes : ils ne pouvaient voir qu'un seul problème à la fois. Si le gardien voyait une insulte, il ignorait la menace. Résultat : le message dangereux passait à travers les mailles du filet.

🛠️ La Solution : Un Détective Super-Intelligent (Le Modèle Proposé)

Les chercheurs de cette étude ont créé un nouveau système pour la langue bengalie (parlée au Bangladesh). Ils ont assemblé deux outils très puissants pour créer un "détective" capable de tout comprendre.

Voici comment ils ont fait, avec une analogie simple :

1. Le Lecteur de Contexte (BanglaBERT)

Imaginez un lecteur de livres très cultivé qui a lu des millions de phrases en bengali.

Ce lecteur ne se contente pas de regarder les mots individuellement. Il comprend le contexte.
Analogie : Si quelqu'un dit "C'est chaud !", le lecteur sait si cela signifie qu'il fait beau, que la soupe est brûlante, ou si c'est une insulte, selon les mots qui l'entourent.
Dans le modèle, c'est la partie BanglaBERT. Elle comprend le sens profond et les nuances de la langue.

2. Le Chroniqueur de Séquence (LSTM)

Maintenant, imaginez un chroniqueur qui écoute l'histoire dans l'ordre.

Le lecteur cultivé (BERT) comprend les mots, mais parfois, il oublie l'ordre dans lequel les idées arrivent.
Le chroniqueur (LSTM) écoute la phrase mot par mot, du début à la fin. Il se souvient que l'insulte au début a mené à la menace à la fin.
Analogie : C'est comme écouter une chanson. Le lecteur connaît les notes, mais le chroniqueur comprend la mélodie et le rythme.

3. La Fusion (Le Duo Gagnant)

Les chercheurs ont collé ces deux experts ensemble.

Le Lecteur explique le sens des mots.
Le Chroniqueur explique l'histoire et l'ordre.
Ensemble, ils forment un super-détective capable de dire : "Attendez, cette phrase contient à la fois du harcèlement, une menace et du spam !"

⚖️ Les Défis et Comment ils les ont Résous

Le Problème des "Injustes" (Déséquilibre des données)
Dans leurs données, il y avait beaucoup plus de messages "normaux" que de messages "harcèlement". C'est comme essayer d'apprendre à un chien à chasser des lapins, mais il n'y a que 1 lapin pour 1000 chats. Le chien va penser que tous les animaux sont des chats.

La Solution : Ils ont utilisé une technique de "photocopie intelligente" (sur-échantillonnage). Ils ont pris les rares exemples de harcèlement et les ont dupliqués intelligemment pour que le détective puisse s'entraîner suffisamment sur ces cas rares.

L'Entraînement Rigoureux (Validation croisée)
Pour être sûrs que leur détective n'apprend pas juste par cœur (comme un élève qui apprend ses réponses par cœur sans comprendre), ils l'ont testé 5 fois de suite avec des groupes de données différents. C'est comme passer un examen 5 fois avec des sujets différents pour prouver qu'on est vraiment intelligent.

🏆 Les Résultats : Une Victoire Éclatante

Le résultat est impressionnant. Ce nouveau système a atteint 94,31 % de précision.

Il bat tous les systèmes précédents (y compris ceux qui utilisaient seulement le lecteur ou seulement le chroniqueur).
Il est capable de détecter plusieurs types d'abus en même temps dans une seule phrase.

🔍 Pourquoi on peut lui faire confiance ? (L'Explicabilité)

Souvent, l'intelligence artificielle est une "boîte noire" : elle donne une réponse, mais on ne sait pas pourquoi.
Les chercheurs ont ajouté une loupe magique (appelée LIME).

Quand le système dit "C'est du harcèlement", la loupe surligne les mots précis dans la phrase qui ont déclenché l'alarme.
Cela permet aux humains de voir : "Ah oui, c'est bien ce mot-là qui est dangereux." Cela rend le système transparent et fiable.

🚀 En Résumé

Cette étude a créé un super-héros de la modération pour la langue bengalie.

Il comprend le sens des mots (comme un expert).
Il comprend l'ordre des idées (comme un conteur).
Il peut repérer plusieurs dangers en même temps.
Il est entraîné pour ne pas rater les cas rares.

C'est une avancée majeure pour rendre les réseaux sociaux plus sûrs, non seulement pour les anglophones, mais aussi pour des langues comme le bengali, qui sont souvent oubliées par la technologie.

Titre de l'étude

Fusion d'un contexte-aware BanglaBERT et d'un cadre LSTM à deux couches empilées pour la détection du cyberharcèlement multi-étiquettes.

1. Problématique

Le cyberharcèlement est un problème croissant sur les plateformes de médias sociaux, ayant des conséquences graves sur la santé mentale et le bien-être social. Bien que la détection du cyberharcèlement ait été étudiée, la majorité des approches actuelles se concentrent sur la classification mono-étiquette (un commentaire = un seul type d'abus).

Cependant, dans la réalité, un seul commentaire peut contenir simultanément plusieurs formes d'abus (par exemple, une menace combinée à du discours haineux religieux et du harcèlement). Les modèles mono-étiquettes échouent à capturer ces chevauchements, entraînant une détection incomplète.

De plus, la recherche sur les langues à ressources limitées, comme le bangla, est insuffisante. Les défis spécifiques incluent :

L'absence de modèles pré-entraînés robustes pour le bangla.
La complexité morphologique de la langue.
Le déséquilibre des classes dans les jeux de données (certaines catégories d'abus sont sous-représentées).
La nécessité de modèles capables de comprendre à la fois le contexte sémantique et les dépendances séquentielles temporelles.

2. Méthodologie

Les auteurs proposent une architecture hybride robuste combinant les forces des transformateurs (pour la compréhension contextuelle) et des réseaux de neurones récurrents (pour la modélisation séquentielle).

A. Architecture du Modèle (Fusion BERT-LSTM)

Le modèle proposé est une fusion de BanglaBERT-Large et d'un LSTM à deux couches empilées :

Couche d'Embedding BanglaBERT-Large :
- Utilise un encodeur Transformer pré-entraîné (24 couches, 16 têtes d'attention) pour générer des représentations vectorielles riches et contextuelles du texte bangla.
- Capture la sémantique globale, les nuances, l'ironie et les relations entre les mots.
- Les entrées sont tokenisées, complétées (padding) et masquées (attention masks) pour standardiser la longueur des séquences.
Couche LSTM Empilée (2 couches) :
- Les sorties de BanglaBERT sont alimentées dans deux couches LSTM séquentielles.
- Objectif : Les transformateurs ne modélisent pas explicitement l'ordre des mots de manière temporelle. Les couches LSTM capturent les dépendances à long terme et l'évolution du sens abusif au sein de la phrase.
- La première couche modélise les dépendances locales, la seconde les dépendances globales.
Couche de Classification :
- Une couche dense (Fully Connected) suivie d'une fonction d'activation Sigmoid pour chaque étiquette.
- Permet une sortie multi-étiquettes (un commentaire peut être classé comme "Harcèlement" ET "Menace" simultanément).
- Utilisation de la Perte d'Entropie Croisée Binaire (BCE) pour optimiser chaque étiquette indépendamment.

B. Prétraitement et Gestion des Données

Jeu de données : 12 557 commentaires bangla provenant de Facebook et TikTok, étiquetés sur 5 catégories : Bully, Sexual, Religious, Threat, Spam.
Prétraitement : Nettoyage du texte (suppression des caractères non bangla, ponctuation), tokenisation, et normalisation.
Gestion du déséquilibre des classes :
- Application de techniques de sous-échantillonnage (undersampling) et de sur-échantillonnage (oversampling) uniquement sur l'ensemble d'entraînement pour équilibrer les classes sans fuite de données (data leakage) vers les ensembles de validation/test.
Validation : Utilisation de la validation croisée 5-fold pour garantir la généralisation du modèle.

C. Optimisation

Optimiseur : AdamW (avec découplage de la décroissance des poids).
Taux d'apprentissage : Ajusté via analyse de sensibilité (meilleur résultat à $1 \times 10^{-4}$ ).
Régularisation : Dropout (0.3) et Gradient Clipping pour éviter le surapprentissage.

3. Contributions Clés

Approche Multi-étiquettes Réaliste : Détection simultanée de plusieurs types d'abus dans un même commentaire, reflétant mieux la réalité des interactions en ligne.
Architecture Hybride Innovante : Combinaison de BanglaBERT-Large (contexte sémantique) et d'un LSTM à deux couches (dépendances séquentielles), surpassant les modèles purement basés sur des transformateurs ou des RNN.
Performance sur Langue à Ressources Limitées : Établissement d'un nouveau point de référence (benchmark) pour le bangla, une langue sous-représentée dans la recherche sur le cyberharcèlement.
Interprétabilité (XAI) : Intégration de la méthode LIME (Local Interpretable Model-agnostic Explanations) pour visualiser les mots clés influençant chaque prédiction, augmentant la confiance dans le modèle.
Évaluation Rigoureuse : Utilisation de multiples métriques (Précision, Rappel, F1-score, MCC, Kappa de Cohen, AUC-ROC, Hamming Loss) et validation croisée.

4. Résultats Expérimentaux

Le modèle a été évalué sur un jeu de données public et comparé à des modèles de base (ML classiques, Deep Learning pur, autres architectures hybrides).

Performance Globale : Le modèle proposé BERT-LSTM a atteint une précision (Accuracy) de 94,31% sur le jeu de données suréchantillonné.
Comparaison avec l'état de l'art :
- Il dépasse les méthodes précédentes sur le même jeu de données de 0,67%.
- Il surpasse les modèles basés uniquement sur BanglaBERT (93,92%) et les modèles LSTM/GRU seuls (environ 91,5%).
- Il obtient les meilleurs scores en F1-score (88,37%), MCC (80,31%) et Kappa (80,25%).
Impact du Sur-échantillonnage : La stratégie de sur-échantillonnage (Oversampling) s'est révélée supérieure au sous-échantillonnage, améliorant la représentation des classes minoritaires sans sacrifier la diversité contextuelle.
Stabilité : La validation croisée 5-fold a confirmé la robustesse du modèle avec une précision moyenne de 93,42% et une faible variance entre les plis.
Interprétabilité : Les visualisations LIME montrent que le modèle identifie correctement les mots déclencheurs spécifiques pour chaque catégorie d'abus (ex: mots religieux pour la catégorie "Religious", menaces explicites pour "Threat").

5. Signification et Conclusion

Cette étude démontre que la fusion de modèles de transformateurs pré-entraînés spécifiques à la langue (BanglaBERT) avec des architectures de modélisation séquentielle (LSTM) est une approche supérieure pour la détection du cyberharcèlement multi-étiquettes, en particulier dans des contextes linguistiques complexes et à ressources limitées.

Impact : Le travail fournit un cadre robuste pour les systèmes de modération de contenu en bangla, permettant une action plus précise et rapide des plateformes sociales.
Limitations et Perspectives : L'étude se concentre actuellement uniquement sur le bangla pur. Les travaux futurs visent à étendre ce cadre pour gérer les textes multilingues et code-mixed (mélange de bangla et d'anglais), ce qui est très courant sur les réseaux sociaux.

En résumé, ce papier établit un nouvel état de l'art pour la détection du cyberharcèlement en bangla, combinant rigueur méthodologique, innovation architecturale et interprétabilité.