ANCHOLIK-NER: A Benchmark Dataset for Bangla Regional Named Entity Recognition

Cet article présente ANCHOLIK-NER, le premier jeu de données de référence pour la reconnaissance d'entités nommées dans les dialectes régionaux du bangla, et évalue les performances de modèles basés sur des transformateurs pour combler ce vide dans le traitement automatique des langues à ressources limitées.

L'essentiel

Imaginez que la langue bengalie est une grande famille avec cinq cousins très différents qui parlent tous la même langue, mais avec des accents, des mots et des expressions qui leur sont propres. C'est un peu comme si vous aviez un grand-père qui parle le français standard, et quatre petits-enfants qui parlent chacun un dialecte très coloré : l'un de Chittagong, l'autre de Sylhet, un troisième de Barishal, un quatrième de Noakhali et le dernier de Mymensingh.

Jusqu'à présent, les "ordinateurs intelligents" (les modèles d'IA) qui apprennent à lire et à comprendre le bengali n'avaient appris qu'avec le grand-père. Ils comprenaient parfaitement le français standard, mais quand les petits-enfants parlaient, l'ordinateur se perdait, confondait les noms de personnes avec des objets, ou ne comprenait pas du tout où ils habitaient.

Voici ce que les auteurs de ce papier ont fait pour régler ce problème :

1. La Grande Collection de Histoires (Le Dataset ANCHOLIK-NER)

Les chercheurs ont créé une nouvelle bibliothèque géante appelée ANCHOLIK-NER. Imaginez que c'est un carnet de 17 405 phrases écrites par les cinq cousins.

• Le but : Apprendre à l'ordinateur à reconnaître les "noms propres" (comme les noms de villes, de personnes, d'organisations) même quand ils sont prononcés avec l'accent de Chittagong ou de Sylhet.
• L'effort : Ils n'ont pas juste copié-collé. Ils ont fait appel à des experts locaux (des étudiants et linguistes natifs de chaque région) pour s'assurer que chaque phrase était écrite correctement et que les noms étaient bien identifiés. C'est comme avoir un professeur de français natif pour chaque accent pour corriger les devoirs de l'ordinateur.

2. Le Jeu de l'Étiquetage (L'Annotation)

Pour que l'ordinateur apprenne, il faut lui dire : "Attention, ce mot ici est un nom de ville, et celui-là est un nom de personne".

• Les chercheurs ont utilisé un système d'étiquettes (comme des autocollants) : B pour le début d'un nom, I pour l'intérieur d'un nom, et O pour "hors sujet" (ce n'est pas un nom spécial).
• Ils ont vérifié deux fois le travail de chaque personne pour s'assurer qu'il n'y avait pas d'erreurs. C'est comme un jeu de "Qui a raison ?" où deux professeurs vérifient le même devoir pour être sûrs que la réponse est correcte.

3. L'Examen Final (Les Tests)

Une fois la bibliothèque prête, ils ont donné un examen à trois "élèves" (trois types d'intelligences artificielles) pour voir qui comprenait le mieux les dialectes :

1. Bangla BERT : Un élève qui a étudié uniquement le bengali.
2. Bangla BERT Base : Un élève un peu plus léger, mais qui connaît bien le bengali.
3. BERT Multilingue : Un élève qui parle 100 langues, dont le bengali, mais qui n'est pas un spécialiste du bengali.

Les résultats ?

• L'élève multilingue (BERT Multilingue) a été le meilleur en général, surtout à Mymensingh et Sylhet. C'est comme si un polyglotte avait une meilleure oreille pour les nuances.
• L'élève spécialiste bengali (Bangla BERT) a aussi très bien réussi, particulièrement à Barishal.
• Le problème : À Chittagong, même le meilleur élève a eu du mal. C'est comme si l'accent de Chittagong était si unique et rapide que même les meilleurs professeurs ont eu du mal à suivre. Les ordinateurs confondaient encore parfois les rôles (comme "professeur") avec des organisations.

En résumé

Ce papier est une victoire pour l'inclusion linguistique. Avant, si vous parliez bengali avec un accent de Chittagong, votre ordinateur vous ignorait ou vous comprenait mal. Grâce à ANCHOLIK-NER, nous avons maintenant la première "carte routière" pour enseigner aux ordinateurs à comprendre la richesse et la diversité des dialectes bengalis.

Ce qui reste à faire :
Les chercheurs disent que ce n'est que le début. Il faut encore travailler sur les accents les plus difficiles (comme Chittagong) et ajouter d'autres cousins à la famille (d'autres dialectes) pour que l'ordinateur comprenne vraiment tout le monde, partout au Bangladesh. C'est un pas de géant vers une intelligence artificielle plus juste et plus humaine.

Résumé technique

1. Problématique et Contexte

La Reconnaissance d'Entités Nommées (NER) est une tâche fondamentale en Traitement du Langage Naturel (TLP) visant à identifier et classer des entités telles que les personnes, les lieux et les organisations. Bien que des progrès significatifs aient été réalisés pour le Bangla standard, il existe un vide majeur concernant les dialectes régionaux du Bangladesh.

• Le Défi : Le Bangladesh est caractérisé par une grande diversité linguistique avec des dialectes majeurs comme le Sylheti, le Chittagong, le Barishal, le Noakhali et le Mymensingh. Ces dialectes présentent des variations uniques au niveau du vocabulaire, de la grammaire, de la prononciation et de la sémantique par rapport au Bangla standard.
• La Lacune : Les modèles NER actuels, entraînés principalement sur des corpus formels et standardisés, échouent à traiter efficacement ces variations dialectales. Cela entraîne une mauvaise reconnaissance des entités dans des contextes réels (réseaux sociaux, actualités régionales, services publics), créant un biais linguistique et limitant l'inclusivité des systèmes NLP.
• Absence de Ressources : Il n'existait auparavant aucun jeu de données de référence (benchmark) annoté spécifiquement pour la NER dans ces dialectes régionaux, rendant l'évaluation et le développement de modèles adaptés impossibles.

2. Méthodologie

L'équipe propose une approche centrée sur les données pour combler ce fossé, en mettant l'accent sur la qualité, la diversité et l'alignement des entités nommées.

A. Construction du Dataset ANCHOLIK-NER

• Collecte de Données : Le dataset final comprend 17 405 phrases réparties sur cinq régions (Sylhet, Chittagong, Barishal, Noakhali, Mymensingh).
  • Sources : 12 500 phrases issues du corpus Vashantor, 2 940 du dataset ONUBAD, et 1 965 phrases obtenues par traduction manuelle pour assurer l'équilibre et couvrir les régions manquantes (Noakhali et Mymensingh).
• Prétraitement et Tokenisation : Un pipeline automatisé (Python) a été développé pour nettoyer les données brutes (suppression des anomalies de ponctuation, conversion des chiffres anglais en bengali, séparation des tokens).
• Schéma d'Annotation : Utilisation du schéma BIO (Begin, Inside, Outside).
  • Entités couvertes : Personne (PER), Lieu (LOC), Organisation (ORG), Nourriture (FOOD), Animal (ANI), Couleur (COL), Rôle (ROLE), Relation (REL), Objet (OBJ).
  • Qualité : Dix annotateurs natifs (étudiants et chercheurs en linguistique/NLP) ont annoté les données. L'accord inter-annotateurs a été mesuré via le Kappa de Cohen, montrant une forte cohérence (scores élevés proches de 1).
• Détection d'Anomalies : Des algorithmes ont été utilisés pour identifier et corriger les erreurs de formatage (ex: tags en minuscules, cellules vides) avant la validation finale.

B. Modèles Évalués

Trois modèles basés sur l'architecture Transformer ont été entraînés et évalués sur ce dataset :

1. Bangla BERT : Modèle pré-entraîné spécifiquement sur des données bengali.
2. Bangla BERT Base : Variante optimisée pour l'efficacité computationnelle.
3. BERT Base Multilingual Cased : Modèle multilingue supportant plus de 100 langues.

Les modèles ont été évalués selon les métriques classiques : Précision, Rappel et F1-Score, avec des variations d'hyperparamètres (taille de lot : 8 et 16 ; époques : 5, 10, 15, 20).

3. Contributions Clés

1. Premier Dataset de Référence Dialectal : Introduction d'ANCHOLIK-NER, le premier jeu de données annoté pour la NER couvrant cinq dialectes majeurs du Bangladesh.
2. Corpus Hybride avec Alignement d'Entités : Création d'un corpus parallèle entre le Bangla standard et les dialectes, garantissant que les entités nommées sont préservées et alignées de manière cohérente lors des traductions.
3. Méthodologie de Raffinement des Données : Mise en place d'un processus rigoureux de détection d'anomalies et de correction pour éliminer le bruit et assurer la qualité des données d'entraînement.
4. Benchmarking Empirique : Évaluation comparative de modèles Transformer sur des données dialectales, fournissant des lignes de base pour la recherche future.

4. Résultats et Analyse

Les expériences ont révélé des performances variées selon les modèles et les régions :

• Meilleure Performance Globale : Le modèle BERT Base Multilingual Cased a généralement obtenu les meilleurs résultats, notamment dans la région de Mymensingh avec un F1-Score de 82,611 % (à l'époque 20).
• Performance de Bangla BERT : Ce modèle a également excellé, obtenant un F1-Score de 82,268 % à Mymensingh et 81,481 % à Barishal.
• Défis Régionaux :
  • La région de Chittagong a présenté les plus grandes difficultés pour tous les modèles (F1-Score maximal de ~76 %), indiquant une complexité linguistique plus élevée ou un manque de données d'entraînement spécifiques.
  • Les catégories Rôle (ROLE) et Organisation (ORG) ont montré des taux plus élevés de faux positifs dans les matrices de confusion, suggérant que ces entités sont plus difficiles à distinguer dans les dialectes.
• Analyse des Matrices de Confusion : Elles montrent que les modèles sont très performants pour les entités "Lieu" (LOC) et "Personne" (PER), mais peinent davantage sur les entités plus contextuelles comme les relations familiales ou les titres professionnels dans certains dialectes.

5. Signification et Perspectives

• Importance Scientifique : Ce travail constitue une étape fondamentale pour l'inclusivité linguistique en NLP. Il démontre que les modèles génériques multilingues ou les modèles standardisés ne suffisent pas pour capturer la richesse des dialectes régionaux.
• Impact Pratique : Le dataset ANCHOLIK-NER permet le développement de systèmes NLP plus robustes pour des applications critiques telles que l'analyse des médias sociaux, la synthèse de nouvelles régionales, la communication en santé publique et les services numériques localisés.
• Travaux Futurs : Les auteurs prévoient d'étendre le dataset à d'autres dialectes sous-représentés, d'améliorer les performances dans les régions difficiles (Chittagong, Noakhali) via l'augmentation de données et l'adaptation de domaine, et d'explorer des techniques d'apprentissage non supervisé ou hybride pour mieux capturer les variations dialectales.

En conclusion, ANCHOLIK-NER ne se contente pas de fournir des données ; il pose les bases éthiques et techniques pour un traitement du langage bengali véritablement représentatif de sa diversité sociolinguistique.