Part-of-Speech Tagger for Bodo Language using Deep Learning approach

Cette étude présente le développement de BodoBERT, le premier modèle de langage pour le bodo, et d'un taggeur de parties du discours basé sur l'apprentissage profond qui atteint un score F1 de 0,8041, comblant ainsi un vide majeur dans le traitement automatique des langues pour les langues à ressources limitées de la région.

L'essentiel

🌍 Le Grand Défi : Apprendre à une machine à parler le Bodo

Imaginez que le monde des ordinateurs et de l'intelligence artificielle est une grande bibliothèque. Dans cette bibliothèque, il y a des millions de livres en anglais, en chinois ou en espagnol. Les ordinateurs ont lu tous ces livres et savent donc très bien comprendre et parler ces langues. C'est ce qu'on appelle les langues à ressources abondantes.

Mais il y a des langues qui sont comme des îles isolées dans cette bibliothèque. Le Bodo, une langue parlée par environ 1,5 million de personnes dans le nord-est de l'Inde, n'avait jamais eu de "livre" pour apprendre aux ordinateurs. C'est une langue à ressources rares.

Les chercheurs de l'IIT Guwahati (en Inde) ont décidé de combler ce vide. Leur mission ? Enseigner à une machine à comprendre la grammaire du Bodo, un peu comme on apprendrait à un enfant à distinguer un nom d'un verbe.

🏗️ Étape 1 : Construire le cerveau (BodoBERT)

Avant de pouvoir apprendre à un ordinateur à faire de la grammaire, il faut d'abord lui donner un cerveau qui comprend le sens des mots. C'est là qu'intervient BodoBERT.

• L'analogie : Imaginez que vous voulez enseigner la cuisine à un chef qui n'a jamais cuisiné. Vous ne pouvez pas lui donner une recette complexe tout de suite. D'abord, vous lui faites lire des milliers de livres de cuisine, des menus, des critiques de restaurants, pour qu'il comprenne ce qu'est une "tomate", un "poisson" ou une "épice".
• Ce que les chercheurs ont fait : Ils ont collecté 1,6 million de phrases Bodo (issues de l'actualité, de la littérature, de la science, etc.) et ont entraîné un modèle d'intelligence artificielle (appelé BodoBERT) pour qu'il apprenne la structure et le sens de cette langue. C'est la première fois qu'un tel "cerveau" est créé pour le Bodo.

🎯 Étape 2 : Le jeu de l'étiquetage (Le Taggage POS)

Une fois que le cerveau est formé, les chercheurs lui ont donné un nouveau jeu : le Taggage de la Partie du Discours (POS Tagging).

• L'analogie : Imaginez un jeu où vous devez coller des étiquettes colorées sur chaque mot d'une phrase.
  • Si le mot est une personne ou un objet, vous collez une étiquette Bleue (Nom).
  • Si c'est une action, vous collez une étiquette Rouge (Verbe).
  • Si c'est une description, vous collez une étiquette Verte (Adjectif).
• Le problème : En Bodo, c'est difficile. Parfois, un mot peut être un nom ou un adjectif selon le contexte, et il n'y a pas de majuscules pour aider (contrairement à l'anglais où "Paris" est toujours un nom propre).

🧪 Les Expériences : Essayer différentes combinaisons

Les chercheurs ont testé plusieurs méthodes pour voir laquelle fonctionnait le mieux, comme un chef qui teste différentes recettes pour le même plat.

1. La méthode "Solo" : Ils ont utilisé le cerveau BodoBERT tout seul.
2. La méthode "Ensemble" (Stacked) : C'est ici que la magie opère. Ils ont combiné le cerveau BodoBERT avec d'autres outils intelligents (comme des dictionnaires de mots courts ou des modèles appris sur d'autres langues proches).
   • L'image : C'est comme si vous aviez un expert en Bodo (BodoBERT) qui travaille avec un expert en grammaire générale et un expert en mots courts. Ensemble, ils forment une équipe de super-héros.

🏆 Le Résultat : Une victoire historique

Le résultat final est impressionnant pour une langue qui n'avait jamais été étudiée par l'IA :

• Le meilleur modèle (l'équipe combinée) a réussi à étiqueter correctement les mots avec une précision de 80,41 %.
• C'est comme si l'ordinateur avait réussi un examen de grammaire avec une note de 16/20, alors qu'il n'avait jamais vu ces phrases auparavant !

Ils ont aussi comparé cela avec l'Assamais, une langue voisine parlée dans la même région. Le modèle Bodo a même surpassé les modèles existants pour l'Assamais dans certains cas, prouvant que leur méthode est très solide.

🐛 Les petits défauts (Pourquoi ce n'est pas parfait ?)

Même si c'est une grande réussite, le système fait encore quelques erreurs, un peu comme un enfant qui apprend à parler :

• Confusion de rôles : Parfois, l'ordinateur ne sait pas si un mot est un "Nom" (ex: "Université") ou un "Nom Propre" (ex: "Université de Bodoland"). En Bodo, il n'y a pas de majuscule pour le dire, donc c'est difficile pour la machine.
• Contexte : Parfois, un mot qui décrit un autre mot (comme "Bodo" dans "langue Bodo") devrait être un adjectif, mais la machine le voit comme un nom.

🚀 Conclusion : Pourquoi c'est important ?

Avant cette étude, il était presque impossible de faire fonctionner des outils modernes (comme la traduction automatique ou la reconnaissance vocale) en langue Bodo, car il manquait les bases.

Grâce à ce travail :

1. Ils ont créé le premier dictionnaire intelligent (BodoBERT) pour cette langue.
2. Ils ont créé le premier correcteur grammatical automatique pour le Bodo.

C'est comme si les chercheurs avaient posé les fondations d'un gratte-ciel. Le bâtiment n'est pas encore fini, mais la base est solide. Désormais, d'autres chercheurs peuvent venir construire des ponts, des routes et des maisons (d'autres applications technologiques) sur cette base pour aider les millions de locuteurs du Bodo à entrer dans l'ère numérique.

Résumé technique

1. Problématique et Contexte

Le traitement automatique des langues (TAL) pour les langues à ressources limitées, en particulier dans le nord-est de l'Inde, reste un domaine sous-développé. Le Bodo, une langue tibéto-birmanne parlée par environ 1,5 million de personnes et utilisant l'écriture Devanagari, souffre d'un manque critique de ressources linguistiques numériques.

• Absence de modèles pré-entraînés : Aucun modèle de langage (LM) pré-entraîné n'existait pour le Bodo avant cette étude, ce qui empêchait le développement d'outils de TAL avancés basés sur l'apprentissage profond.
• Tâche non résolue : L'étiquetage morphosyntaxique (POS tagging) n'avait jamais été abordé pour cette langue, bien que cette tâche soit fondamentale pour des applications en aval comme la reconnaissance d'entités nommées (NER) ou la traduction automatique.
• Défi des données : La disponibilité de corpus annotés est extrêmement rare et la création manuelle est coûteuse en temps.

2. Méthodologie

L'approche proposée se décompose en deux volets principaux : la création d'un modèle de langage et le développement d'un étiqueteur POS.

A. Création de BodoBERT

Les auteurs ont développé BodoBERT, le premier modèle de langage pré-entraîné pour le Bodo, basé sur l'architecture Transformer (BERT).

• Corpus d'entraînement : Un corpus monolingue de 1,6 million de tokens (191 000 phrases) a été constitué à partir de sources variées (LDC-IL, travaux antérieurs) couvrant des domaines comme la culture, les médias, la science et les sciences sociales.
• Architecture : Modèle avec 6 couches de transformateurs, une taille de couche cachée de 768 et 6 têtes d'attention (environ 103 millions de paramètres).
• Entraînement : Utilisation du tokeniseur WordPiece (vocabulaire de 50 000), optimiseur Adam, et entraînement sur 300 000 étapes avec une longueur de séquence maximale de 128.

B. Développement de l'Étiqueteur POS

L'étiquetage POS a été traité comme une tâche d'étiquetage de séquence. Les auteurs ont comparé plusieurs architectures et stratégies d'incorporation (embedding) :

1. Données annotées : Utilisation du corpus « Bodo Monolingual Text Corpus » (ILCI-II) contenant environ 30 000 phrases annotées selon la norme BIS (34 étiquettes, 11 catégories principales).
2. Architectures testées :
   • Fine-tuning direct de BodoBERT.
   • CRF (Conditional Random Field) seul.
   • BiLSTM-CRF (Long Short-Term Memory bidirectionnel couplé à un CRF).
3. Stratégies d'Embedding :
   • Méthode Individuelle : Utilisation d'un seul modèle de langage (BodoBERT, FastText, MuRIL, XLM-R, IndicBERT, etc.).
   • Méthode Empilée (Stacked) : Combinaison des vecteurs d'incorporation de BodoBERT avec ceux d'autres modèles (ex: BytePairEmbeddings) pour enrichir la représentation contextuelle.

3. Contributions Clés

1. BodoBERT : Premier modèle de langage pré-entraîné pour la langue Bodo, comblant un vide majeur dans les ressources NLP pour cette langue.
2. Premier étiqueteur POS pour le Bodo : Développement et évaluation du premier système d'étiquetage morphosyntaxique basé sur le Deep Learning pour cette langue.
3. Comparaison exhaustive : Analyse comparative de multiples modèles de langage (FastText, BPE, Flair, MuRIL, XLM-R, IndicBERT) et de différentes architectures (CRF, Fine-tuning, BiLSTM-CRF).
4. Approche Empilée (Stacked) : Démonstration que la combinaison de BodoBERT avec des embeddings de sous-mots (BytePair) améliore significativement les performances par rapport à l'utilisation d'un seul modèle.
5. Ressources Open Source : Mise à disposition publique du modèle BodoBERT et de l'étiqueteur POS performant.

4. Résultats

• Performance du modèle optimal : Le modèle combinant BodoBERT + BytePairEmbeddings dans une architecture BiLSTM-CRF a atteint le meilleur score avec un F1-score de 0,8041 (moyenne pondérée).
• Comparaison des architectures :
  • BiLSTM-CRF (avec BodoBERT) : 0,7949 (F1 individuel).
  • Fine-tuning BERT : 0,7754.
  • CRF seul : 0,7583.
  • L'approche empilée a amélioré les scores de 2 % à 7 % par rapport à la meilleure méthode individuelle.
• Comparaison avec l'Assamais : Une expérience similaire menée sur l'Assamais (langue voisine) a donné un score maximal de 0,7293 (avec IndicBERT), soulignant que la performance du Bodo est supérieure, probablement due à une différence dans la granularité des étiquettes (34 pour le Bodo contre 41 pour l'Assamais).
• Augmentation de données : L'ajout de 10 000 phrases annotées (via annotation semi-automatique et correction manuelle) a permis d'atteindre un F1-score de 0,8494.
• Analyse des erreurs : Les principales confusions surviennent entre les noms communs (N_NN), les noms propres (N_NNP) et les noms de lieu (N_NST), en raison de l'absence de majuscules en Devanagari pour distinguer les noms propres, et de la flexibilité morphologique du Bodo.

5. Signification et Conclusion

Cet article marque une étape fondamentale pour le traitement automatique du Bodo. Bien que les performances (F1 ~0,80) soient inférieures à celles observées sur des langues riches en ressources (comme l'anglais), le modèle proposé sert de référence de facto (baseline) pour la communauté de recherche.

La création de BodoBERT ouvre la voie à de nombreuses applications en aval (traduction, analyse syntaxique, reconnaissance d'entités). Les auteurs soulignent que les limites actuelles sont principalement dues à la taille insuffisante du corpus d'entraînement annoté et à la nécessité d'affiner la capture des caractéristiques linguistiques spécifiques du Bodo par le modèle. Ce travail démontre la viabilité des approches basées sur l'apprentissage profond pour les langues indiennes à ressources limitées lorsqu'un effort concerté est fait pour constituer des corpus et des modèles de base.